_基于空间大数据、云计算技术的省级自然资源空间基础信息平台架构设计

发布时间:2022-5-27 | 杂志分类:其他
免费制作
更多内容

_基于空间大数据、云计算技术的省级自然资源空间基础信息平台架构设计

第37卷 第3期 2020年9月 河 北 省 科 学 院 学 报 JournaloftheHebeiAcademyofSciences Vol.37No.3 Sep.2020 收稿日期:2020-04-13 作者简介:赫 瑞(1985-),男,宁夏银川人,硕士,工程师,主要从事数据库、信息系统架构等研究开发. 文章编号:1001-9383(2020)03-0009-06 基于空间大数据、云计算技术的 省级自然资源空间基础信息平台架构设计 赫 瑞 (宁夏自然资源信息中心,宁夏 银川 750002) 摘 要:建立自然资源空间用途管制是党的十八届三中全会以来中央做出的重大决策部署,是推 动生态文明建设、提升自然资源空间治理能力的重要措施。本文从设计思路、关机技术、技术架 构三个方面论述了基于空间大数据分析、云计算技术的省级自然资源空间基础信息平台架构。 本文提出的架构涉及到三套网络,采用了主流的云计算、分布式计算和存储、多源以勾集成、超量 信息可视化分析和交互、矢量瓦片等技术,有一定的借鉴和研究价值。 关键词:空间大数据分析;自然资源信息化;空间基础信息平台 ;架构设计 中图分类号:TP31... [收起]
[展开]
_基于空间大数据、云计算技术的省级自然资源空间基础信息平台架构设计
粉丝: {{bookData.followerCount}}
文本内容
第0页
第37卷 第3期 2020年9月 河 北 省 科 学 院 学 报 JournaloftheHebeiAcademyofSciences Vol.37No.3 Sep.2020 收稿日期:2020-04-13 作者简介:赫 瑞(1985-),男,宁夏银川人,硕士,工程师,主要从事数据库、信息系统架构等研究开发. 文章编号:1001-9383(2020)03-0009-06 基于空间大数据、云计算技术的 省级自然资源空间基础信息平台架构设计 赫 瑞 (宁夏自然资源信息中心,宁夏 银川 750002) 摘 要:建立自然资源空间用途管制是党的十八届三中全会以来中央做出的重大决策部署,是推 动生态文明建设、提升自然资源空间治理能力的重要措施。本文从设计思路、关机技术、技术架 构三个方面论述了基于空间大数据分析、云计算技术的省级自然资源空间基础信息平台架构。 本文提出的架构涉及到三套网络,采用了主流的云计算、分布式计算和存储、多源以勾集成、超量 信息可视化分析和交互、矢量瓦片等技术,有一定的借鉴和研究价值。 关键词:空间大数据分析;自然资源信息化;空间基础信息平台 ;架构设计 中图分类号:TP311        文献标识码:A Architecturedesignofprovincialnaturalresourcespatialbasicinformation platformbasedonspatialbigdataandcloudcomputingtechnology HERui (NingxiaLandandResourcesGeographicInformationCenter,YinchuanNingxia750002,China) Abstract:Theestablishmentofspaceusecontrolofnaturalresourcesisamajordecisionand deploymentmadebytheCentralCommitteesincetheThirdPlenarySessionofthe18thCPC CentralCommittee,andanimportantmeasuretopromotetheconstructionofecologicalcivili- zationandenhancethecapacityofspacegovernanceofnaturalresources.Thispaperdiscusses theprovincialnaturalresourcespatialbasicinformationplatformarchitecturebasedonspatial bigdataanalysisandcloudcomputingtechnologyfromthreeaspects:designidea,shutdown technologyandtechnicalarchitecture.Thearchitectureproposedinthispaperinvolvesthree setsofnetworks,usesthemainstreamcloudcomputing,distributedcomputingandstorage, multi-sourcehookintegration,visualanalysisandinteractionofexcessiveinformation,vector tilesandothertechnologies,whichhascertainreferenceandresearchvalue. Keywords:Spatialbigdataanalysis;Naturalresourceinformatization;Spatialbasicinforma- tionplatform;Architecturedesign DOI:10.16191/j.cnki.hbkx.2020.03.002
第1页
河北省科学院学报 2020年第37卷 0 引言 建立自然资源空间用途管制是党的十八届三中全会以来中央做出的重大决策部署,是推 动生态文明建设、提升自然资源空间治理能力的重要措施。为了自然资源土空间用途管制建 设,整合目前各部门空间数据,编制统一的自然资源空间规划,强化政府空间管控能力,实现国 土空间集约、高效、可持续利用,需要构建统一的自然资源空间基础信息平台,形成全国覆盖、 协调一致的自然资源空间数据底板和开放共享机制,为自然资源行政审批、空间规划编制、资 源监管、决策支持等提供空间数据和信息服务支撑[1]。 平台遵循“国土资源云”建设总体框架,利用统一的软硬件基础设施,基于云计算、大数据 技术在自然资源厅数据中心机房国土业务专网、测绘局域网、电子政务内网三个区域,分别开 发部署实现自然资源空间数据、测绘地理信息成果管理和对外共享服务功能的自然资源空间 基础信息平台,聚合集成各类国土空间相关数据资源,实现对软硬件设施、数据资源、服务资源 进行统一管理和调度,为自然资源 资源厅内部和市县自然资源资源局提供数据资源、业务应用云服务。通过电子政务内网 区域的空间数据交换共享服务系统,为住建、交通、林业、发改、环保、等相关部门提供自然资源 空间数据共享和交换服务。 1 设计思路 利用好厅内自然资源信息化建设现状,在自然资源一体化数据库的基础上构建专题应用 库,并做好数据的回流设计,与横向政府部门进行资源共享交换,向省政府、农业厅、水利厅等 政府部门提供数据支撑、功能服务支撑与信息公开服务。平台设计思路如图1所示。 图1 平台设计思路图 01
第2页
第3期 赫瑞:基于空间大数据、云计算技术的省级自然资源空间基础信息平台架构设计 1.1 数据层完善自然资源数据体系 依托厅自然资源一体化数据库,利用宁夏国土“一张图”的建设成果,逐步接入其他行业部 门数据,充分汇集互联网相关数据,全面集成自然资源“一张图”数据,并按照自然资源业务应 用需求,构建面向于行业应用可灵活组装的业务主题库,在测绘网建设覆盖基础地理、遥感影 像、基础框架和地理国情的测绘地理信息综合库,在电子政务内网复用应急测绘系统数据库成 果,实现测绘地理信息数据在测绘网与电子政务内网中的集中管理。 业务主题库主要以满足自然资源业务应用的数据需求出发,为业务系统提供专题数据产 品(如行政审批主题、监管决策主题、空间规划主题等),同时也对自然资源行业内的用户提供 管理数据,如办文系统沉淀的数据、用地报批系统沉淀的数据等。并在此基础上搭建面向业务 应用的专题应用库;对各类信息在逻辑上进行统一管理,统一共享服务。 测绘地理信息大数据管理系统所建设测绘地理信息综合库负责测绘地理信息数据的涉密 版数据存储与政务版数据存储,并通过人工拷贝的方式脱密后,实现政务版数据向国土业务专 网中的自然资源一体化数据库的推送。 1.2 服务支撑层建立大数据分析基础环境 依托测绘网、电子政务内网以及国土业务专网,基于 ArcGIS的大数据分析组件与服务管 理机制,建立空间数据并行计算与服务系统。 利用 AI分析、空间运算、业务运算、Spark集群等大数据分析技术构建自然资源管理的模 型库与大数据分布式存储模式,实现影像数据对比分析、自然资源数据挖掘分析与自然资源管 理的辅助决策,为自然资源管理提供基础的计算模型支撑与数据服务支撑;并利用云资源管理 技术,建设统一的运维管理机制及平台云管理的基础能力,实现对云基础设施的统筹管理,包 括资源管理、资源调度、运行监控等,同时平台还提供了统一用户管理、统一权限管理的能力。 1.3 应用服务层建立应用服务系统 基于自然资源一体化数据库,重复利用厅内已建设的自然资源“一张图”数据展示中心,采 用 B/S与 C/S相结合架构进行设计,针对不同的数据存储需求与应用需求,分别在国土业务 专网、测绘网与电子政务内网搭建应用服务系统,实现土地、测绘等数据资源的注册、编目、发 布和调度管理,提升海量影像数据管理,并结合空间数据并行计算与服务系统建立的计算模 型,构建各类数据服务、查询服务、分析服务和规则服务等,统一数据资源与服务资源出口,从 而支撑自然资源的各项业务系统搭建与业务执行,提升监管决策、政务审批和调查监测评价等 应用服务的支持能力。 其中云服务门户与基础信息管理与服务平台基于 ArcGIS和 Oracle,大数据分析时,为保 证分析效率,采用分布式的文件存储系统进行数据存储,采用 B/S架构进行开发,部署于国土 业务专网;海量影像数据管理系统分别部署于测绘网和国土业务专网两套物理隔离的网络环 境中,其中测绘网管理原始影像和成果遥感影像等所有影像数据,国土业务专网只管理原始影 像数据,两套网络交换数据时通过物理介质进行数据交换;测绘地理信息大数据管理系统部署 于测绘网,采用 C/S架构,基于 ArcGIS组件、DV 插件进行二次开发,实现对测绘地理信息数 据进行统一管理;地理空间数据共享系统部署于电子政务内网,采用 B/S技术架构,是集成 GIS技术、SOA 等技术构建开放式基础地理信息平台。 11
第3页
河北省科学院学报 2020年第37卷 2 关键技术 2.1 云资源管理、虚拟化技术 在合理的资源分配策略下,先部署预置资源池,在后面的系统运行过程中,根据实际 Arc- GIS云运行情况动态的创建 ArcGIS云计算资源,弹性的创建及销毁 ArcGIS服务器节点,满 足前端应用系统。利用云资源动态伸缩管理技术自动调整其弹性计算资源的管理服务,真正 实现资源按需分配。 同时,虚拟化技术允许具有不同操作系统的多个虚拟机在同一物理机上独立并行运行,从 而提供更高的IT资源利用率和灵活性,不仅能够降低资本消耗、减少运营费用,使计算资源能 够适应快速、频繁的重新配置,有效地减少在开发、测试、准备和部署周期中所消耗的时间,并 能快速动态部署、迁移。 2.2 基于分布式存储的高性能空间大数据分析技术 根据各专业应用系统数据量大且更新频繁的特点,整个大数据分析应用采用基于 Hadoop 分布式环境进行部署,为满足 GIS空间数据实时浏览和快速分析需要,并行计算引擎采用 Spark。通过将并行计算引擎Spark部署在分布式集群环境中提高空间数据分析与挖掘的性 能,实现在原始数据更新变化时,无需切片缓存即可实时更新浏览,减少空间数据的管理和更 新成本。同时基于分布式架构,空间大数据被均匀分布到可以弹性扩展的各个计算节点上,每 个计算节点都会参与空间运算分析,实现数据分析的低延迟。 平台采用 ArcGISEnterprise大数据分析组件 ArcGISGeoAnalyticsServer,满足多维度 信息、多数据关联的实时应用分析,同时针对自然资源的稳定特性,快速构建时间持久、性能稳 定、信息海量的深度挖掘模型。 2.3 多源异构服务集成管理技术 平台一方面要满足底层异构数据互操作的需要,另一方面还要满足前端应用开发对功能 性的要求。因此,应提供“基于开放标准,同时兼顾扩展和功能性”的服务类型和服务接口。 利用JAVA 语言的反射机制,开发了一套能够支持用户动态添加代码实现的引擎,然后 定义了针对 GIS服务管理所需要的各种接口,这样需要对接某个 GIS平台服务时,开发人员 只要按照规范实现系统提供的接口,将代码上传系统后,系统就能够实现对新的 GIS平台的 服务进行管理控制,从而实现在平台系统中对各种服务类型的统一管理和控制。 2.4 超量信息可视化分析、交互技术 超量信息可视化(Informationvisualization)是一个跨学科领域,旨在研究大规模非数值型 信息资源的视觉呈现。InsightsforArcGIS向数据分析人员提供地理空间分析的功能。In- sightsforArcGIS支持将空间数据和非空间数据结合在一起,提供了包括地图、统计图和表格 等多种多样的可视化方法。 2.5 矢量瓦片电子地图生产技术 矢量瓦片技术继续沿用栅格瓦片地图服务的技术特点,将矢量数据按照一定的规则进行 裁剪,裁剪为规则格网大小的数据块,然后通过按需动态的进行瓦片调度与渲染,在一定程度 上具备了栅格瓦片服务和矢量数据的优势,实现了地理信息服务模式的优化。矢量瓦片电子 地图生产需要渲染、道路融合、注记自动换行技术[2]。 21
第4页
第3期 赫瑞:基于空间大数据、云计算技术的省级自然资源空间基础信息平台架构设计 3 技术架构 平台建设全面采用面向服务架构(SOA)的设计思想。整个平台的计算资源(CPU,内存 等),存储资源(硬盘),软件资源(操作系统,数据库,时空数据处理软件等),以及各种应用功能 全部被封装成各种松耦合的服务。这些服务被发布在私有的分布式的云计算环境中,构成整 个自然资源资源时空云服务平台的基础。基于SOA 架构思想进行业务建模和构建业务流程, 将需要的业务环节通过服务进行实现,支持组织内部业务快速协同,有利于快速实现数据的交 换和系统的搭建。平台具体技术架构如图2所示,系统的架构图包括了六个方面。 图2 平台技术架构图 31
第5页
河北省科学院学报 2020年第37卷 3.1 硬件基础设施层 硬件基础设施层是将计算资源、网络资源、存储资源等物理资源进行整合,按照云服务模 式和云架构建立一个统一的资源池,形成可按需动态扩展的高性能计算环境、大容量存储环 境,满足海量自然资源空间基础数据存储、高并发用户业务办理和信息共享查询,以及各级分 节点业务系统接入平台的需要。 3.2 软件支撑层 包括 GIS空间数据系统、关系型数据系统、非关系型数据系统、分布式文件系统、应用服 务器中间件、服务器虚拟化软件等,为平台提供部署和运行所需的基本软件环境。 3.3 数据资源层 包括现状类、规划类、管理类、影像类、三维类数据,且重复利用厅内已建设的省级国土“一 张图”数据展示中心,实现空间信息的统一组织、统一服务、高效应用。 3.4 应用支撑层 包括云资源管理和开发与运行支撑两大部分组成,云资源管理负责对云基础设施、云服务 资源、云数据资源统一管理、调度、分配、运行监控。 3.5 应用服务层 为用户提供数据服务、专题服务、基础服务、定制服务等四大服务。其中数据服务包括数 据查询、数据浏览、信息共享等,专题服务包括规划编制、行政审批、资源监管、决策支持等,基 础服务包括空间分析、统计报表、专题图制作等,定制服务的功能包括服务接口、API、二次开 发接口、自定义应用等。 3.6 门户应用层 通过统一的门户对应用和服务进行发布,并通过访问控制、权限管理、服务分发、负载均衡 等手段,为各级用户提供统一访问入口,保证高并发访问的安全、高效、稳定。 系统架构还包括安全保障体系、运维保障体系和标准规范体系。 4 结语 建立自然资源空间用途管制是推动生态文明建设、提升自然资源空间治理能力的重要措 施。本文提出的架构涉及到三套网络、采用了主流的云计算、分布式计算和存储、多源以勾集 成、超量信息可视化分析和交互、矢量瓦片等技术,有一定的借鉴和研究价值。 参考文献: [1] 国土空间基础信息平台建设总体方案.国土资源部,2017. [2] 朱秀丽.网络矢量地图瓦片技术研究[J].测绘通报,2016(11):106-109. 41
百万用户使用云展网进行手机电子书制作,只要您有文档,即可一键上传,自动生成链接和二维码(独立电子书),支持分享到微信和网站!
收藏
转发
下载
免费制作
其他案例
更多案例
免费制作
x
{{item.desc}}
下载
{{item.title}}
{{toast}}