基于MongoDB的矢量空间数据云存储与处理系统

近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上,设计并实现了矢量空间数据云存储与处理系统VectorDB,达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据,使用OGR库实现不同格式矢量空间数据的转换与存储,并用Hadoop对数据库中的数据进行并行计算,以及用mongo-hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了VectorDB与PostGIS的矢量空间数据读写性能,并分析了VectorDB与MongoDB在海量数据并行处理性能方面的差异。结果表明:VectorDB具有更好的读取性能和海量数据处理性能,适合多用户不同格式、不同属性矢量空间数据存储,对海量矢量数据存储与处理问题具有参考价值。     

大数据时代地质灾害数据管理及应用模式探讨

地质灾害数据是一种多源异构数据,是典型的大数据。关系型数据库是目前地质灾害数据的主流管理方法。在地质灾害数据中,非结构化数据占有很大的比例。由于关系模型难以有效地管理非结构化数据,因而关系型数据库对地质灾害数据的管理效果并不理想。这种弱点,在大数据时代将会被进一步放大,并对地质数据挖掘和大数据分析造成一定的影响。针对大数据时代地质灾害数据的管理模式,从泛结构化地质数据管理、应用模型和分布式异构系统的集成等方面进行了探讨。认为地质灾害数据的有效管理应该把文件系统、关系型数据库和NoSQL结合起来,并提出了一种基于双C模型和中间件结合的泛结构化地质数据管理与应用模式。这种模式已应用在多个工程中,取得了良好的效果。      

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

地学大数据技术研究实验平台GeoBDA

信息化时代不可避免地来临,随着地质数据的数据量的飞速增长,地质数据也正式归类到了大数据中。应势,国土资源部地质信息技术重点实验室建设了地学大数据技术研究实验平台GeoBDA,用以解决地质大数据的存储和管理等问题。     

地质科学大数据统合应用的基本问题

进行地质科学大数据统合利用,涉及一系列理论、方法和技术问题,包括:多源多类异质异构地质数据的采集、存储和管理问题;数据汇聚、集成和结构化、可视化转换问题;数据同化、融合问题和深度挖掘、广度聚联问题;地质大数据有效利用的方式、方法和途径问题,以及云服务的模式和系统架构问题。所面对的挑战是实现结构化-半结构化-非结构化数据、静态勘查数据与动态监测数据的一体化存储、管理、处理和应用,以及大数据与小数据、混杂性数据与精确性数据、模型与数据、有模型与无模型、关联关系和因果关系的矛盾与统一问题。      

基于智慧城市空间大数据的城市信息图谱建构研究

城市大数据信息图谱相较于传统地图信息平台而言,具有可定位、可视化、实时监测的特点;同时,将城市信息图谱平台精确落实到空间地块,则能实现从表层到深层对城市各系统、各单元的全面、综合的信息表达与联动分析。基于此,本文通过大数据采集、人机互动技术及谷地软件等方法,形成从建筑单体-用地地块-道路红线-街区单元-地形地貌的三维建筑精度的城市空间数据库,进而建构出城市多源大数据全信息复合数据库,这一数据库涵盖城市绿化系统、城市市政系统、城市微气候系统、城市产业系统、城市人车系统以及城市意象系统。在此基础上,通过Arc GIS平台将空间形态数据库与复合数据库进行空间耦合,形成基于统一空间坐标系的城市空间大数据信息图谱的基础模型;根据城市规划、城市设计与管理需要进行多对象的大数据组合与相关性分析,获得多源数据融合特征综合信息,进而优化规划和设计的科学决策。     

面向地质时空大数据表达与存储管理的数据模型研究

随着传感器实时监测等高新技术在地质勘查或生产开发中的应用,形成了动态与静态并存、多源异构的地质时空大数据.然而,目前地质信息系统在地质数据组织管理方面,主要是静态地存储和表达出地质矿产勘查或生产开发在某个特定时期的状态,尚不能满足对勘查或生产开发过程中实时信息的存储管理,进而支持对地质过程的分析和研判.针对性开展了地质时空大数据表达与存储管理的数据模型研究,目标是能够融合数据多源与时空多维性,又能够支持时间关联与时间多粒性.针对地质大数据、地质过程的静态与动态数据紧密结合的特点,采用面向对象和基于事件的思想,提出了基于事件多因素驱动的地质时空大数据概念模型,并开展了相应的地质大数据存储管理逻辑模型、基于系统工程库的管理结构和地质时空对象管理模型设计.基于地质时空大数据逻辑组织管理模型和时空过程的非关系型分布式数据库架构,设计了地质大数据存储模型.融合三维地质建模技术、动态监测信息实时可视化等技术,构建了所需模型过程模拟的三维环境,通过绑定观测数据源,设计实现了基于OPC接口的模拟数据产生事件、作用对象响应的矿山动态开采流程.在王家岭煤矿首采区地质数据支持下开展了应用研究,实现地质时空事件条件下的矿山动态开采过程表达与数据管理,验证了本文模型的可行性和有效性.     

基于大数据的无人机云交换平台统计分析技术研究

随着无人机在各行业应用的迅速普及和大规模应用,民航局监管的无人机数量和无人机运行数据呈现海量增长,在给政府和行业监管带来便利的同时,也给传统的数据分析方法带来了极大的挑战。本文阐述了民航局无人机云交换平台的运行大数据的现状,分析了传统无人机运行数据统计分析存在的技术瓶颈,提出了基于大数据进行无人机运行数据统计分析方法,建立了无人机云数据交换平台大数据统计和分析系统的设计框架,并概述了如何基于Apache Spark和Cassandra数据库的大数据分析方法将无人机云交换平台生产的海量数据快速处理、存储、统计和分析的研究思路和方法,以及实现各类无人机运行特征分析的情况。目前基于本文的研究成果不仅可以满足行业主管部门对无人机运行数据统计的需求,还对掌握和了解中国无人机运行特征,探索更合适的无人机管理措施和健全无人机监管体制机制,有非常重要的意义。     

国家基础地理信息中心数据存储网格建设

在较为全面介绍存储网格技术的基础上,结合国家基础地理信息中心海量数据存储管理的特点和用户需求,提出了可行的数据存储网格设计,着重对元数据管理、存储虚拟化和资源调度优化等方面进行了讨论,并对具体实施提出了建议。     

大数据架构的遥感资源存储管理方法

随着遥感数据获取能力的日益增强,一方面导致遥感数据的多元化和海量化,使“存不起”的问题日益突出,另一方面由于缺少有效和高效的存储管理方法,难以及时发现终端应用所需的数据,使结果“存而无用”。本文围绕巨量、高吞吐、空间结构化的遥感影像数据及其基础土地信息产品的存储与管理问题,提出采用大数据架构的遥感资源存储管理方法,并基于MongoDB数据库实现了原型系统;通过使用PB量级数据进行试验,证明了该方法满足大数据时代对遥感矢栅数据的存储管理需求。     

基于空间大数据的智慧城市脉动可视化研究

随着智慧城市信息化建设热潮的日益高涨,全国各地政府纷纷响应国家部委号召打造智慧城市应用典范,而地理空间公共信息平台是其建设重要组成部分。基于平台已汇聚海量数据基础,开展客观反映城市发展脉搏的数据分析并以通俗易懂的形式可视化表达是本文研究的重点。通过以天津中新生态城为例,利用Canvas Web可视化渲染技术,搭建基于B/S架构的海量数据可视化平台,实现城市发展脉动规律的时空动态展示。     

大数据时代的人类移动性研究

人类个体/群体移动特征是多学科共同关注的研究主题。移动定位、无线通讯和移动互联网技术的快速发展使得获取大规模、长时间序列、精细时空粒度的个体移动轨迹和相互作用定量化成为可能。同时,地理信息科学、统计物理学、复杂网络科学和计算机科学等多学科交叉也为人类移动性研究的定量化提供了有力支撑。本文首先系统总结了大数据时代开展人类移动性研究的多源异构数据基础和多学科研究方法,然后将人类移动性研究归纳为面向人和面向地理空间两大方向。面向人的研究侧重探索人类移动特性的统计规律,并建立模型解释相应的动力学机制,或分析人类活动模式,并预测出行或活动;面向地理空间的研究侧重从地理视角分析人类群体在地理空间中的移动,探索宏观活动和地理空间的交互特征。围绕这两大方向,本文评述了人类移动性的研究进展和存在问题,认为人类移动性研究在数据稀疏性、数据偏斜影响与处理、多源异构数据挖掘、机器学习方法等方面依然面临挑战,对多学科研究方法的交叉与融合提出了更高要求。     

基于海事大数据的港口感知计算

随着港口信息化建设的推进,积累了大量来源多样、结构各异的海事大数据,为了解港口城市的生产力和区域经济发展水平提供了新的契机。本文综合介绍了作者近期关于如何利用海事大数据进行港口感知计算的工作,给出了一个基于海事大数据的港口感知计算框架,利用船舶GPS轨迹、船舶属性、港口地理信息和港口设施参数等多源异构海事大数据,估算出一系列反映港口生产力的指标,从而对港口进行综合评价和比较。首先,利用船舶轨迹和港口地理信息数据,自动检测船舶在港口码头中的靠泊装卸事件;然后,利用船舶属性和港口设施数据,自动估计出每次靠泊装卸事件的货物吞吐量;最后,对各个港口码头的靠泊船数和货物吞吐量进行统计,从而计算出一系列港口生产力指标,包括到港船数、货物吞吐量、码头作业效率和泊位利用率等。在2011年的海事大数据上的实验结果表明,本框架能准确地估算出上述港口生产力指标。同时,以香港为例对上述港口的生产力指标进行分析,探讨基于海事大数据的港口感知计算框架在提高港口生产效率、优化海运航线中的积极作用。     

大数据视角的城市规划编制方法研究

大数据时代的来临,为城市规划编制方法带来新的突破契机,为实时动态获取城市居民生活和行为特征信息,评估和预测城市规划编制成果提供方法和技术支持。本文从大数据视角的城市规划思维方式出发,梳理了城市规划编制各阶段采用的大数据研究方法和技术,最后指出当前城市规划编制中存在的问题,以期促进大数据助推城市精准规划。