基于空间填充曲线排列码划分的并行缓冲区算法

缓冲区计算是地理信息系统空间分析的基本功能之一。在矢量缓冲区研究方面,以往大多聚焦缓冲区生成算法,这些优化方法在单机计算环境中针对大规模空间数量数据的计算效率提升是有限的,因而需要并行环境下的改进方法来进一步破解计算瓶颈。本文基于Map Reduce计算模型和分布式内存计算框架,提出了一种基于空间填充曲线排列码划分的并行缓冲区分析算法(SPBM),基于空间填充曲线编码进行数据排序和范围划分,对跨越网格的数据采用近似切分方法,在考虑负载均衡的前提下对任务并行分解,之后按照给定深度的"树状"方式进行结果合并。本文在单机和集群两种环境下利用实际道路网等数据进行了实验。同等环境下,相较于目前流行的GIS软件——QGIS和Post GIS计算性能提升明显,相较于现有其他并行优化方法效率提升超过50%。这样的优化分析方法对于GIS中其他矢量分析算法的并行算法也具有一定的借鉴意义。     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

MySQL集群与MPI的并行空间分析系统设计与实验

 GIS应用正面对空间数据规模日益增加和空间分析算法复杂度逐渐提高的挑战,本文提出一种基于MySQL空间数据库集群与MPI的并行计算库分布式空间分析框架的解决方案。该框架使用MySQL空间数据库集群解决大量空间数据存储与管理问题,利用MySQL Spatial的Replication机制加强空间数据的冗余备份和并发访问控制,同时使用MPI负责分布式计算节点间的通信减少人工控制通信的开发成本。并行框架的任务管理与调度系统采用优先队列式管理,通过Master节点监控集群状态,合理分发计算任务实现负载均衡和容错。最后,以多边形Overlay算法为例,研究其在该并行空间分析系统下的并行策略,采用数据并行的管道流水线作业方式在框架中运行测试,结果表明,该并行框架相比串行算法可以得到可靠的加速比。     

基于 HBase的海量地理空间数据的空间索引模型构建与优化

传统关系型数据库在海量地理空间数据的存储与管理上面临着高并发访问规模限制、数据库扩展能力不 足等困难.非关系数据库如 HBase等以其强大的扩展能力与计算能力为该问题提供了新的思·与方法.空间索 引模型和分布式存储模式设计是影响基于非关系数据库的海量地理空间数据的存储与查询效率的关键因素.对 当前主要基于 HBase的索引模型和空间数据存储设计进行了研究,设计了基于行政区划编码与矢量要素编码结 合的 RowKey(行键),使空间数据在 HBase存储中得到很好的聚类效果,并针对要素重叠与边界划分等问题提出 了一种基于四叉树ＧR树的改进的空间索引模型.该模型基于四叉树结构将空间数据划分为多个子网格,为?一个 子网格构建 R树索引,利用 Hilbert(希尔伯特)曲线对子网格进行编码,并设计了基于 MapReduce的并行化索引构 建算法和相应的空间查询算法.经实验测试,该存储设计和空间索引模型具有较好的查询效率.      

一种基于信息网格的空间数据分解算法

针对空间数据库数据海量且分布的特点,为了能从这些空间数据中更加有效的收集信息和发现知识,介绍了基于信息网格的空间数据挖掘计算模型,在分析空间数据划分一般原则和方法的基础上,针对该计算模型给出了一个数据划分的初步算法,并通过模拟实验对算法的时间性能进行了评价与分析。     

基于MapReduce的空间敏感性分析并行算法设计

近年来,随着遥感空间数据广泛应用于生态系统,推动了区域尺度生态遥感参数模型的发展。敏感性分析对识别模型关键参数,降低模型不确定性和完善模型具有重要作用。区域尺度的生态遥感参数模型,在进行模型参数敏感性分析时,由于涉及到空间数据的复杂运算,单机环境无法满足快速分析的要求。为了提高生态遥感参数模型空间敏感性分析效率,本文以青藏高原为研究区域,利用植被光合模型VPM(Vegetation Photosynthesis Model)和开源云计算平台Hadoop,设计和实现了基于Sobol′的生态遥感参数模型空间敏感性分析并行算法,并在实验室集群环境下进行算法分析,验证了算法的有效性和适用性。该算法的核心是利用MapReduce并行编程技术,对空间敏感性分析中的地图抽样和模型迭代过程进行任务分割,将分割后的子任务分配至不同的计算节点进行并行计算。实验表明,本文提出的并行策略,能有效缩短地图抽样和模型迭代计算时间,相比于单机算法,并行算法的运行速度提高了14倍左右。     

基于MPP架构的并行空间数据库原型系统的设计与实现

快速高效地查询信息是衡量当前空间数据库性能的重要指标之一。传统的单节点关系型空间数据管理方式难以满足大数据量空间数据查询的需求,特别是高性能的复杂空间多表连接任务需求。鉴此,本文设计并实现了基于Massive Parallel Processing（MPP）架构的并行空间数据库中间件原型系统。系统充分利用无共享（shared-nothing）架构的优势,特别是针对空间数据的特性,设计了并行空间数据划分与导入、并行空间多表连接、空间数据查询优化等算法与模型。首先介绍了近年来并行数据库系统的发展现状,接着阐述了基于MPP架构的并行空间数据库中间件系统的查询计划算法及其系统架构,最后作者对一些大规模数据量做查询实验及其查询结果分析。实验表明,在处理挖掘大规模数据量时,该系统有近似线性的加速比,相比于传统单节点数据库,它能充分提高海量空间数据的复杂查询的性能,解决了空间数据库并行化处理海量数据的问题。     

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

基于C-SOM和Spark的并行空间离群挖掘方法及应用

空间离群挖掘可以发现空间数据集中非空间属性值与邻域中其他空间对象明显不同的空间对象。随着空间数据量的快速增加,传统集中式处理模式面临单机性能瓶颈、难以扩展等问题,已逐渐不能满足应用需要。因此,本文根据Spark并行计算框架,充分利用Spark快速内存计算和扩展性的优势,提出了一种基于考虑约束条件的空间离群挖掘算法（C-SOM）和Spark的并行空间离群挖掘算法和原型系统。该并行算法以C-SOM为核心,并行地在多个计算节点对全局数据集和各局部数据集执行C-SOM算法,得到全局离群和局部离群。轻量级的原型系统基于Spark实现了该并行算法,采用Browser/Server架构,提供给用户可视化的操作界面,简洁实用。最后,通过福建省东南沿海土壤化学元素调查数据和人工合成数据的离群分析,验证了该并行算法和原型系统的合理性、有效性和高效性。     

基于N-KD树的空间点数据分组算法

随着科学技术的进步,地理空间数据的分析处理面临着数据量膨胀和计算量高速增长的双重挑战,为了解决海量数据处理速度慢的问题,本文针对空间分布不均匀的点数据,从数据并行的角度,以保持数据的空间邻近性及保证数据分组后各组数据量负载均衡为目标,提出基于N-KD树（Number-K Dimension Tree）数据动态分组的方法,其是一种面向实时变化（数据量和数据空间范围变化）的空间数据动态分组方法。该方法借鉴K-D树的创建和最临近点搜索的思想,通过方差判断数据分布稀疏程度,利用最临近点搜索方法处理边界点,实现空间范围的不均等切分,保证数据分组后各组数据量基本均衡。试验表明,该方法具有较好的动态分组效果与较高的计算效率;支持各种分布状态的空间点数据的分组;分组后各组数据量负载均衡;分组算法本身有支持并行、支持分布式协同工作模式的特点。     

面向全空间信息系统的多粒度时空对象数据模型描述框架

全空间信息系统是一种面向从微观到宏观的动态复杂世界的空间信息系统,其理论基础是多粒度时空对象数据模型。为了确定多粒度时空对象数据模型的具体内容,需要确定描述多粒度时空对象特征的基本框架;为了开展多粒度时空对象的实际建模,需要明确多粒度时空对象数据模型的建模过程。为此,本文首先从数据模型、数据管理、可视化、空间分析和实际应用5个方面,分析了全空间信息系统与传统GIS的联系与区别,从空间范畴、动态变化、复杂关系、认知与行为、可视化技术、时空大数据分析6个方面,分析了传统GIS空间数据模型存在的不足;在此基础上,提出了多粒度时空对象的多粒度、多类型、多形态、多参照系、多元关联、多维动态、多能自主7个特点,确定了由时空参照、空间位置、空间形态、组成结构、关联关系、认知能力、行为能力和属性特征8项内容构成的多粒度时空对象数据模型描述框架;最后在分析了传统GIS空间数据模型建模过程的基础上,提出了多粒度时空对象数据模型的建模过程和思路。     

全空间信息系统认知与表达初探

随着人类对空间探索脚步的加快和加深,现有的空间表征形式难以满足人类认知客观世界的需求,从而出现了全空间信息系统。为了探索全空间信息系统空间认知的规律,使全空间信息的表达更符合人类的认知特点,本文研究了地理空间认知与表达的发展历程及特点,对纸质地图、电子地图以及GIS等现有表征形式存在的问题进行了分析;在此基础上,探讨了全空间信息系统认知特点,指出全空间信息系统从空间认知广度、空间认知深度以及认知主体3个方面对传统的表征形式进行了扩展,是地图和GIS在大数据时代的拓展和延伸;最后从基于空间认知的角度对全空间信息系统的表达进行了初步阐述,指出全空间信息系统表达不仅需要对多粒度时空对象进行展示性表达,还需要对其进行分析性表达与探索性表达,并探讨了全空间信息系统表达层次的认知内涵。     

多粒度时空对象空间关系的统一表达与计算

空间关系表达了空间数据的相互约束,在空间查询语言、数据检索及空间分析中具有重要作用。当前关于空间关系的研究,多基于简单地理对象,或者只对某一种空间关系进行独立的算法设计,难以满足多粒度对象多种空间关系的统一表达与计算。为此,本文利用几何代数运算的对象无关性和维度无关性,构建简单对象空间关系计算算子,并将其推广到多粒度对象,实现全空间地理信息系统框架下多粒度对象三种空间关系的一体化表达与计算。最后,以三角网求交算法为例,证明了算法的可行性,为全空间GIS中空间关系的表达和计算提供了借鉴。     

面向全空间的管道天然气贸易关联关系挖掘

本文基于全空间信息系统视角,运用复杂网络分析方法,从属性关联关系、时间关联关系、空间关联关系和综合关联关系角度对全球管道天然气贸易复杂网络中主要国家间关联关系进行了挖掘分析和可视化表达。结果表明：管道天然气贸易对战略通道具有路径依赖性和滞后性。贸易格局演化路径稳定,具有明显的“区域小世界”特征。区域资源禀赋差异是管道天然气贸易形成“核心-边缘”网络结构的主要原因。管道天然气贸易主要集中在欧亚大陆。2009年全球管道天然气贸易需求中心集中在欧洲各国,2015年则形成了西欧和中国的双需求核心网络关系。同时,论文基于全球管道天然气贸易复杂网络的挖掘分析和可视化表达,阐述了全空间信息系统的特征,展望了平台的应用。     

政区多粒度时空对象建模及其Geodatabase实现

全空间信息系统是将现实世界抽象为由多粒度时空对象组成的数据世界,对动态且复杂的现实世界中的各类时空实体对象进行表达、分析等。时空数据模型是时态地理信息系统（TGIS）核心,在一些特定领域上取得了较好的应用效果,对时空对象的时态信息进行了一定程度的表达,但仍旧无法完整地描述时空对象的变化以及联系。本文在分析时空数据模型的研究现状和存在问题的基础上,以全空间多粒度时空对象建模为指导思想,以北京近百年来的政区演变为例,分析了政区的基本特征,进而将政区看作是多粒度时空对象,探索了多粒度时空对象的建模方法,对政区进行了多粒度时空对象表达,并采用可视化表达的方法进行了实验验证。结果表明：多粒度时空对象建模能较好地反映政区的空间特征、属性特征和时间特征,反映其在时空上的演变过程以及便于更好地支持时空对象的查询、分析和可视化表达等。     

一种面向时空对象及其关联关系动态变化表达的概念数据模型

根据全空间信息系统中地理实体基本特征以及存储管理的需求,本文提出了一种面向地理实体及其关联关系动态变化表达的时空数据模型。① 在地理实体方面,将其抽象为由有序、无缝对象片段组成的时空对象,并建立了对象片段表达的三元组模型,即空间位置、几何形态和属性特征;② 在关联关系方面,采用基于RDF模型来对空间关系和属性关系进行形式化描述;③ 在动态变化方面,将地理实体的变化分为空间位置的变化、几何形态的变化和属性特征的变化,关联关系的变化分为空间关系和属性关系的变化,并分别采用快照/增量、方程/模型2种方式来统一表达它们的离散和连续变化。该模型可显式地描述动态的时空对象及其关联关系在时空过程中的变化,有助于探讨和挖掘地理现象的基本变化规律和内在关联性。