基于MPP架构的并行空间数据库原型系统的设计与实现

快速高效地查询信息是衡量当前空间数据库性能的重要指标之一。传统的单节点关系型空间数据管理方式难以满足大数据量空间数据查询的需求,特别是高性能的复杂空间多表连接任务需求。鉴此,本文设计并实现了基于Massive Parallel Processing（MPP）架构的并行空间数据库中间件原型系统。系统充分利用无共享（shared-nothing）架构的优势,特别是针对空间数据的特性,设计了并行空间数据划分与导入、并行空间多表连接、空间数据查询优化等算法与模型。首先介绍了近年来并行数据库系统的发展现状,接着阐述了基于MPP架构的并行空间数据库中间件系统的查询计划算法及其系统架构,最后作者对一些大规模数据量做查询实验及其查询结果分析。实验表明,在处理挖掘大规模数据量时,该系统有近似线性的加速比,相比于传统单节点数据库,它能充分提高海量空间数据的复杂查询的性能,解决了空间数据库并行化处理海量数据的问题。     

基于集群MPI的图层级多边形并行合并算法

在集群环境下,基于MPI并行编程模型和OGC简单要素规范进行并行多边形合并时,需要处理叠加图层间要素的“多对多”映射关系,由于空间上相邻的多边形在要素序列上并不一定连续,导致无法按要素序列为子节点分配任务,给并行任务映射带来了困难。本文以集群环境下的并行多边形合并算法为研究对象,通过比较叠加分析中两种多边形映射关系对算法并行化带来的影响,基于R树空间索引、MySQL精确空间查询,以及MPI通信机制,提出了6种不同的并行任务映射策略;通过实验分析和比较了6种策略的优劣。结果显示：基于R树预筛选的直接合并策略,在各算法中具有最高的串行计算效率和优秀的并行性能表现。虽然MySQL精确空间查询的预筛选过程较为耗时,但可有效地过滤掉不真正相交的多边形,从而提高合并操作的效率。因此,在集群MPI环境下,基于R树和MySQL精确空间查询的预筛选策略是解决并行任务映射难题,实现图层级多边形并行合并算法的有效途径。     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

一致性哈希算法在数据库集群上的拓展应用

在数据库集群的研究中,可扩展性是一个重要的性能指标。为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略。将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案。最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好。     

一致性哈希算法在数据库集群上的拓展应用

在数据库集群的研究中,可扩展性是一个重要的性能指标.为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略.将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案.最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好.     

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

基于MPI的大规模遥感影像金字塔并行构建方法

影像金字塔是实现影像数据多分辨率组织的重要方式,是提高影像可视化性能的有效手段。传统串行金字塔构建算法,对大规模影像数据的构建性能已无法满足遥感影像快速浏览的预处理需求。故此,其成为一个亟待解决的问题,而利用多核、多节点的高性能集群计算环境和并行机制是一个重要的技术途径。本文在共享外存的高性能集群环境下,提出使用消息传递接口(MPI)的金字塔并行构建算法,对构建遥感影像金字塔过程中的重采样与I/O 过程进行并行处理,大大缩短了遥感影像金字塔构建时间。实验结果表明:(1)该算法比传统串行构建方法的加速效果明显,对于单波段遥感影像,其加速效果可达到GDAL的5 倍以上,而对于多波段遥感影像,加速效果可达到GDAL的2 倍以上;(2)遥感影像数据量越大,并行构建算法加速效果越显著,对于大规模的遥感影像,本文提出的金字塔并行构建算法的速度可达到GDAL的10 倍左右。     

基于C-SOM和Spark的并行空间离群挖掘方法及应用

空间离群挖掘可以发现空间数据集中非空间属性值与邻域中其他空间对象明显不同的空间对象。随着空间数据量的快速增加,传统集中式处理模式面临单机性能瓶颈、难以扩展等问题,已逐渐不能满足应用需要。因此,本文根据Spark并行计算框架,充分利用Spark快速内存计算和扩展性的优势,提出了一种基于考虑约束条件的空间离群挖掘算法（C-SOM）和Spark的并行空间离群挖掘算法和原型系统。该并行算法以C-SOM为核心,并行地在多个计算节点对全局数据集和各局部数据集执行C-SOM算法,得到全局离群和局部离群。轻量级的原型系统基于Spark实现了该并行算法,采用Browser/Server架构,提供给用户可视化的操作界面,简洁实用。最后,通过福建省东南沿海土壤化学元素调查数据和人工合成数据的离群分析,验证了该并行算法和原型系统的合理性、有效性和高效性。     

基于自定义RDD的海量遥感图像并行镶嵌方法

图像镶嵌是遥感图像处理中的重要内容,在跨区域遥感图像分析中发挥重要作用。为了解决传统遥感图像并行算法中存在的计算节点利用率低、频繁数据I/O等问题,本文根据Spark分布式内存计算框架,充分利用Spark利于迭代数据处理的优势,提出了一种基于Spark自定义RDD（弹性分布式数据集）的并行镶嵌方法。该方法首先在集群的多个节点上通过相位相关法执行图像重叠区域估计操作,从而提高了图像重叠区域估计的多节点并行计算;然后,通过重写Spark中RDD的compute和getPartitions方法,自定义针对遥感图像处理的RDD,并将图像镶嵌中的重叠区域估计、图像配准和图像融合3个关键步骤作为自定义RDD的Transformation类型的操作算子;最后,通过隐式转换创建自定义RDD,并调用自定义RDD的操作算子实现图像镶嵌的并行处理。实验结果表明,与传统基于MPI的并行镶嵌算法相比,该方法在保证图像镶嵌效果的基础上,能够有效提高大数据量的图像镶嵌效率。     

pGTIOL:GeoTIFF数据并行I/O库

在地理栅格并行计算处理中,数据I/O 已成为制约计算性能的主要瓶颈之一。本文针对该问题,首先分析广泛应用于GIS 栅格数据存储的GeoTIFF 格式,重点研究数据的2 种存储模式(即条带存储与块状存储),并根据这2 种存储方式,分别构建了栅格数据从逻辑结构向物理存储结构的映射模型。然后,针对地理空间并行计算的需要,提出了栅格数据的并行读写框架,并利用MPI 并行I/O 技术的文件视图方法,实现了GeoTIFF 数据并行I/O库(pGTIOL)。结果表明,对比开源栅格空间数据转换库(GDAL)的主从I/O 模式,本文提出的pGTIOL 准确读写数据,具有更高的性能。该库隐藏了底层并行I/O 的细节,提供简单易用的并行读写GeoTIFF 栅格数据的接口,支持多数据类型和多种空间分割,实现了对条带存储与块状存储数据的异步并行读写,从而满足动态负载均衡的需求。     

全空间下并行矢量空间分析研究综述与展望

新一代并行空间分析将面临空间大数据分析和实时空间分析服务的挑战。矢量空间计算作为GIS系统中的重要组成部分,在并行化算法设计中存在负载不均,并行扩展性差,IO性能低等技术瓶颈。本文首先从应用需求和技术发展的演变历史回顾了矢量空间分析算法发展过程;然后,从研究现状的角度详细阐述了并行矢量空间分析计算的研究成果,总结了并行空间分析算法的算法特征和技术瓶颈,对不同并行编程模型进行了对比,并提出了并行空间分析算法的研发流程;最后,从发展前景的角度预测了全空间信息系统中基于多粒度时空对象的空间数据模型和计算方法的发展趋势,提出了以内存计算等技术实现存算一体化的新型空间数据模型和分析方法的技术趋势。     

栅格地理计算并行算子对区域计算算法并行化的可用性分析——以多流向算法为例

栅格地理计算并行编程库的研发有助于实现对栅格地理计算算法的并行化。在现有的研究中,Qin 等(2014)设计并初步研发的栅格地理计算并行算子(PaRGO),在设计思路上能较好地隐藏与并行编程软硬件环境相关的复杂细节,实现栅格地理计算通用步骤的并行化,且较其他类似思路的编程库而言,PaRGO能兼容多种常用的并行计算平台,具有明显优势。但PaRGO目前在设计上仅直接支持本地、邻域及全局计算特点的栅格地理计算算法并行化,对于更为复杂的区域计算特点算法并行化的支持能力尚未探究。对此,本文选取栅格数字地形分析中具有区域计算特点、递归设计的多流向算法为算例,利用PaRGO进行并行化设计、实现及测试,以计算时间、相对加速比和相对并行效率为定量指标。通过可运行性和并行性能进行评价,结果表明:PaRGO虽然不能直接支持对递归的多流向算法进行并行化,但在根据多流向计算的原理将该递归算法转变为非递归的设计之后,可将算法由原区域计算改造为邻域迭代计算,就能利用PaRGO 实现并行化,并得到较好的并行效果。在集群环境下,MPI版本并行程序的并行效果优于MPI/OpenMP混合版本。     

基于 HBase的海量地理空间数据的空间索引模型构建与优化

传统关系型数据库在海量地理空间数据的存储与管理上面临着高并发访问规模限制、数据库扩展能力不 足等困难.非关系数据库如 HBase等以其强大的扩展能力与计算能力为该问题提供了新的思·与方法.空间索 引模型和分布式存储模式设计是影响基于非关系数据库的海量地理空间数据的存储与查询效率的关键因素.对 当前主要基于 HBase的索引模型和空间数据存储设计进行了研究,设计了基于行政区划编码与矢量要素编码结 合的 RowKey(行键),使空间数据在 HBase存储中得到很好的聚类效果,并针对要素重叠与边界划分等问题提出 了一种基于四叉树ＧR树的改进的空间索引模型.该模型基于四叉树结构将空间数据划分为多个子网格,为?一个 子网格构建 R树索引,利用 Hilbert(希尔伯特)曲线对子网格进行编码,并设计了基于 MapReduce的并行化索引构 建算法和相应的空间查询算法.经实验测试,该存储设计和空间索引模型具有较好的查询效率.      

基于MapReduce的空间敏感性分析并行算法设计

近年来,随着遥感空间数据广泛应用于生态系统,推动了区域尺度生态遥感参数模型的发展。敏感性分析对识别模型关键参数,降低模型不确定性和完善模型具有重要作用。区域尺度的生态遥感参数模型,在进行模型参数敏感性分析时,由于涉及到空间数据的复杂运算,单机环境无法满足快速分析的要求。为了提高生态遥感参数模型空间敏感性分析效率,本文以青藏高原为研究区域,利用植被光合模型VPM(Vegetation Photosynthesis Model)和开源云计算平台Hadoop,设计和实现了基于Sobol′的生态遥感参数模型空间敏感性分析并行算法,并在实验室集群环境下进行算法分析,验证了算法的有效性和适用性。该算法的核心是利用MapReduce并行编程技术,对空间敏感性分析中的地图抽样和模型迭代过程进行任务分割,将分割后的子任务分配至不同的计算节点进行并行计算。实验表明,本文提出的并行策略,能有效缩短地图抽样和模型迭代计算时间,相比于单机算法,并行算法的运行速度提高了14倍左右。     

基于“要素对象空间信息指纹”的变化空间数据同步技术的研究

随着空间数据库的建设和应用的发展,空间数据动态更新和数据分发成为确保数据现势性的主要研究课题,系统提出将地形地物要素数据的坐标数组通过MD5算法生成32位字符串的"要素对象空间信息指纹"作为判定要素数据变化的方法,结合Oracle数据库CDC技术,快速获取空间变化数据,再通过ETL数据同步机制流程化管理空间同步过程,多节点、多级联按需配置同步图层,实现不同Oracle数据库版本、不同Arc SDE版本间的空间数据断点续传同步功能。     

空间数据库电子接图表的设计与实现

目前,我国已建立多种基础空间数据库,但现有空间数据库管理系统中,地图制作、标准地图管理等仍需要采用标准分幅来满足统一管理的需要。如何更有效地管理海量分幅空间数据,并实现对其快速检索成了多尺度基础空间数据库建设亟需解决的问题之一。本文分析了电子接图表,实现了空间数据接图表的可视化,集成了现有的空间数据库管理与数据库可视化操作的功能;依据空间数据不同的比例尺类型、要素类型、几何类型,自动计算标准分幅编号、绘制分幅边界;提供空间数据库海量数据检索技术方法与参数传递方案、基于数据存储的逻辑结构设计数据检索方案,并总结出空间数据优化存储策略与高效管理方法。应用案例表明,空间数据库电子接图表能够提高分幅空间数据的可视化管理与检索效率,对涉及大规模空间数据库可视化管理和检索应用需求,有很好的理论和实际应用价值。     

基于Shark/Spark的分布式空间数据分析框架

随着空间数据的与日俱增,传统依托于单节点的空间数据管理方法,已难以满足海量数据高并发的需求。云计算的兴起带来机遇与挑战,分布式技术与数据库技术的优势互补,为云计算下高效的数据管理提供了可能。本文提出一种在分布式计算引擎（Shark/Spark）中集合之关键技术（包括空间数据映射、空间数据加载、数据备份及空间查询等）,将空间数据库对空间数据的高效存储、索引及查询优势与分布式计算引擎对复杂计算的优势相结合,实现一种基于Shark/Spark的分布式空间数据分析框架。在具体实现中,通过空间自定义函数和空间函数下推2种方式实现空间查询,结果表明,影响返回结果数据量的空间查询更适合下推给空间数据库完成,而不影响返回结果数据量的空间查询,利用分布式计算引擎直接运算更有优势。同时,通过与现有的一种分布式GIS方案（ArcGIS on Hadoop）对比发现,空间数据库的空间索引可有效提高查询效率,空间数据管理也更加独立。     

面向环境数据集的Spatial OLAP系统集成

SOLAP是以空间数据仓库为基础,针对特定问题的联机空间数据访问和分析,实现SOLAP的前提是解决空间数据与非空间数据在空间数据仓库中的集成问题。首先,论文结合混合数据仓库架构模式,采用多层体系结构设计,提出和构建了一种面向环境数据集的空间OLAP系统的体系架构,包括"生产数据库—数据仓库层(基础业务库-主题数据库)-中间件层—BI综合分析层"等4个层次。接着,分析了环境数据集成和空间数据仓库建模过程,采用Oracle 11g来构建环境空间数据仓库,通过使用ODI工具的ETL功能实现环境属性数据集成。分析和构建了环境数据空间维度扩展的方法和模型,通过扩展行政区划维度表,使用Oracle Spatial sdo_geometry抽象几何数据类型存储环境空间数据,实现了空间数据和数据仓库数据的一体化存储。分析了SOLAP系统中OLAP和GIS的集成问题,采用OBIEE作为OLAP工具,Oracle Mapviewer作为GIS组件、GIS服务和OLAP服务在Web服务器中进行业务逻辑集成,对外提供统一的访问接口,实现OLAP和GIS的完全集成。最后,实现了一个环境数据集SO-LAP原型系统,验证了论文的框架和模型。     

国土资源空间数据一体化的集成与管理

从分析国土资源空间数据的特点出发,提出国土资源空间数据一体化的集成与管理。指出采用空间数据库技术是一体化管理的基础;同时,对多源空间数据一体化集成、多尺度空间数据的一体化管理、历史空间数据的管理等问题进行了分析,并给出了相应的实现方法。     

基于异构集群计算的地统计面插值并行算法

地统计面插值算法在空间统计分析中有广泛应用,其目的是通过一组面要素的某已知属性值估算另一组面要素的属性值。地统计面插值算法多是基于克里金（Kriging）插值及其衍生算法。克里金插值算法考虑属性在空间位置上的变异性,需计算要素之间的协方差,是典型的计算密集型算法。本文分析了基于克里金插值的地统计算法计算过程,该算法中面要素间协方差计算相互独立,可作为并行计算单元划分。另外,面要素间协方差计算可使用快速傅里叶变换（FFT）快速计算,而FFT是一种非常适合并行处理的计算密集型算法。本文根据算法特征设计了基于异构集群计算的并行算法,并使用MPI+CUDA实现了该算法。实验结果表明,本文实现的算法比使用MPI实现的CPU集群的算法有更好的性能,具备良好的可扩展性,并且随着插值精度提高表现出更好的性能。