基于Hilbert空间排列码的海量空间数据划分算法研究

在深入分析了Hilbert空间排列码的线性映射特性后,将其应用于数据划分之中,并给出了具体的实现算法。本算法既考虑了空间目标的聚集性,又考虑了各个划分结点上数据存储量的平衡性,极大地提高了并行空间数据库的处理效率。     

一种面向并行空间数据库的数据划分算法研究

面向基于对象关系型数据库而构建的并行空间数据库系统,提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下,该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分,以避免出现数据倾斜现象,从而提高了空间数据的检索与查询效率。     

基于MapReduce的并行VoR-Tree索引

结合R-Tree结构范围查询的优势和Voronoi Diagram高效的邻近查询性能,提出了一种并行的VoR-Tree索引(MRVR-Tree)技术,为空间NN问题求解统一于一种高效空间索引提供了新思路;并以空间数据的最邻近查询客户端响应时间为性能评估指标,通过模拟实验证明,该索引的检索效率高于MRTree索引和MRVD索引。     

云环境下海量空间矢量数据并行划分算法

空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足,提出了基于Hilbert空间填充曲线的海量空间矢量数据并行划分算法。在数据划分阶段,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响因素;通过“合并小编码块,分解大编码块”的划分原则,实现了云环境下海量空间矢量数据的并行划分算法。试验表明,该算法不仅能够提高海量空间矢量数据的索引效率,同时也能够很好地解决空间矢量数据在Hadoop分布式文件系统（Hadoop distributed file system,HDFS）上的数据倾斜问题。     

基于MongoDB的海量空间数据存储和并行

目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的,对于二三维的海量空间数据存储效果不理想,其独有的关系模型制约了对海量空间数据快速访问和处理的能力。因此,分布式环境下如何利用非关系数据库和并行处理技术实现海量空间数据的高效存储和快速处理具有重要的研究意义。     

基于分布并行的空间数据服务器体系结构分析

从空间数据服务应用需求出发,分析了几种典型高性能存储系统的特点;分析研究了空间数据服务器系统的数据服务过程,提出并设计了由目录服务系统、磁盘服务系统、数据分布系统、客户应用系统以及高速宽带网络组成的分布并行的空间数据服务器系统体系结构.最后,通过空间数据服务实验,验证了该体系结构的可行性.     

基于分布并行的空间数据服务器体系结构分析

从空间数据服务应用需求出发,分析了几种典型高性能存储系统的特点;分析研究了空间数据服务器系统的数据服务过程,提出并设计了由目录服务系统、磁盘服务系统、数据分布系统、客户应用系统以及高速宽带网络组成的分布并行的空间数据服务器系统体系结构。最后,通过空间数据服务实验,验证了该体系结构的可行性。     

一种基于流形学习的空间数据划分方法

空间数据划分是空间数据库系统进行高效空间连接操作的前提和基础。针对现有的空间数据划分方法难以保持低冗余度和高数据量均衡度以及高效支持空间连接的问题,提出了一种基于流形学习的空间数据划分算法。利用流形学习保留降维前源数据结构不变的特点,构建数据划分策略和映射方法,通过将邻近数据划分到同一数据块来减少数据冗余度,通过对最小数据块进行映射,提高整体的数据量均衡度。实验表明,本文提出的划分方法具有极低的数据冗余度和良好的数据量均衡度。     

基于MapReduce的空间kANN查询

引入VoR-Tree空间索引,并基于传统MQM算法对kANN查询算法进行并行化改造,使得空间数据的存储和计算都迁徙到Hadoop集群上,并通过实验对该算法进行了性能测试和分析。结果表明,与单节点计算相比,基于VoR-Tree索引的并行kANN查询算法程序具有良好的性能和近似直线的加速比。     

基于OpenMP的矢量空间数据并行拓扑算法设计与实现

高性能并行GIS逐渐成为GIS发展的新方向。矢量数据的复杂性使得一些并行GIS算法难以实现,从而无法满足并行GIS的发展要求。文中针对GIS算法中的拓扑算法,借助OpenMP编程模型,通过消除并行拓扑处理过程中的数据依赖,在单机多核的环境下设计并实现了矢量空间数据并行拓扑算法。通过实验对比串行拓扑算法和并行拓扑算法的处理时间和结果,验证了并行拓扑算法的正确性,同时证明并行拓扑算法能够在一定程度上提升拓扑处理的效率。     

基于MapReduce的地图代数并行计算方法

针对大规模栅格数据的空间分析,设计并实现了一种基于MapReduce架构的通用地图代数并行计算方法。该方法能将栅格像素矩阵按数据行分割为多个独立的子矩阵,并在并行节点上使用地图代数的四种算子对来自不同矩阵的像素进行分析计算。栅格数据叠加实验结果表明,该方法具备有效性和可靠性,能降低计算对硬件设备的要求,并提升了计算效率。     

An Improved Hilbert Curve for Parallel Spatial Data Partitioning

A novel Hilbert-curve is introduced for parallel spatial data partitioning, with consideration of the huge-amount property of spatial information and the variable-length characteristic of vector data i...     

基于HBase的矢量数据云存储策略研究

大数据时代,矢量数据量急剧增长,迫切需要寻找有效的矢量大数据存储方法。提出了一种基于HBase的矢量数据云存储策略。首先应用四叉树剖分方法构建多级格网索引并基于Hilbert填充曲线对矢量数据进行聚类划分;其次结合多级格网编码和Hilbert排列码设计矢量要素唯一标识并以此作为矢量要素在HBase数据库的行键;再次对矢量数据的存储规则进行了具体设计;最后通过两个对比实验对矢量要素唯一标识聚类效果及矢量数据查询效率进行了验证,实验结果证明了该方法的可行性与有效性。     

基于空间数据引擎的城市园林绿化空间数据组织

城市园林绿化,具有数量庞大、种类繁多、覆盖范围广等特点,为城市绿化日常管理工作增加了难度。合理、高效地组织城市绿化空间数据,是城市园林绿化数字化管理的关键与核心。本文提出了以Arc SDE空间数据引擎为基础,分析城市园林绿化数据特点,制定绿化数据结构,采用分层方式管理绿化数据,实现园林绿化要素的一张图管理。实践验证表明,此方案具有较好的可行性与实用性,可为园林绿化管理提供精确的空间位置服务,提高工作效率。     

并行处理技术在地理信息数据处理中的应用

随着地理信息存储量的飞速增长,传统的单进程、集中式的数据处理方式已不能满足基于网络的地理信息服务的效能要求。分析对比了OpenMP,MPI和MapReduce等主流并行编程模式,将关系型数据库与分布式空间数据管理系统相结合,提出了面向并行处理的地理信息存储模型和数据组织模型,将该模型与传统模型进行了对比分析,并基于MapReduce实现了地理空间数据并行处理框架,选取了矢量数据装载、影像数据装载以及数据切片作为典型数据处理案例开展对比实验,该技术方案的处理效率均数倍于传统技术方案。实验表明,该模型能够很好地支持并行处理框架,可为分布式环境下数据处理中心构建提供一个有效解决方案。