共查询到15条相似文献,搜索用时 54 毫秒
1.
基于Hilbert空间排列码的海量空间数据划分算法研究 总被引:1,自引:0,他引:1
在深入分析了Hilbert空间排列码的线性映射特性后,将其应用于数据划分之中,并给出了具体的实现算法。本算法既考虑了空间目标的聚集性,又考虑了各个划分结点上数据存储量的平衡性,极大地提高了并行空间数据库的处理效率。 相似文献
2.
一种面向并行空间数据库的数据划分算法研究 总被引:7,自引:1,他引:6
面向基于对象关系型数据库而构建的并行空间数据库系统,提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下,该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分,以避免出现数据倾斜现象,从而提高了空间数据的检索与查询效率。 相似文献
3.
4.
空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足,提出了基于Hilbert空间填充曲线的海量空间矢量数据并行划分算法。在数据划分阶段,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响因素;通过“合并小编码块,分解大编码块”的划分原则,实现了云环境下海量空间矢量数据的并行划分算法。试验表明,该算法不仅能够提高海量空间矢量数据的索引效率,同时也能够很好地解决空间矢量数据在Hadoop分布式文件系统(Hadoop distributed file system,HDFS)上的数据倾斜问题。 相似文献
5.
6.
从空间数据服务应用需求出发,分析了几种典型高性能存储系统的特点;分析研究了空间数据服务器系统的数据服务过程,提出并设计了由目录服务系统、磁盘服务系统、数据分布系统、客户应用系统以及高速宽带网络组成的分布并行的空间数据服务器系统体系结构.最后,通过空间数据服务实验,验证了该体系结构的可行性. 相似文献
7.
从空间数据服务应用需求出发,分析了几种典型高性能存储系统的特点;分析研究了空间数据服务器系统的数据服务过程,提出并设计了由目录服务系统、磁盘服务系统、数据分布系统、客户应用系统以及高速宽带网络组成的分布并行的空间数据服务器系统体系结构。最后,通过空间数据服务实验,验证了该体系结构的可行性。 相似文献
8.
空间数据划分是空间数据库系统进行高效空间连接操作的前提和基础。针对现有的空间数据划分方法难以保持低冗余度和高数据量均衡度以及高效支持空间连接的问题,提出了一种基于流形学习的空间数据划分算法。利用流形学习保留降维前源数据结构不变的特点,构建数据划分策略和映射方法,通过将邻近数据划分到同一数据块来减少数据冗余度,通过对最小数据块进行映射,提高整体的数据量均衡度。实验表明,本文提出的划分方法具有极低的数据冗余度和良好的数据量均衡度。 相似文献
9.
10.
11.
基于MapReduce的地图代数并行计算方法 总被引:1,自引:0,他引:1
针对大规模栅格数据的空间分析,设计并实现了一种基于MapReduce架构的通用地图代数并行计算方法。该方法能将栅格像素矩阵按数据行分割为多个独立的子矩阵,并在并行节点上使用地图代数的四种算子对来自不同矩阵的像素进行分析计算。栅格数据叠加实验结果表明,该方法具备有效性和可靠性,能降低计算对硬件设备的要求,并提升了计算效率。 相似文献
12.
An Improved Hilbert Curve for Parallel Spatial Data Partitioning 总被引:1,自引:0,他引:1
MENG Lingkui HUANG Changqing ZHAO Chunyu LIN Zhiyong 《地球空间信息科学学报》2007,10(4):282-286
A novel Hilbert-curve is introduced for parallel spatial data partitioning, with consideration of the huge-amount property of spatial information and the variable-length characteristic of vector data i... 相似文献
13.
大数据时代,矢量数据量急剧增长,迫切需要寻找有效的矢量大数据存储方法。提出了一种基于HBase的矢量数据云存储策略。首先应用四叉树剖分方法构建多级格网索引并基于Hilbert填充曲线对矢量数据进行聚类划分;其次结合多级格网编码和Hilbert排列码设计矢量要素唯一标识并以此作为矢量要素在HBase数据库的行键;再次对矢量数据的存储规则进行了具体设计;最后通过两个对比实验对矢量要素唯一标识聚类效果及矢量数据查询效率进行了验证,实验结果证明了该方法的可行性与有效性。 相似文献
14.
城市园林绿化,具有数量庞大、种类繁多、覆盖范围广等特点,为城市绿化日常管理工作增加了难度。合理、高效地组织城市绿化空间数据,是城市园林绿化数字化管理的关键与核心。本文提出了以Arc SDE空间数据引擎为基础,分析城市园林绿化数据特点,制定绿化数据结构,采用分层方式管理绿化数据,实现园林绿化要素的一张图管理。实践验证表明,此方案具有较好的可行性与实用性,可为园林绿化管理提供精确的空间位置服务,提高工作效率。 相似文献
15.
随着地理信息存储量的飞速增长,传统的单进程、集中式的数据处理方式已不能满足基于网络的地理信息服务的效能要求。分析对比了OpenMP,MPI和MapReduce等主流并行编程模式,将关系型数据库与分布式空间数据管理系统相结合,提出了面向并行处理的地理信息存储模型和数据组织模型,将该模型与传统模型进行了对比分析,并基于MapReduce实现了地理空间数据并行处理框架,选取了矢量数据装载、影像数据装载以及数据切片作为典型数据处理案例开展对比实验,该技术方案的处理效率均数倍于传统技术方案。实验表明,该模型能够很好地支持并行处理框架,可为分布式环境下数据处理中心构建提供一个有效解决方案。 相似文献