云环境下海量空间矢量数据并行划分算法

空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足,提出了基于Hilbert空间填充曲线的海量空间矢量数据并行划分算法。在数据划分阶段,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响因素;通过“合并小编码块,分解大编码块”的划分原则,实现了云环境下海量空间矢量数据的并行划分算法。试验表明,该算法不仅能够提高海量空间矢量数据的索引效率,同时也能够很好地解决空间矢量数据在Hadoop分布式文件系统（Hadoop distributed file system,HDFS）上的数据倾斜问题。     

资源环境遥感海量空间数据存储、检索和访问方法

为了有效管理和利用资源环境遥感研究过程中积累的海量空间数据,设计资源环境遥感海量空间数据存储、检索及访问方法.针对不同数据类型和特点的海量空间数据,采用空间数据库、文件目录方式和Web Service等方法实现数据存储和发布.在空间查询二步算法的基础上,设计了基于空间位置的海量空间数据检索方法,可以检索以Mapping和Web Service等方式发布的数据,解决用户快速查找数据的问题.利用分层分块和可视区域格网索引等方法优化空间数据的传输、加载和显示等性能,并进行了相关性能测试.所设计的方法通过探讨数据的存储策略、数据的检索策略以及数据的访问展现策略,解决了海量空间数据应用中的数据有效管理、数据的精确定位以及数据快速传输呈现的问题.并基于此方法构建了资源环境遥感应急监测基础设施的基本框架.     

Web分布式空间数据仓库体系结构设计

通过互联网将海量空间信息资源进行有效整合、存储、管理、共享及分析利用是实现面向政府、部门和社会公众地理空间信息服务的关键。结合了海量异构空间数据管理的实际需求,提出了一种Web分布式空间数据仓库体系结构,并将该体系结构应用于省级退化废弃地监控信息决策服务系统,设计了基于Web分布式空间数据仓库的省级退化废弃地监控数据管...     

分布式空间数据库在海量卫星影像管理中的应用

针对现有影像存储方法在海量卫星影像存储中性能不足的问题,分析了现有卫星影像数据存储方法的特点,提出了基于分布式空间数据库管理影像元数据的改进方法。该方法采用文件系统存储影像非结构化的实体数据,影像的空间信息及元数据存储在分布式空间数据库中,实现了海量卫星影像数据的高性能存储,并开展了资源三号卫星影像数据管理试验。试验表明该方法在海量卫星影像数据查询性能方面有显著提高,适用于海量卫星影像数据存储。     

分布式空间数据存储对象

针对地理空间数据的地域性和日益突出的数据量快速增长特性，提出了分布式空间数据存储对象概念。介绍了基于分布式空间数据存储对象来实现一种高性能、可伸缩、跨平台共事的大规模海量空间数据存储管理机制，为分布式GIS数据存储提供了一种新的思路。     

一种面向并行空间数据库的数据划分算法研究

面向基于对象关系型数据库而构建的并行空间数据库系统，提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下，该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分，以避免出现数据倾斜现象，从而提高了空间数据的检索与查询效率。     

分布式GML空间数据库概述

GML的相关理论在单机情况下都已得到了大量研究,但在管理海量空间数据的情况下,必须寻求分布式存储环境来解决存储容量和管理的问题。根据分布式空间数据库的相关研究,提出分布式GML空间数据库(DGMLDB)概念,并根据已有研究成果提出了3种设计思想,为GML在分布式存储方面提供理论方案。     

基于MongoDB的海量空间数据存储和并行

目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的,对于二三维的海量空间数据存储效果不理想,其独有的关系模型制约了对海量空间数据快速访问和处理的能力。因此,分布式环境下如何利用非关系数据库和并行处理技术实现海量空间数据的高效存储和快速处理具有重要的研究意义。     

基于 MongoDB 的海量空间数据存储和并行简

目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的,对于二三维的海量空间数据存储效果不理想,其独有的关系模型制约了对海量空间数据快速访问和处理的能力.因此,分布式环境下如何利用非关系数据库和并行处理技术实现海量空间数据的高效存储和快速处理具有重要的研究意义.     

空间大数据在MongoDB中的存储探索

最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法.     

用户访问驱动的空间数据存储组织策略

针对用户访问服务负载均衡的分布存储要求和磁盘连续读取的合并存储要求之间的矛盾，提出一种基于用户访问行为的综合考虑存储节点连续读取效率和网络负载均衡效率的空间数据存储组织方法（combined strategy of data placement and load balance，CSDL）。该方案根据用户访问行为，通过空间数据的访问相关性计算，将热点数据分布存储在不同的服务器上，以实现用户并发访问时的负载均衡；同时，通过对存储在相同服务器内数据的并发度计算，将并发度高的数据存储在连续的磁盘空间上，以实现磁盘存储服务的连续读取。CSDL方法试图同时从上层应用的负载均衡和底层磁盘效率两个方面对空间数据的存储进行分布组织，以提高地理信息系统服务效率。试验结果表明，该方案可有效提高45.2%~245.3%的系统平均请求响应时间，与此同时，分布式服务器节点的负载均衡度可提高约0.5%~440.9%，能满足大规模分布式环境的应用需求。     

M-Quadtree索引:一种基于改进四叉树编码方法的云存储环境下空间索引方法

为了解决基于"键-值"模型的云存储环境仅支持简单的关键字查询,不支持多维空间查询的问题,提出了一种新的分布式空间索引方法——M-Quadtree索引。在索引构建过程中,设计了一种基于改进四叉树的空间数据划分方法,该方法规定了叶节点区域的最小数据量,通过四叉树叶节点的再合并,解决了划分后各子区域间存储量不平衡的问题,并且满足了MapReduce并行化要求。给出了MapReduce框架下M-Quadtree索引的快速构建、查询与更新算法,并在搭建的Hadoop平台进行了关键参数对索引效率的影响以及不同规模数据下索引的创建、查询和更新试验。与现有分布式空间索引的对比试验及分析结果表明,M-Quadtree索引在数据存储量负载均衡、算法并行化和空间查询效率等方面表现得更好。     

基于Hilbert空间排列码的海量空间数据划分算法研究

在深入分析了Hilbert空间排列码的线性映射特性后，将其应用于数据划分之中，并给出了具体的实现算法。本算法既考虑了空间目标的聚集性，又考虑了各个划分结点上数据存储量的平衡性，极大地提高了并行空间数据库的处理效率。     

一种基于流形学习的空间数据划分方法

空间数据划分是空间数据库系统进行高效空间连接操作的前提和基础。针对现有的空间数据划分方法难以保持低冗余度和高数据量均衡度以及高效支持空间连接的问题,提出了一种基于流形学习的空间数据划分算法。利用流形学习保留降维前源数据结构不变的特点,构建数据划分策略和映射方法,通过将邻近数据划分到同一数据块来减少数据冗余度,通过对最小数据块进行映射,提高整体的数据量均衡度。实验表明,本文提出的划分方法具有极低的数据冗余度和良好的数据量均衡度。     

基于对象存储的分布式GIS数据安全机制

根据OSD-2标准,提出一种安全机制来保证基于对象存储的分布式GIS空间数据的安全。在本安全机制中,采用的安全模型是基于信任状的访问控制系统,主要由OSD设备、安全管理器、策略/存储管理器和GIS服务器组成。该安全机制主要包含3个协议:GIS服务器-安全管理器协议、安全管理器-OSD设备协议和GIS服务器-OSD设备协议。命令的传输和数据的访问都要进行认证。这3个协议有效预防了各种网络攻击手段的攻击,保证了分布式GIS空间数据的安全共享。     

KING GEORGE ISLAND SPATIAL DATA MODEL

1　ＩｎｔｒｏｄｕｃｔｉｏｎＳｐａｔｉａｌｄｉｓｔｒｉｂｕｔｉｏｎｉｓｔｈｅｎａｔｕｒａｌｆｅａｔｕｒｅｏｆｇｅｏ ｇｒａｐｈｉｃｉｎｆｏｒｍａｔｉｏｎ .Ｉｎｔｈｅｐａｓｔｙｅａｒｓ,ｄｕｅｔｏｌｉｍｉ ｔａｔｉｏｎｏｆｔｅｃｈｎｏｌｏｇｙ ,ｃｏｍｍｕｎｉｃａｔｉｏｎａｎｄｈａｒｄｗａｒｅ ,ｓｐａｔｉａｌｄａｔａｃａｐｔｕｒｅｄｆｒｏｍｄｉｆｆｅｒｅｎｔｒｅｇｉｏｎｈａｓｔｏｂｅｓａｖｅｄ ,ｍａｎａｇｅｄａｎｄｐｒｏｃｅｓｓｅｄｉｎｔｈｅｃｅｎｔｒａｌｐｌａｃｅ .Ａｓａｒｅｓｕｌｔ ,ｓｐａｔｉａｌｄ…     

分布式空间数据库中矢量数据多级空间索引方法研究

随着网格计算、云计算等技术在地理信息领域的应用,海量空间数据的高效组织与管理成为提供各种数据和功能服务的基础,空间索引是其中的关键问题,文中在分布式空间数据库系统架构基础上,提出一种适应分布式环境下的分层+分块的矢量数据存储组织模型,设计包括矢量数据面片索引、矢量数据层索引、矢量数据块索引以及数据块内索引在内的多级空间索引。实现表明,文中设计的空间索引支持并发创建和高并发条件下的数据高效访问。