一种面向并行空间数据库的数据划分算法研究

面向基于对象关系型数据库而构建的并行空间数据库系统，提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下，该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分，以避免出现数据倾斜现象，从而提高了空间数据的检索与查询效率。     

分布式空间数据库中矢量数据多级空间索引方法研究

随着网格计算、云计算等技术在地理信息领域的应用,海量空间数据的高效组织与管理成为提供各种数据和功能服务的基础,空间索引是其中的关键问题,文中在分布式空间数据库系统架构基础上,提出一种适应分布式环境下的分层+分块的矢量数据存储组织模型,设计包括矢量数据面片索引、矢量数据层索引、矢量数据块索引以及数据块内索引在内的多级空间索引。实现表明,文中设计的空间索引支持并发创建和高并发条件下的数据高效访问。     

内存数据库在ZY1-02C海量数据空间检索中的应用

实现海量空间数据的高效检索是资源一号02C(ZY1-02C)卫星数据应用的重要前提。在传统基于关系型数据库的空间查询模式中,频繁的磁盘I/O及内外存交换对查询性能有较大影响,而完全基于内存的内存数据库技术可有效规避这一问题,显著提升效率。基于Key-Value型内存数据库Redis,研究并设计了矢量数据在Redis中的存储结构,并实现了基于Key-Value型存储结构的空间R树索引。经实际应用检验,该存储及索引架构能够有效提升海量空间数据的查询检索性能。     

Map/Reduce框架下的粗糙集空间数据挖掘改进算法

大数据时代,传统的空间数据挖掘算法在挖掘海量空间数据信息时存在计算能力和存储能力不足的瓶颈。为解决此问题,本文在研究粗糙集基本理论和Map/Reduce框架的基础上,对传统的粗糙集空间数据挖掘算法进行基于Map/Reduce的高效、廉价的并行化改进。实验表明,在处理大数据时,改进后的模糊集并行空间数据算法能有效提高算法的效率,满足人们处理海量空间数据的需求。     

基于MapReduce的空间数据并行划分算法

针对海量空间数据分布式存储中存在的不顾及空间邻近性、分布不均和数据倾斜的问题,基于MapReduce并行编程模型,对Hilbert空间曲线层次分解的思想和节点容量感知的方法进行了研究,提出了一种层次分解的空间数据并行划分策略,并通过临界值判定实现空间数据的均衡存储。最后通过实例分析说明该方法可以在保证空间数据邻近特性的同时,解决海量空间数据分布式存储不均和数据倾斜的问题。     

资源环境遥感海量空间数据存储、检索和访问方法

为了有效管理和利用资源环境遥感研究过程中积累的海量空间数据,设计资源环境遥感海量空间数据存储、检索及访问方法.针对不同数据类型和特点的海量空间数据,采用空间数据库、文件目录方式和Web Service等方法实现数据存储和发布.在空间查询二步算法的基础上,设计了基于空间位置的海量空间数据检索方法,可以检索以Mapping和Web Service等方式发布的数据,解决用户快速查找数据的问题.利用分层分块和可视区域格网索引等方法优化空间数据的传输、加载和显示等性能,并进行了相关性能测试.所设计的方法通过探讨数据的存储策略、数据的检索策略以及数据的访问展现策略,解决了海量空间数据应用中的数据有效管理、数据的精确定位以及数据快速传输呈现的问题.并基于此方法构建了资源环境遥感应急监测基础设施的基本框架.     

基于Internet的矢量数据远程查询设计

地理空间数据存储在文件或数据库中，对于在线服务的地理数据通常存储在空间数据库中，空间数据库已经能够管理海量矢量数据。然而由于空间数据库的远程查询在一个有限带宽的网络环境中执行有别于传统的空间数据查询，具有只能传输有限的查询结果集、会话时间短、无状态、长事务和不透明的特点。在详细阐述这些特点的基础上，重点介绍基于查询代理的海量空间数据远程查询和基于Web的几何对象属性查询的设计与实现，实践证明能够部分解决上述问题。     

M-Quadtree索引:一种基于改进四叉树编码方法的云存储环境下空间索引方法

为了解决基于"键-值"模型的云存储环境仅支持简单的关键字查询,不支持多维空间查询的问题,提出了一种新的分布式空间索引方法——M-Quadtree索引。在索引构建过程中,设计了一种基于改进四叉树的空间数据划分方法,该方法规定了叶节点区域的最小数据量,通过四叉树叶节点的再合并,解决了划分后各子区域间存储量不平衡的问题,并且满足了MapReduce并行化要求。给出了MapReduce框架下M-Quadtree索引的快速构建、查询与更新算法,并在搭建的Hadoop平台进行了关键参数对索引效率的影响以及不同规模数据下索引的创建、查询和更新试验。与现有分布式空间索引的对比试验及分析结果表明,M-Quadtree索引在数据存储量负载均衡、算法并行化和空间查询效率等方面表现得更好。     

一种海量空间数据云存储与查询算法

针对传统的空间数据库管理方式在可扩展性、容错性和成本上难以满足分布式海量数据管理需求的问题,提出了基于开源大数据平台HBase的海量空间数据管理方案。根据空间数据操作方式的局部性特征,对存储于云平台中的空间数据,使用空间四叉树模型组织栅格数据,引入Z序空间填充曲线组织矢量数据,并建立空间索引,利用两步查询法(过滤和精化)进行空间查询。该方案在继承了HBase平台易于横向扩展、伸缩性和容错性强等特性的同时也保证了空间查询效率。基于此方案,设计实现了云空间地图服务系统CGMapServer。测试表明,该系统在高并发情况下对大数据集的空间查询响应具有较好的实时性。     

大规模空间轨迹数据管理方法研究

设计了基于新型大数据管理框架ClickHouse的空间轨迹大数据管理方案,以Geohash编码规则为内部空间轨迹数据的空间索引生成方式,同时将Geohash编码特性运用到大规模轨迹数据的检索方案设计中。通过AIS船舶轨迹数据与传统的PostGIS空间数据存储框架进行数据管理与检索的效率对比,验证本文框架的优越性能。     

A spatiotemporal algebra in Hadoop for moving objects

Spatiotemporal data represent the real-world objects that move in geographic space over time. The enormous numbers of mobile sensors and location tracking devices continuously produce massive amounts of such data. This leads to the need for scalable spatiotemporal data management systems. Such systems shall be capable of representing spatiotemporal data in persistent storage and in memory. They shall also provide a range of query processing operators that may scale out in a cloud setting. Currently, very few researches have been conducted to meet this requirement. This paper proposes a Hadoop extension with a spatiotemporal algebra. The algebra consists of moving object types added as Hadoop native types, and operators on top of them. The Hadoop file system has been extended to support parameter passing for files that contain spatiotemporal data, and for operators that can be unary or binary. Both the types and operators are accessible for the MapReduce jobs. Such an extension allows users to write Hadoop programs that can perform spatiotemporal analysis. Certain queries may call more than one operator for different jobs and keep these operators running in parallel. This paper describes the design and implementation of this algebra, and evaluates it using a benchmark that is specific to moving object databases.     

一种空间分布模式驱动的空间索引

支持批量操作的空间索引中,空间数据的分解粒度、局部更新操作的整体影响处理是两个主要难点。本文基于空间分布模式分析,提出了一种空间索引——Pattern-tree。针对批量操作的粒度问题,设计了一种基于空间分布模式探测的空间划分方法,采用一种自上而下与自下而上相结合的索引树构建算法;针对局部插入操作对索引树的整体影响与索引树的调整问题,提出了一种基于空间分布模式变化检测的索引更新方法。试验表明,本文所提出的空间索引结构比STLT、GBI以及SCB等方法具有更高的构建与窗口查询效率。     

基于Hilbert空间排列码的海量空间数据划分算法研究

在深入分析了Hilbert空间排列码的线性映射特性后，将其应用于数据划分之中，并给出了具体的实现算法。本算法既考虑了空间目标的聚集性，又考虑了各个划分结点上数据存储量的平衡性，极大地提高了并行空间数据库的处理效率。     

GPS及InSAR数据支持下的甘肃黑方台滑坡监测云平台设计与分析

通过对主流云计算平台技术的深入研究和思考,针对滑坡灾害监测数据量大、数据类型多这一特点,设计了基于GPS及InSAR数据的滑坡监测云平台;并以甘肃黑方台滑坡为例,使用ArcGIS对该滑坡进行了风险评估和分析。Hadoop技术的应用明显提高了滑坡监测中海量数据存储和处理的效率,为云计算技术在灾害监测方面的进一步应用进行了有益的探索。     

改进的分层点云数据压缩算法

针对传统点云压缩算法主要对小型物件的小数据量精细点云进行压缩,在大型地物的海量数据压缩方面存在压缩时间长、效率低的不足,提出了一种改进的分层点云数据压缩算法。基于大型地物点云空间结构特点将分层压缩算法的速度优势和距离压缩算法的高效优势相结合,解决了传统压缩算法在大型地物点云压缩方面的不足,实现了海量点云的快速高效压缩。西安市大雁塔三维激光点云压缩实验结果表明:该算法可以快速地完成海量点云的压缩,较之传统压缩算法极大地缩短了压缩时间,提高压缩效率。     

海量GNSS小文件云存储优化方法研究

GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统（HDFS）解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提出了一种新的GNSS小文件云存储方法,优化了GNSS小文件的写入、读取、添加和删除策略。该方法分别按观测文件和解算成果的类型进行合并,对合并后的文件构建压缩Trie树索引,索引切分后,根据匹配算法分布式地存储索引块。实验采用国际GNSS服务（IGS）28 d的数据和产品进行云存储优化。结果表明,该方法降低了各节点内存消耗,提高了海量GNSS小文件写入、读取和删除的效率,实现了对海量GNSS小文件的高效云存储。