基于Phoenix的地理空间大数据管理系统

NoSQL数据库HBase已被众多应用系统作为存储和管理海量数据的解决方案,但HBase并未提供对地理空间数据的直接支持,因此提出了名为GS-Phoenix的地理空间大数据管理系统,GS-Phoenix构建在开源项目Phoenix和HBase之上。在插入空间数据时,GS-Phoenix自动以主键索引或二次索引方式生成基于空间填充曲线的空间索引。利用该空间索引,GS-Phoenix实现了矩形范围查询、不规则范围查询和k近邻(k nearest neighbors,k NN)查询等复杂空间查询所需的基本操作。GS-Phoenix利用用户自定义函数机制和服务器端排序机制将空间查询中的主要运算任务放置在服务器端,有效降低了客户端的计算负担。此外,GS-Phoenix还设计了基于数据空间分布统计的查询优化方法,进一步提高了空间查询效率。实验表明,GS-Phoenix能够在小规模的集群上实现17万/s左右的数据插入速率,常用的空间范围查询和k NN查询都可以在几百毫秒内完成,因此GS-Phoenix能够适用于各类具有高数据吞吐和实时空间查询需求的位置相关应用系统。     

基于Hadoop的地图瓦片云存储系统的设计与实现

针对集中式存储方案无法对海量地图瓦片进行有效存储和管理这一问题,基于Hadoop云计算框架,结合HBase分布式数据库、MapReduce并行计算框架和Hilbert空间填充曲线,设计实现了一种地图瓦片云存储系统。该系统在对地图瓦片提供海量存储能力的同时,还可以对瓦片数据进行快速入库和高效查询,为海量瓦片数据的存储提供了新方案。     

基于Spark的分布式空间数据存储结构设计与实现

Apache Spark分布式计算框架可用于空间大数据的管理与计算,为实现云GIS提供基础平台。针对Apache Spark的数据组织与计算模型,结合Apache HBase分布式数据库,从分布式GIS内核的理念出发,设计并实现了分布式空间数据存储结构与对象接口,并基于某国产GIS平台软件内核进行了实现。针对点、线、面数据的存储与查询,与传统空间数据库系统PostGIS进行了一系列对比实验,验证了提出的分布式空间数据存储架构的可行性与高效性。     

基于线性参照系统的高铁沉降数据集成模型

针对高铁沉降监测数据的海量特性,以及传统管理方式存在的效率不高、可视化效果不好的问题,设计了一种基于线性参照系统有效管理和显示高铁沉降监测数据的集成模型。该模型中,高铁路网以路径要素集存储,高铁沿线非空间数据以事件表的形式存储,由此实现高铁沉降监测相关的空间数据和属性数据的线性建模与集成。同时,使用Arc Engine组件与.NET平台实现了沉降监测数据空间查询和可视化表达功能,可形象地反映高铁线路与沉降监测点的分布状况,更易于进行沉降数据的可视化分析、预测和评估。数据集成模型实现了非空间数据和空间数据的一体化管理,有效地减少了数据存储冗余,提高了高铁变形监测数据管理的效率,对我国高速铁路的建设与运营安全的海量监测数据管理具有一定的参考价值。     

一种面向并行空间数据库的数据划分算法研究

面向基于对象关系型数据库而构建的并行空间数据库系统，提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下，该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分，以避免出现数据倾斜现象，从而提高了空间数据的检索与查询效率。     

基于GIS的综合交通空间数据管理系统研究

为解决综合交通运输空间数据海量存储、时空一体化、高效共享、实时更新等管理问题,探讨GIS在标准化、自动化和可视化的空间数据管理和应用系统构建中的独特优势,提升交通运输空间数据管理、应用和工作效率,首先从数据的组织和分类、数据库总体结构设计等方面探讨了综合交通运输空间数据库的设计思路和关键技术;然后针对传统空间数据管理系统只注重独立的业务环节,忽略数据管理与应用的结合,导致数据来源有限、数据监测与更新不及时等问题,开发了集传统空间数据管理与融合数据应用于一体的系统,与综合交通运输空间数据库形成了动态循环更新生态链,实现了综合交通运输空间数据管理、数据浏览、数据检索、数据服务、实时更新和安全维护等功能,为广东省交通运输行业各交通应用平台以及交通规划专业研究工作提供了一体化的数据支撑平台.研究结果表明,构建基于GIS的综合交通空间数据管理系统,实现了综合交通运输空间数据与属性数据标准化、自动化、可视化的海量存储和统一管理,增强了数据质量的全面监测和数据实时更新能力,提高了综合交通运输空间数据管理和规划研究的工作效率.     

基于Internet的矢量数据远程查询设计

地理空间数据存储在文件或数据库中，对于在线服务的地理数据通常存储在空间数据库中，空间数据库已经能够管理海量矢量数据。然而由于空间数据库的远程查询在一个有限带宽的网络环境中执行有别于传统的空间数据查询，具有只能传输有限的查询结果集、会话时间短、无状态、长事务和不透明的特点。在详细阐述这些特点的基础上，重点介绍基于查询代理的海量空间数据远程查询和基于Web的几何对象属性查询的设计与实现，实践证明能够部分解决上述问题。     

基于NoSQL数据库的空间大数据分布式存储策略

基于关系型数据库的空间数据存储与处理是地理信息系统（geographic information system,GIS）领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。     

资源环境遥感海量空间数据存储、检索和访问方法

为了有效管理和利用资源环境遥感研究过程中积累的海量空间数据,设计资源环境遥感海量空间数据存储、检索及访问方法.针对不同数据类型和特点的海量空间数据,采用空间数据库、文件目录方式和Web Service等方法实现数据存储和发布.在空间查询二步算法的基础上,设计了基于空间位置的海量空间数据检索方法,可以检索以Mapping和Web Service等方式发布的数据,解决用户快速查找数据的问题.利用分层分块和可视区域格网索引等方法优化空间数据的传输、加载和显示等性能,并进行了相关性能测试.所设计的方法通过探讨数据的存储策略、数据的检索策略以及数据的访问展现策略,解决了海量空间数据应用中的数据有效管理、数据的精确定位以及数据快速传输呈现的问题.并基于此方法构建了资源环境遥感应急监测基础设施的基本框架.     

全球格网系统的元数据管理模型

空间元数据管理技术是海量空间数据组织和管理的关键技术之一,是全球格网系统中实现地理数据有效组织和快速搜索的主要解决途径之一,与空间数据的共享与分发关系十分密切。从全球格网系统角度出发,对空间元数据的定义、内容、理论体系等方面进行了较为详细的阐述,并根据球面剖分的特点,对元数据管理模型及其解决方案进行了深入研究,为海量数据的组织和分发提供行之有效的管理方法。