基于对象存储的海量空间数据存储与管理

提出了一种基于对象存储的空间对象集群存储系统(geospace object store,GOS),为空间数据的存储与管理提供了一种新的解决方法.在GOS系统中,实现了在逻辑层对面向对象空间数据模型的支持,使得数据模型映射得到简化.同时,对象存储本身具有的并行性使得系统具有并行的查询处理功能,使得空间数据查询处理这一计算密集型操作在GOS中得到很好的解决.     

基于MongoDB的海量空间数据存储和并行

目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的,对于二三维的海量空间数据存储效果不理想,其独有的关系模型制约了对海量空间数据快速访问和处理的能力。因此,分布式环境下如何利用非关系数据库和并行处理技术实现海量空间数据的高效存储和快速处理具有重要的研究意义。     

基于 MongoDB 的海量空间数据存储和并行简

目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的,对于二三维的海量空间数据存储效果不理想,其独有的关系模型制约了对海量空间数据快速访问和处理的能力.因此,分布式环境下如何利用非关系数据库和并行处理技术实现海量空间数据的高效存储和快速处理具有重要的研究意义.     

基于对象存储的新型网络GIS体系结构研究

提出了一种基于对象存储的网络地理信息系统体系结构,该体系结构由应用层、服务层、传输层和存储层组成,用服务器集群技术解决服务器提供服务的网络带宽瓶颈,用基于对象存储技术解决分布式空间数据存储系统的I/O带宽瓶颈.设计并实现了原型系统GlobeSIGht,给出了相关的测试结果.     

地理信息空间数据管理的对象存储研究

介绍了地理信息空间数据存、管、用的解决方案.从分析海量地理信息数据存储、管理和使用需求出发,围绕数据长期存放、备份能力、数据一致性、数据索引等提出了基于对象存储的分布式架构解决方案.该架构的容量和性能线性扩展,升级替换机制先进,上线后避免了业务中断隐患,经过实际运行,取得了良好效果.分布式对象存储可实现地理信息数据的统...     

基于对象存储的分布式GIS数据安全机制

根据OSD-2标准,提出一种安全机制来保证基于对象存储的分布式GIS空间数据的安全。在本安全机制中,采用的安全模型是基于信任状的访问控制系统,主要由OSD设备、安全管理器、策略/存储管理器和GIS服务器组成。该安全机制主要包含3个协议:GIS服务器-安全管理器协议、安全管理器-OSD设备协议和GIS服务器-OSD设备协议。命令的传输和数据的访问都要进行认证。这3个协议有效预防了各种网络攻击手段的攻击,保证了分布式GIS空间数据的安全共享。     

分布式GML空间数据库概述

GML的相关理论在单机情况下都已得到了大量研究,但在管理海量空间数据的情况下,必须寻求分布式存储环境来解决存储容量和管理的问题。根据分布式空间数据库的相关研究,提出分布式GML空间数据库(DGMLDB)概念,并根据已有研究成果提出了3种设计思想,为GML在分布式存储方面提供理论方案。     

基于Memcached的GML存储缓存构建研究

GML是一项基于XML语法的标准,在Web应用中,海量的GML空间数据对并发运行、负载均衡和宽带等都是一个巨大的瓶颈。从GML空间数据存储入手,针对Memcached提供分布式缓存部署,研究在C#.NET环境下搭建Memcached缓存环境,编码测试其对GML空间数据存储处理的效率,并给出试验结果。     

基于NoSQL数据库的空间大数据分布式存储策略

基于关系型数据库的空间数据存储与处理是地理信息系统（geographic information system,GIS）领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。     

基于MapReduce的空间数据并行划分算法

针对海量空间数据分布式存储中存在的不顾及空间邻近性、分布不均和数据倾斜的问题,基于MapReduce并行编程模型,对Hilbert空间曲线层次分解的思想和节点容量感知的方法进行了研究,提出了一种层次分解的空间数据并行划分策略,并通过临界值判定实现空间数据的均衡存储。最后通过实例分析说明该方法可以在保证空间数据邻近特性的同时,解决海量空间数据分布式存储不均和数据倾斜的问题。     

空间大数据在MongoDB中的存储探索

最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法.     

分布式空间数据库在海量卫星影像管理中的应用

针对现有影像存储方法在海量卫星影像存储中性能不足的问题,分析了现有卫星影像数据存储方法的特点,提出了基于分布式空间数据库管理影像元数据的改进方法。该方法采用文件系统存储影像非结构化的实体数据,影像的空间信息及元数据存储在分布式空间数据库中,实现了海量卫星影像数据的高性能存储,并开展了资源三号卫星影像数据管理试验。试验表明该方法在海量卫星影像数据查询性能方面有显著提高,适用于海量卫星影像数据存储。     

面向服务的分级地理空间数据中心框架的构建

分级地理空间数据中心是全国范围地理空间数据中心建设与发展的核心工程,文中探讨建设面向服务的分级数据中心软硬件环境、关键技术以及数据分布存储模式。此方案实现了数据中心分布存储管理数据,有效利用对象关系数据库的ACID特性,为多源异构海量空间数据的集成共享提供了一个思路。     

BIM及空间大数据技术支持下的铁路隧道施工数据管理

针对铁路隧道施工项目海量异构数据存储困难、信息不共享、展示不直观、数据价值利用不充分等问题,本文利用BIM及空间大数据技术,研究探讨了隧道施工项目海量异构数据的分布式存储、网络共享、三维查询、智能分析决策等技术,实现了隧道施工项目高效的信息化管理;提出了铁路隧道BIM三维模型动态建立的技术方案,设计了隧道施工管理空间大数据的云平台框架,研发了一套铁路隧道施工空间大数据管理应用云平台;通过对平台的成功开发与应用,验证了框架体系的可行性,提高了隧道施工项目管理的信息化水平。     

云环境下海量空间矢量数据并行划分算法

空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足,提出了基于Hilbert空间填充曲线的海量空间矢量数据并行划分算法。在数据划分阶段,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响因素;通过“合并小编码块,分解大编码块”的划分原则,实现了云环境下海量空间矢量数据的并行划分算法。试验表明,该算法不仅能够提高海量空间矢量数据的索引效率,同时也能够很好地解决空间矢量数据在Hadoop分布式文件系统（Hadoop distributed file system,HDFS）上的数据倾斜问题。     

全球多分辨率数据模型的构建与快速显示

在总结并分析国内外已有的多种全球数据浏览和显示系统的基础上,采用了全球空间四叉树模型与“视点相关”的处理方式,并将多线程理论有效地应用到超大数据的管理与显示中,建立了合理的多线程访问机制,利用金字塔瓦片数据集管理影像与DEM数据,实现了局域网内的分布存储与分发,并开发了全球海量数据管理客户端实验系统GlobalView。     

分布式空间数据库中矢量数据多级空间索引方法研究

随着网格计算、云计算等技术在地理信息领域的应用,海量空间数据的高效组织与管理成为提供各种数据和功能服务的基础,空间索引是其中的关键问题,文中在分布式空间数据库系统架构基础上,提出一种适应分布式环境下的分层+分块的矢量数据存储组织模型,设计包括矢量数据面片索引、矢量数据层索引、矢量数据块索引以及数据块内索引在内的多级空间索引。实现表明,文中设计的空间索引支持并发创建和高并发条件下的数据高效访问。     

db4o引擎下的GML空间数据存储研究

目前GML已成为空间数据编码、交换的国际标准,大量GML空间数据的不断涌现,给我们带来了新的挑战,即如何有效地管理、操纵这些GML格式的数据,如何建立良好的索引机制以高效地检索数据量大大增加的GML文档。本文结合开源纯面向对象数据库引擎db4o和传统的空间数据库技术,研究了GML空间数据的原生对象存储方法、索引机制。