内存数据库在ZY1-02C海量数据空间检索中的应用

实现海量空间数据的高效检索是资源一号02C(ZY1-02C)卫星数据应用的重要前提。在传统基于关系型数据库的空间查询模式中,频繁的磁盘I/O及内外存交换对查询性能有较大影响,而完全基于内存的内存数据库技术可有效规避这一问题,显著提升效率。基于Key-Value型内存数据库Redis,研究并设计了矢量数据在Redis中的存储结构,并实现了基于Key-Value型存储结构的空间R树索引。经实际应用检验,该存储及索引架构能够有效提升海量空间数据的查询检索性能。     

空间大数据在MongoDB中的存储探索

最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法.     

基于HBase的空间矢量数据存储模型设计与优化

数据存储模型是数据库模型的重要组成部分。本文针对目前关系型空间数据库发展过程中遇到的瓶颈问题以及采用HBase管理空间矢量数据存在的问题,在分析关系型空间数据库存储模型的基础上,将关系型数据库存储模式向HBase存储模式转换规则应用到空间矢量数据管理领域,提出了空间矢量数据关系存储模式向HBase存储模式转换方法,设计了一种空间矢量数据HBase存储模型。利用HBase的实体嵌套、反范式化、无模式等特性,对模型进行了优化完善。通过试验验证了在没有辅助索引情况下,本文设计的存储模型查询效率优于目前常用的基于HBase的空间矢量数据存储模型。     

基于时序数据库的CGSsafety系统设计与实现

地质调查安全保障(CGSsafety)系统对提升地质调查单位的安全生产管理和安全保障技术水平具有重要意义,然而传统的CGSsafety系统采用的关系型数据库受海量数据存储和高频次数据访问问题的制约,难以满足日益增加的北斗数据的存储和管理需求,也难以适应持久的、高性能负荷的数据存储、处理和快速读写需求.分析了CGSsafety系统对海量时空监测数据的存储和访问需求,基于时序数据库技术,阐述了CGSsafety系统的总体设计、功能实现和应用效果,从而解决了传统数据库在处理海量时空监测数据时遇到的存储容量和访问效率问题.     

海量遥感影像数据存储管理技术研究与实现

针对遥感卫星影像数据存储管理的迫切需求,研究了海量影像数据组织管理中存在的主要技术问题,提出了一种基于线性四叉树技术的影像金字塔模型快速索引机制,并运用关系型数据库技术实现了遥感影像数据与元数据的一体化管理。最后讨论了海量影像数据管理系统实现技术,并通过试验数据验证了技术方法的实用性。     

基于MongoDB的Web空间数据存储与管理研究

本文对比了MongoDB与其他关系型数据库,探讨了使用MongoDB存储和管理Web空间数据的必要性和优势,定义了一种基于GeoJSON的数据存储模型,实现了基于MongoDB的Web空间数据对象化存储,提出了使用MongoDB创建二维球面地理位置索引的方法。     

基于多级信息网格的海量遥感数据存储管理研究

随着遥感探测技术的高速发展,空间信息呈爆炸式增长。针对目前现有遥感数据存储管理系统数据量大、数据来源丰富、查询检索慢等问题,本文提出了一种基于GeoSOT网格的遥感数据组织方案,并首次在关系型数据库中增加数组数据类型的剖分网格编码列,来存储遥感影像元数据中空间信息,对数据进行逻辑剖分索引,从而实现影像数据的统一存储与空间区域检索。试验选择Kingbase关系型数据库作为测试平台,通过模拟全球范围的影像数据,与Oracle平台进行对比试验。结果表明本文的检索效率具有明显优势,可有效提高遥感数据整合、检索效率,为现有遥感数据存储中心或管理系统提供了一种高效、可行的方案。     

基于Hilbert编码索引的海洋环境数据库优化

利用Hilbert曲线能保持空间连续性的特性,提出一种基于Hilbert编码索引的海洋环境数据库存储结构优化方法。实验表明,该方法实现了立体格网化的多源海洋环境观测数据在关系型数据库中的组织管理,有效提高了空间范围查询能力。     

一种面向并行空间数据库的数据划分算法研究

面向基于对象关系型数据库而构建的并行空间数据库系统，提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下，该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分，以避免出现数据倾斜现象，从而提高了空间数据的检索与查询效率。     

一种基于NoSQL的地图瓦片数据存储技术

本文首先介绍了NoSQL(非关系型数据库)的起源与发展,对比其与关系型数据库的优缺点,提出了基于NoSQL的地图瓦片数据存储策略,通过实验对比分析了面向文档型的NoSQL数据库产品Mongo DB与SQL Serv-er 2000在瓦片入库与并发访问性能上的差异。研究结果表明,Mongo DB在海量空间数据存储与并发访问方面具有明显的高效性。     

海量栅格数据空间索引与存储的研究

以Oraele Spatial为工具,研究基于Oracle GeoRaster对象的四叉树索引和R树索引机制,以此建立海量栅格数据的空间索引;研究GeoRaster的无缝影像层存储模式和分幅影像层模式,并给出影像存储的实现方法.利用Oracle Spatial对象可以有效解决海量栅格数据空间索引的建立及实现栅格图形数据与属性数据的一体化管理.     

多源影像数据库金字塔结构的研究与实践

针对大数据量遥感影像的管理与快速调度显示问题,本文概述了基于关系型数据库的金字塔型数据组织与管理方法.详细介绍了分块分层的数据结构及其快速索引机制,并从建立、索引、调度、缓存四个方面比较讨论了海量、多源影像数据库金字塔建立的两类策略,并对其进行了分析比较.最后通过开发实践验证了分析比较的结论,并给出了策略的选取原则.     

资源环境遥感海量空间数据存储、检索和访问方法

为了有效管理和利用资源环境遥感研究过程中积累的海量空间数据,设计资源环境遥感海量空间数据存储、检索及访问方法.针对不同数据类型和特点的海量空间数据,采用空间数据库、文件目录方式和Web Service等方法实现数据存储和发布.在空间查询二步算法的基础上,设计了基于空间位置的海量空间数据检索方法,可以检索以Mapping和Web Service等方式发布的数据,解决用户快速查找数据的问题.利用分层分块和可视区域格网索引等方法优化空间数据的传输、加载和显示等性能,并进行了相关性能测试.所设计的方法通过探讨数据的存储策略、数据的检索策略以及数据的访问展现策略,解决了海量空间数据应用中的数据有效管理、数据的精确定位以及数据快速传输呈现的问题.并基于此方法构建了资源环境遥感应急监测基础设施的基本框架.     

地理信息空间数据管理的对象存储研究

介绍了地理信息空间数据存、管、用的解决方案.从分析海量地理信息数据存储、管理和使用需求出发,围绕数据长期存放、备份能力、数据一致性、数据索引等提出了基于对象存储的分布式架构解决方案.该架构的容量和性能线性扩展,升级替换机制先进,上线后避免了业务中断隐患,经过实际运行,取得了良好效果.分布式对象存储可实现地理信息数据的统...     

基于MongoDB云计算下GML分布式集群环境搭建研究

虽然大容量服务器可以解决普通的GIS数据存储问题,但随着数据量的增大,管理存储操作越来越难。在开源MongoDB分布式文件数据库支撑下,根据MongoDB对GML海量数据的存储理论,搭建海量GML数据集群环境,构成GML分布式云计算平台,为GML在服务器集群中实现存储查询索引管理提供性能支持。     

扩展流数据立方体的GIS时空大数据组织方法

针对大数据GIS面临的大规模数据的多源异构动态性与数据存储优化等问题,本文开展大数据背景下的地理时空数据组织与模型研究,提出了一种基于流数据的可扩展立方体处理框架,在典型的流数据二维数据序列基础上,构建增加垂直方向的非结构数据立方体;结合立方体数据组织模型的定义和特征,探讨扩展关系型数据库与协同非关系型数据库的GIS时空大数据组织方法;通过扩展数据源、数据类型及数据操作等属性,突出多源异构地理时空大数据的时空关系和演变过程关系等特征,对地理时空大数据进行数据一体化组织、存储和分析;进而解决地理信息时空大数据的大体量、异构与动态性在GIS数据管理与分析方面的技术瓶颈,并且对GIS时空大数据的有效管理提供科学性方法和解决策略。     

用OO4O访问Oracle Spatial空间基础数据的方法

使用对象关系型数据库来一体化存储和管理海量的GIS基础图形数据和属性数据是近年来GIS领域研究的一项重点内容。本文结合Oracle Spatial对空间对象数据的存储模式,重点研究了在VC中通过OO4O对数据库所存储的空间对象数据的访问方法,通过这种方法,不仅能够读取一体化存储的空间数据,还可以通过适当的处理实现对空间数据的修改、增删等其他操作,在GIS开发中尤其实用,具有很实际的意义。     

十进制线性四叉树的点云数据格网索引方法研究

三维激光点云数据是海量三维点的集合,导致数据量庞大,组织和管理困难,不仅增加了系统负荷,而且大大降低了点云数据后续处理效率。该文针对海量点云数据的组织与管理中遇到的加载和显示效率低、建立索引困难、不能实时动态显示等问题,提出了基于十进制线性四叉树的点云数据格网索引方法,该方法用四叉树结构分割点云数据和用SQL Server数据库存储,采用Morton码或矩形区域对点云数据进行分块空间索引,结合空间索引和数据库的优势对点云数据进行高效、动态、智能管理。实验结果表明,该方法较好地解决海量点云数据的组织与管理效率低下,不能实时动态显示的问题。     

一种集成R树、哈希表和B*树的高效轨迹数据索引方法

为兼顾时空索引方法的空间利用率、时间效率和查询种类,提出了一种新的轨迹数据索引方法——HBSTR树。其基本思想是:轨迹采样点以轨迹节点的形式成组集中管理,哈希表用于维护移动目标的最新轨迹节点,轨迹节点满后作为叶节点插入时空R树,另外采用B*树对轨迹节点构建一维索引,既有利于提升索引创建效率,又同时满足时空条件搜索和特定目标轨迹搜索等多种查询类型。为提升时空查询效率,提出了新的时空R树评价指标和节点选择子算法改进时空R树插入算法,同时提出了一种时空R树的数据库存储方案。试验结果表明,HBSTR树在创建效率、查询效率和支持查询类型等方面综合性能优于现有方法,支持大规模实时轨迹数据库的动态更新和高效访问。     

基于GeoDataBase数据模型关系型数据库的电子海图的研究

本文通过对海图数据的分析,说明了利用GIS技术的GeoDatabase空间数据模型存储电子海图数据的优越性,描述了制作并利用关系型数据库存储和管理电子海图数据的方案和设计流程,给出了一套制作并利用关系型数据库存储和管理电子海图的事实方案。