基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

“数字南海”空间关系数据库模型及传输协议设计与实现

数字地球是当前网络G IS领域的研究与开发热点之一,其中,大量的空间数据在空间数据库中的组织和存储,以及在网络上的传输是数字地球系统中的两个重要技术。本文通过"数字南海"的开发实践,从国家信息安全角度出发探讨了自主设计与研发空间关系数据库模型和网络传输协议的若干技术方法。提出了以面向对象的ORM源模型设计空间数据库概念模型,以擅长语义表达的IDEF1X模型设计空间数据库逻辑模型和以关系数据库实现空间数据库存储模型的技术方案。并运用异步非阻塞套接字和多线程等技术在TCP/IP网络传输协议上,设计并实现了空间数据应用传输协议,使得空间数据在数字地球的客户端三维显示系统与服务器端的空间数据服务器系统之间能够高效安全地传输,实现Google Earth类似的操作功能,包括空间数据的流式传输和渐进式传输等,适应了数字地球的要求,并保证了空间数据的安全性,可为我国数字地球系统的自主开发与研制提供参考和借鉴。     

分布式环境下矢栅一体化数据组织模型设计

随着地理信息技术与计算机网络技术的结合和发展,基于全球框架的地理信息服务对海量数据管理的要求越来越高,传统的单中心的关系数据库的管理模式已经不能满足要求。分布式文件系统、半结构化数据库和关系数据库技术优势互补,为海量数据高效管理提供了新的技术思路。本文提出了分布式环境下空间数据一体化存储管理架构,设计了矢量和栅格数据的数据逻辑组织和物理存储模型,通过统一的分层+分块的数据划分规则,实现了矢、栅数据分布式环境下的一体化管理。在该模型中,利用关系数据库和半结构化数据库的特点,对空间索引和实体数据分开管理,有效地提高了数据处理和访问效率。实验表明,该模型具有更高的数据管理能力,可为分布式环境下数据服务中心构建提供一个有效的解决方案。     

杭州市基础空间数据库系统

杭州市基础空间数据库系统是杭州市科学技术局立项的重大科技攻关项目，于2004年1月5日通过了杭州市科学技术局组织的科技鉴定，获得“国内领先水平”的好评。该项目融入了计算机网络技术、GIS技术、数据库技术，应用国际先进的ORACLE ArcSDE技术进行空间数据建库与管理，有效地实现了多源、多尺度、多种类海量数据的无缝管理和高效存储，建立了一     

MAPGIS7.0国际最新第四代分布式大型/超大型GIS

MAPGIS7.0是武汉中地数码科技有限公司开发的新一代面向网络超大型分布式地理信息系统基础软件平台。系统采用面向服务的设计思想、多层体系结构,实现了面向空间实体及其关系的数据组织、高效海量空间数据的存储与索引、大尺度多维动态空间信息数据库、3维实体建模和分析,具有T     

基于ArcSDE的国家基础数字正射影像数据库研究与实践

数字正射影像具有地图的几何特征和影像特征,直观易读、信息量丰富、获取快捷,已经得到社会各界的高度认可,成为应用越来越广泛的基础地理数据资源。本文从海量数字正射影像数据管理与分发服务的角度出发,通过对空间数据库技术的发展趋势探讨,结合ArcSDE空间数据引擎的体系结构和数据模型,针对国家基础数字正射影像的数据源特点和建库要求,提出了基于ArcSDE的国家基础数字正射影像数据库建设思路和解决方案,开展了基于ArcSDE的国家基础数字正射影像数据库的存储模式研究和集成建库实践,实现了国家级海量数字正射影像数据的有效组织、安全存储、统一管理和分发服务。     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

多尺度地理空间数据的分布式存储与管理

多尺度地理空间数据分布式存储与管理技术为建立分布式网络地理信息系统、实现多尺度、多数据类型数字地理信息产品一体化分发和应用提供技术支撑。本文重点讨论了地理空间数据分布与存储模型体系、空间数据在关系数据库中的一体化存储与管理方法、空间数据库引擎技术、多尺度地理空间信息一体化管理体系结构等问题。     

格网技术对地理信息系统应用与发展影响的分析

格网技术作为新一代的 Web技术 ,必将深刻影响地理信息系统的发展。格网计算为数据密集型空间分析提供了计算资源支持。数据格网为海量空间数据分布式存储、管理、传输、分析提供了一体化的解决方法。格网技术为 VRGIS实时场景渲染和海量场景数据存储以及 GIS互操作问题的解决提供了一种新的思路。利用格网中的智能体组件动态组装应用软件将对 GIS应用开发方式产生重大影响。通过建立空间信息格网可以实现我国地理信息系统产业跨越式发展。     

空间数据库电子接图表的设计与实现

目前,我国已建立多种基础空间数据库,但现有空间数据库管理系统中,地图制作、标准地图管理等仍需要采用标准分幅来满足统一管理的需要。如何更有效地管理海量分幅空间数据,并实现对其快速检索成了多尺度基础空间数据库建设亟需解决的问题之一。本文分析了电子接图表,实现了空间数据接图表的可视化,集成了现有的空间数据库管理与数据库可视化操作的功能;依据空间数据不同的比例尺类型、要素类型、几何类型,自动计算标准分幅编号、绘制分幅边界;提供空间数据库海量数据检索技术方法与参数传递方案、基于数据存储的逻辑结构设计数据检索方案,并总结出空间数据优化存储策略与高效管理方法。应用案例表明,空间数据库电子接图表能够提高分幅空间数据的可视化管理与检索效率,对涉及大规模空间数据库可视化管理和检索应用需求,有很好的理论和实际应用价值。     

基于ORDBMS的GIS空间数据管理模式及其应用

从GIS系统中矢量数据与栅格数据优势互补、管理分离这一实际出发,分析了对象关系数据库(ORDB)的特点和适用性,提出了将矢量数据和栅格数据纳入对象关系数据库管理系统(ORDBMS)统一管理的基本模型和具体实现方法,并以湖南省基础地理数据为例,在国产地理信息系统软件ViewGIS中实现。     

海岸带影像数据库的设计与集成方法

目前遥感影像的管理方式仍以文件式管理为主 ,而其在实现影像数据的共享方面存在缺陷 ,应寻求新的管理方法。本文在简要阐述 Arc SDE的体系结构和原理的基础上 ,认为应用 Arc SDE进行影像数据库管理是一种实现共享的有效方法 ,并以中国海岸带遥感影像数据库的设计和建立为例 ,探讨了应用 Arc SDE建立影像数据库的技术方法 ,并讨论了在建立影像数据库方面 Arc SDE存在的技术缺陷和解决的方法。     

一种与地图服务结合的栅格瓦片计算模型

随着遥感影像数据的快速增长,对于栅格数据高效的信息处理和价值挖掘方式提出了更大的挑战,传统地图服务聚焦于内容的共享与可视化,缺乏对影像实时分析处理功能。本研究以地图服务的形式实现了对栅格瓦片数据实时分析处理能力,将云优化的GeoTIFF（Cloud Optimized GeoTIFF,COG）作为数据组织方式,设计了分布式协同预取策略,实现了栅格瓦片数据的冷热加载,优化了从云端读取影像数据的效率。在栅格瓦片数据高效加载的基础下,提出了一种基于表达式的栅格瓦片处理模型,通过对表达式转换建模为计算工作流,在地图服务的请求中实现对栅格瓦片的实时处理,对存储在云端的海量遥感数据进行快速分析,实现原始数据到数据产品的直接可视化转换。针对全量数据参与的场景,使用合适的重采样数据进行简化计算,以满足地图服务的实时性。使用了NDVI、地物分类、植被覆盖度三类不同复杂度模型,在地图服务中对Landsat 8影像进行了实时计算分析。实验结果表明,该处理模型能对栅格瓦片进行有效分析,且能进行分布式扩展,在高并发场景下能够提供稳定的地图服务能力,适应各层级尺度的计算,对未来地图服务的发展提供了一种新思路。     

空间数据引擎关键技术与应用分析

地理特征相关信息的一体化存储与访问是GIS软件平台研发的关键技术。在扩展关系数据模型的支持下,利用成熟的商用扩展关系型数据库管理系统存储和管理海量空间数据,是发展大型GIS平台空间数据库管理系统行之有效的技术方法。本文对几种典型的空间数据库管理平台ArcSDE、OracleSpatial、InformixSpatialDataBlade、DB2SpatialExtender和MySQLSpatialExtensions从存储模型、进程管理方案、空间查询和索引以及数据缓存技术等方面进行了分析。     

面向空间信息的数据网格研究

数据网格的发展促进了空间信息的协同合作和资源共享,然而,随着空间数据源呈现出越来越明显的分布性、异构性和动态性特点,如何实现大范围乃至全球范围的无缝集成和应用成为重要的研究课题。空间信息的数据特征和管理机制决定了只有在一个开放的、分布的系统平台上,才能实现全面的管理、共享和使用。本文论述了如何借助数据网格研究分布式空间数据协同操作和控制技术,提供一种服务一致化技术,将各种分布异构的数据资源通过网格化过程来实现数据服务的标准化,为用户提供一致化的接口。并对其中的研究重点进行了详细讨论。     

空间信息格网框架体系和关键技术分析

空间信息格网 (SIG)是格网 (Grid)技术在数字城市等地球信息应用服务领域中的具体应用。本文首先分析了格网兴起的背景以及国内外在格网领域的研究进展 ,然后建立了格网三层体系结构 ,提出了格网操作系统中基于 XML 的格网资源描述语言的资源管理方法和多层格网节点分治式格网任务调度管理方法 ,最后提出了基于空间智能体的空间信息格网的体系结构 ,并且探讨了空间信息格网中空间信息连通性和一致性、空间信息格网的智能化等一系列重点问题。