分布式环境下矢栅一体化数据组织模型设计

随着地理信息技术与计算机网络技术的结合和发展,基于全球框架的地理信息服务对海量数据管理的要求越来越高,传统的单中心的关系数据库的管理模式已经不能满足要求。分布式文件系统、半结构化数据库和关系数据库技术优势互补,为海量数据高效管理提供了新的技术思路。本文提出了分布式环境下空间数据一体化存储管理架构,设计了矢量和栅格数据的数据逻辑组织和物理存储模型,通过统一的分层+分块的数据划分规则,实现了矢、栅数据分布式环境下的一体化管理。在该模型中,利用关系数据库和半结构化数据库的特点,对空间索引和实体数据分开管理,有效地提高了数据处理和访问效率。实验表明,该模型具有更高的数据管理能力,可为分布式环境下数据服务中心构建提供一个有效的解决方案。     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

基于 HBase的海量地理空间数据的空间索引模型构建与优化

传统关系型数据库在海量地理空间数据的存储与管理上面临着高并发访问规模限制、数据库扩展能力不 足等困难.非关系数据库如 HBase等以其强大的扩展能力与计算能力为该问题提供了新的思·与方法.空间索 引模型和分布式存储模式设计是影响基于非关系数据库的海量地理空间数据的存储与查询效率的关键因素.对 当前主要基于 HBase的索引模型和空间数据存储设计进行了研究,设计了基于行政区划编码与矢量要素编码结 合的 RowKey(行键),使空间数据在 HBase存储中得到很好的聚类效果,并针对要素重叠与边界划分等问题提出 了一种基于四叉树ＧR树的改进的空间索引模型.该模型基于四叉树结构将空间数据划分为多个子网格,为?一个 子网格构建 R树索引,利用 Hilbert(希尔伯特)曲线对子网格进行编码,并设计了基于 MapReduce的并行化索引构 建算法和相应的空间查询算法.经实验测试,该存储设计和空间索引模型具有较好的查询效率.      

大规模地理视频数据管理工具的设计与实现

海量地理视频实时接入与关联查询应用日益广泛,大规模地理视频数据的高效管理成为热点前沿技术。论文设计了实时接入的视频流数据内存数据库Redis管理方法,有效解决多路视频并发接入的性能瓶颈,并利用分布式数据库Mongo DB存储管理历史数据,实现海量历史视频数据的可扩展存储及分布式高效调度,采用Arc Engine组件扩展实现了可视化的地理交互查询功能。应用实践证明,地理视频数据管理工具可以实现地理视频数据的时空管理与高效存取。     

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

面向P2P环境的分布式矢量地理数据组织模式研究

P2P技术有助于解决集中式架构与生俱来的"单点故障"和"热点瓶颈"之类的性能问题。目前,P2P的栅格地理数据服务虽已得到广泛应用,但是,将P2P技术和矢量地理数据服务有效结合仍然面临诸多问题,尤其需要对P2P网络模型和相应的分布式矢量地理数据组织模式深入分析。面向矢量数据服务的Chord+Quad的P2P混合索引网络模型,兼顾了结构化P2P网络和层次化P2P网络的优点,既能发挥Chord网负载均衡的优点,又能发挥层次化P2P网络查询效率高的特性,并能够适应高动态的网络环境。基于Linking机制的分布式矢量地理数据组织模式的设计,通过各层次的Linking信息和分割衍生对象内的拓扑连接信息,形成一种松散的全局分布式拓扑,这种分布式拓扑支持对矢量地理数据,进行分布式索引和无损快速重建,以及各种矢量拓扑分析算法在分布式环境下的扩展。与JTS的实验对比表明,通过在分割时增加少量Linking信息,矢量数据重建时间显著缩短,重建结果无损可靠,在分块数较多时,其对JTS的优势更为明显,从而表明,Linking机制的分布式矢量地理数据组织模式理论及相关算法的有效性、高效性和稳健性,为其实际应用提供了有力支持。     

空间数据引擎关键技术与应用分析

地理特征相关信息的一体化存储与访问是GIS软件平台研发的关键技术。在扩展关系数据模型的支持下,利用成熟的商用扩展关系型数据库管理系统存储和管理海量空间数据,是发展大型GIS平台空间数据库管理系统行之有效的技术方法。本文对几种典型的空间数据库管理平台ArcSDE、OracleSpatial、InformixSpatialDataBlade、DB2SpatialExtender和MySQLSpatialExtensions从存储模型、进程管理方案、空间查询和索引以及数据缓存技术等方面进行了分析。     

基于开源方式的多源网络地名数据库整合

目前我国地名数据库的建设主要靠传统测绘手段完成,存在周期长、成本高、效率低的缺点。随着地理数据服务的发展,出现了一些在格式、尺度、范围、内容、现势性等方面具有差异性的免费地名数据库。本文提出了一种整合多开源网络地名数据库形成统一格式、多尺度、内容完备、现势性强的矢量地名库的方法。首先通过OGR和数据访问API构建不同文件格式的网络地名库的矢量格式转换模型,然后对多网络地名库进行矢量转换,最后对其进行数据预处理、数据处理、数据分类映射等处理过程建立矢量地名数据库。本文以香港地区的Geonames,GNS,OSM地名数据库整合为例,验证了方法的可行性。     

基于MongoDB的矢量空间数据云存储与处理系统

近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上,设计并实现了矢量空间数据云存储与处理系统VectorDB,达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据,使用OGR库实现不同格式矢量空间数据的转换与存储,并用Hadoop对数据库中的数据进行并行计算,以及用mongo-hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了VectorDB与PostGIS的矢量空间数据读写性能,并分析了VectorDB与MongoDB在海量数据并行处理性能方面的差异。结果表明:VectorDB具有更好的读取性能和海量数据处理性能,适合多用户不同格式、不同属性矢量空间数据存储,对海量矢量数据存储与处理问题具有参考价值。     

山西省1:5万矢量数据库的建设及开发应用

通过山西省1∶5万矢量数据库的设计过程,阐述其中的核心技术。基于Oracle+ArcSDE的技术建立的空间数据库技术是一种比较成熟的、稳定的空间数据库管理技术,也是省级基础地理数据库的主流模式。ArcSDE作为中间插件联系应用程序和关系数据库,解决了空间数据和属性数据统一存储。     

空间数据访问集成与分布式空间数据源对象查询

目前,针对空间数据库的访问与处理方法,无法满足分布式环境下异构数据源的服务化存取和面向空间数据源的对象查询处理需求。本文给出了数据网格环境下的分布式空间数据访问与查询的方法和实现,并在服务化查询处理过程中,嵌入符合SQL/MM查询规范的空间拓展函数,实现分布式空间数据对象查询和嵌入查询过程中的空间数据分析处理。在此基础上,给出空间数据对象查询树的构造过程,以及分布式空间查询工作流的执行流程。数据访问与集成策略在空间数据处理上的应用,对异构空间数据源协同处理等,涉及大规模空间数据存取访问的应用需求,有很好的理论和实际应用价值。     

基于Oracle Spatial的空间数据库缓存的关键技术

Oracle Spatial是目前发展得比较成熟的对象关系型空间数据库存储模型,它实现了空间数据与属性数据的一体化存储,可以定义特定的数据类型,具有开放的存储格式,为GIS数据共享提供新的解决方案;但由于其采用扩展结构的空间数据库模型,对空间数据进行间接存取,数据存储和获取的效率较低。本文在阐述了扩展结构空间数据库模型的优势和局限性的基础上,提出采用缓存技术来提高数据访问效率,重点研究了空间数据库客户端缓存的关键技术,包括缓存实现机制、数据编码方法、数据一致性控制等,并给出实验对比数据,证明了空间数据缓存技术对空间数据尤其是大数据量空间数据的读取上所取得的成效。最后,本文指出了这一技术尚存在的问题及初步解决思路。     

基于NewMap Server的旅游信息服务系统开发与实现

本文采用NewMap Server将基础地理信息数据和旅游专题数据发布为地图服务和要素服务,通过数据库引擎连接Oracle 11g并建立服务器端的旅游空间信息数据库,将地图空间数据和属性数据进行存储与管理,并结合NewMap Server JSAPI,在Web GIS、物联网等技术的基础上,设计并完成了B/S架构的"数字洛阳旅游信息服务系统",实现了旅游信息资源的空间查询和分析、景区在线实时监控、旅游APP下载等诸多功能,为旅游管理部门和社会大众提供了直观、便捷的空间信息服务,从而方便用户掌握当地旅游资源、了解旅游即时动态、制定个性化的旅游计划。     

分布式空间拓扑连接查询优化处理算法

针对传统分布式数据库查询应用于分布式空间数据库查询带来的传输和处理代价高的问题,本文结合已有分布式跨边界片段连接优化方法,深入研究了分布式空间拓扑连接查询处理,提出跨边界连接优化的空间查询优化算法,丰富了传统的分布式查询的关系代数等价变换规则。同时,针对不同片段连接类型的分布式空间查询全局优化策略,实现了分布式空间查询分解与数据本地化,从而优化分布式查询中的数据传输所付出的高昂代价。最后,提出了结点归并、连接归并树、执行结点、执行计划树等分布式查询优化方法,利用相应归并和优化算法将全局空间查询转化为各个场地局部空间数据库的具体执行计划,消除分布式查询中的冗余计算,优化查询计算策略,从而解决分布式空间查询中的处理代价高的问题。通过分布式空间查询实验表明,本文的算法能够较好地提高分布式空间查询的性能。     

面向环境数据集的Spatial OLAP系统集成

SOLAP是以空间数据仓库为基础,针对特定问题的联机空间数据访问和分析,实现SOLAP的前提是解决空间数据与非空间数据在空间数据仓库中的集成问题。首先,论文结合混合数据仓库架构模式,采用多层体系结构设计,提出和构建了一种面向环境数据集的空间OLAP系统的体系架构,包括"生产数据库—数据仓库层(基础业务库-主题数据库)-中间件层—BI综合分析层"等4个层次。接着,分析了环境数据集成和空间数据仓库建模过程,采用Oracle 11g来构建环境空间数据仓库,通过使用ODI工具的ETL功能实现环境属性数据集成。分析和构建了环境数据空间维度扩展的方法和模型,通过扩展行政区划维度表,使用Oracle Spatial sdo_geometry抽象几何数据类型存储环境空间数据,实现了空间数据和数据仓库数据的一体化存储。分析了SOLAP系统中OLAP和GIS的集成问题,采用OBIEE作为OLAP工具,Oracle Mapviewer作为GIS组件、GIS服务和OLAP服务在Web服务器中进行业务逻辑集成,对外提供统一的访问接口,实现OLAP和GIS的完全集成。最后,实现了一个环境数据集SO-LAP原型系统,验证了论文的框架和模型。     

地理空间数据库性能测试软件的设计与实现

空间数据具有空间位置、非结构化、空间关系,以及海量数据等特征。因此,对空间数据的存取性能,成为评价地理空间数据库极其重要的指标之一。BeyonDB是在国家"863"项目支持下研发的具有自主知识产权的地理空间数据库系统。目前,国内还没有支持地理空间数据库性能对比测试的工具软件,因此,为客观衡量BeyonDB的性能指标,有必要研发一种地理空间数据库性能对比测试的软件。本文分析了地理空间数据库性能对比测试软件的功能目标,采用面向对象的设计思想及方法,合理使用软件设计模式,进行了软件的总体框架与主控、功能命令、空间数据访问,以及测试结果输出等关键类的详细设计。介绍了实现该软件功能的方法、开发工具,以及主界面、文档输出界面等。最后,对软件的设计研发工作予以总结,提出今后的研究重点。     

基于Shark/Spark的分布式空间数据分析框架

随着空间数据的与日俱增,传统依托于单节点的空间数据管理方法,已难以满足海量数据高并发的需求。云计算的兴起带来机遇与挑战,分布式技术与数据库技术的优势互补,为云计算下高效的数据管理提供了可能。本文提出一种在分布式计算引擎（Shark/Spark）中集合之关键技术（包括空间数据映射、空间数据加载、数据备份及空间查询等）,将空间数据库对空间数据的高效存储、索引及查询优势与分布式计算引擎对复杂计算的优势相结合,实现一种基于Shark/Spark的分布式空间数据分析框架。在具体实现中,通过空间自定义函数和空间函数下推2种方式实现空间查询,结果表明,影响返回结果数据量的空间查询更适合下推给空间数据库完成,而不影响返回结果数据量的空间查询,利用分布式计算引擎直接运算更有优势。同时,通过与现有的一种分布式GIS方案（ArcGIS on Hadoop）对比发现,空间数据库的空间索引可有效提高查询效率,空间数据管理也更加独立。