空间数据访问中间件技术

空间数据共享和互操作是GIS领域迫切需要解决的重要问题,文中基于OGC规范,探讨了空间数据访问中间件的实现策略,并给出相应的实现模型,屏蔽多源空间数据的异构性和复杂性,实现分布式异构环境下的共享和互操作。     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

空间数据服务代理平台--门户站点体系实现的关键技术

利用Web服务技术、SOAP技术,并引入GML,建立空间数据服务代理平台一门户站点,浓缩空间数据服务站点信息,实现与众多的空间数据服务站点的动态绑定,提高空间数据共享的可操作性,通过SOAP扩展技术来解决GML大数据量的异构网络传输,从而快速实现空间信息共享和互操作。本文对空间数据服务代理平台一门户站点的体系架构、功能、实现及关键技术等进行了探讨,并总结了体系在实现空间数据共享及互操作方面的优点。     

基于全球剖分网格的空间数据全文检索方法

目前,国内外不同部门的空间数据管理系统彼此独立,数据共享检索效率低。针对此问题,本文提出了一种基于全球剖分网格的空间数据全文检索方法。该方法描述了基于全球剖分网格原理,根据地理空间实体的区位信息建立全球唯一的空间区位标识编码,通过全文索引引擎对空间区位标识编码建立全文索引,实现对地理空间数据的检索。通过对比试验可知,在大数据量的时候,基于全球剖分网格的空间数据全文检索方法比基于B+树的传统关系型数据库检索效率高,在海量空间数据的检索上具有一定应用价值。     

海量空间数据组织及分布式解决方案

分布式GIS是实现海量空间数据共享与组织、管理的有效方式。本文讨论了GIS中空间数据的特点并分析了分布式GIS设计中几个关键问题,然后提出各自的解决方案.     

地球系统科学数据共享研究与实践

分布式、异构科学数据的整合集成与"一站式"共享服务是科学数据共享的关键和难点。首先,提出"创建地球系统科学数据共享联盟,共建、共享"的分散数据资源整合理念和按"总中心-分中心-数据资源点"三个层次的整合架构,然后,在组织模式上保障分布式数据资源的有效整合。即通过"元数据集中管理,数据体分散存储"的策略,从技术上保障分布式数据资源的快速整合。针对地球系统科学不同学科数据资源的特性,设计了地球系统科学数据核心元数据标准及扩展方案,利用MVC(元数据标准模型-显示视图-操作函数)模式实现多标准地学元数据的统一管理和自适应显示。最终,研究面向SOA的分布式地球系统科学数据共享平台,通过"一个总中心,认证中心和若干个分中心",形成物理上分布、逻辑上统一的分布式服务网络,从而为用户提供"一站式"的数据共享服务。     

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

油田建设过程中数据管理的ArcGIS分析应用

数字油田是解决当前油田建设中数据冗余的一个有效途径。本文结合大庆油田勘探、开发与建设过程中存在的数据量大、共享困难等问题,对大庆油田的基于统一共享平台的各种空间数据及其他非空间数据共享问题进行了分析,并给出了基于ArcGIS产品的油田数据管理与共享问题的解决方案。     

网格GIS体系结构及其实现技术

网格 GIS是实现广域网络环境中空间信息共享和协同服务的分布式 GIS软件平台和技术体系。将地理上分布、系统异构的各种计算机、空间数据服务器、大型检索存储系统、地理信息系统、虚拟现实系统等 ,通过高速互连网络连接并集成起来 ,形成对用户透明的虚拟的空间信息资源的超级处理环境就是网格地理信息系统。本文在分析网络空间数据特征的基础上 ,提出了网格 GIS的 5层体系结构模型,分析了空间(元)数据标准、空间服务标准、分布空间对象技术、构件与构件库技术、基于框架的互操作技术、中间件技术等 ,它们是实现该系统的关键技术。     

基于Oracle Spatial的空间数据库缓存的关键技术

Oracle Spatial是目前发展得比较成熟的对象关系型空间数据库存储模型,它实现了空间数据与属性数据的一体化存储,可以定义特定的数据类型,具有开放的存储格式,为GIS数据共享提供新的解决方案;但由于其采用扩展结构的空间数据库模型,对空间数据进行间接存取,数据存储和获取的效率较低。本文在阐述了扩展结构空间数据库模型的优势和局限性的基础上,提出采用缓存技术来提高数据访问效率,重点研究了空间数据库客户端缓存的关键技术,包括缓存实现机制、数据编码方法、数据一致性控制等,并给出实验对比数据,证明了空间数据缓存技术对空间数据尤其是大数据量空间数据的读取上所取得的成效。最后,本文指出了这一技术尚存在的问题及初步解决思路。     

空间数据访问集成与分布式空间数据源对象查询

目前,针对空间数据库的访问与处理方法,无法满足分布式环境下异构数据源的服务化存取和面向空间数据源的对象查询处理需求。本文给出了数据网格环境下的分布式空间数据访问与查询的方法和实现,并在服务化查询处理过程中,嵌入符合SQL/MM查询规范的空间拓展函数,实现分布式空间数据对象查询和嵌入查询过程中的空间数据分析处理。在此基础上,给出空间数据对象查询树的构造过程,以及分布式空间查询工作流的执行流程。数据访问与集成策略在空间数据处理上的应用,对异构空间数据源协同处理等,涉及大规模空间数据存取访问的应用需求,有很好的理论和实际应用价值。     

分布式空间数据库的体系结构研究

分布式空间数据库的体系结构一直是理论研究的热点和工程实践必须面对的问题。本文分析了目前分布式空间数据库体系结构的特点,然后提出了基于3层构架的分布式空间数据库体系结构。这3层分别是：本地空间数据模型层、统一的空间元数据模型层和统一的全局空间数据模型层。这种体系结构充分利用已有的成熟技术和优点。最后作者把这种体系结构用于广东省水资源规划信息管理系统,用于管理分布式的水资源规划信息。     

空间数据库电子接图表的设计与实现

目前,我国已建立多种基础空间数据库,但现有空间数据库管理系统中,地图制作、标准地图管理等仍需要采用标准分幅来满足统一管理的需要。如何更有效地管理海量分幅空间数据,并实现对其快速检索成了多尺度基础空间数据库建设亟需解决的问题之一。本文分析了电子接图表,实现了空间数据接图表的可视化,集成了现有的空间数据库管理与数据库可视化操作的功能;依据空间数据不同的比例尺类型、要素类型、几何类型,自动计算标准分幅编号、绘制分幅边界;提供空间数据库海量数据检索技术方法与参数传递方案、基于数据存储的逻辑结构设计数据检索方案,并总结出空间数据优化存储策略与高效管理方法。应用案例表明,空间数据库电子接图表能够提高分幅空间数据的可视化管理与检索效率,对涉及大规模空间数据库可视化管理和检索应用需求,有很好的理论和实际应用价值。     

分布式空间拓扑连接查询优化处理算法

针对传统分布式数据库查询应用于分布式空间数据库查询带来的传输和处理代价高的问题,本文结合已有分布式跨边界片段连接优化方法,深入研究了分布式空间拓扑连接查询处理,提出跨边界连接优化的空间查询优化算法,丰富了传统的分布式查询的关系代数等价变换规则。同时,针对不同片段连接类型的分布式空间查询全局优化策略,实现了分布式空间查询分解与数据本地化,从而优化分布式查询中的数据传输所付出的高昂代价。最后,提出了结点归并、连接归并树、执行结点、执行计划树等分布式查询优化方法,利用相应归并和优化算法将全局空间查询转化为各个场地局部空间数据库的具体执行计划,消除分布式查询中的冗余计算,优化查询计算策略,从而解决分布式空间查询中的处理代价高的问题。通过分布式空间查询实验表明,本文的算法能够较好地提高分布式空间查询的性能。     

分布式环境下矢栅一体化数据组织模型设计

随着地理信息技术与计算机网络技术的结合和发展,基于全球框架的地理信息服务对海量数据管理的要求越来越高,传统的单中心的关系数据库的管理模式已经不能满足要求。分布式文件系统、半结构化数据库和关系数据库技术优势互补,为海量数据高效管理提供了新的技术思路。本文提出了分布式环境下空间数据一体化存储管理架构,设计了矢量和栅格数据的数据逻辑组织和物理存储模型,通过统一的分层+分块的数据划分规则,实现了矢、栅数据分布式环境下的一体化管理。在该模型中,利用关系数据库和半结构化数据库的特点,对空间索引和实体数据分开管理,有效地提高了数据处理和访问效率。实验表明,该模型具有更高的数据管理能力,可为分布式环境下数据服务中心构建提供一个有效的解决方案。     

面向空间信息的数据网格研究

数据网格的发展促进了空间信息的协同合作和资源共享,然而,随着空间数据源呈现出越来越明显的分布性、异构性和动态性特点,如何实现大范围乃至全球范围的无缝集成和应用成为重要的研究课题。空间信息的数据特征和管理机制决定了只有在一个开放的、分布的系统平台上,才能实现全面的管理、共享和使用。本文论述了如何借助数据网格研究分布式空间数据协同操作和控制技术,提供一种服务一致化技术,将各种分布异构的数据资源通过网格化过程来实现数据服务的标准化,为用户提供一致化的接口。并对其中的研究重点进行了详细讨论。     

科学数据共享实践：以国家地球系统科学数据中心为例

地球系统科学是一门综合性交叉学科,起源于全球变化研究,受益于遥感技术进步,现已进入大数据时代,人工智能技术成为解决地球系统科学前沿问题的新手段。科学数据共享是推动科学发展、提升数据价值的关键,经过长期的探索和实践,全球已形成完善的数据资源管理政策与机制、持续的数据共享服务体系、多元化的科学数据整合模式,并且新的理念不断推动数据共享创新发展,其中“可发现、可访问、可互操作和可重用”原则和数据出版备受推崇。我国颁布了国家层面的政策法规,着重推动国家级科学数据中心建设、科技项目数据资源汇交及数据出版。借鉴国外数据共享经验,结合国内实际发展情况,我国探索出具有中国特色的地球系统科学数据资源分类体系,在元数据、分布式互操作、大数据分析和共享服务等关键技术方面都取得了重大突破。本文以国家地球系统科学数据中心为例,系统梳理了国内地球系统科学领域的数据共享实践进展,详细介绍了国家在地球系统科学领域的数据共享实践及其成效。国家地球系统科学数据共享工作已探索形成成熟稳定的运行服务机制、研制出适用于多源分散地球系统科学数据的标准体系、 建成多学科多时空尺度的地球系统科学数据库群、自主研发海量异构数据共享网络技术体系与服务系统,促进了地球系统科学的科学发展,同时也推动了数据共享理念的传播与推广。然而,数据孤岛现象、共享服务系统标准化程度低、系统技术标准未对接国际规范等问题仍然较为突出,阻碍了地球系统科学数据开放与共享。未来,随着共享个性化需求被激活,定制化的“数据+知识”服务有望成为主流趋势,将给数据共享带来新的机遇和挑战。