基于MST聚类的空间数据离群挖掘算法

空间离群是指空间邻域中属性特征值明显不同于其他对象的空间对象,空间数据离群挖掘能为人们提供很多有趣的信息,但空间数据具有复杂的拓扑关系、方位关系和度量关系等空间特征,传统的面向事务型数据库的离群挖掘算法并不适用于空间数据库。本文提出了基于MST(Minimum Spanning Tree,最小生成树)聚类的空间数据离群挖掘算法(SOM);有机结合了最小生成树理论与密度的方法,既体现了空间离群的局部特性,又体现了空间离群的孤立程度。该算法通过MST维护空间数据的基本空间结构特征,通过打断MST中最不一致的边形成MST聚类,不仅具有密度的聚类方法能够聚集非球状簇和分布不均的数据集的特点,而且聚类结果不依赖于用户参数的选择,因此,离群挖掘结果更合理。最后,通过实例数据,验证了该算法的有效性,它适用于大规模空间数据集的离群挖掘。     

基于C-SOM和Spark的并行空间离群挖掘方法及应用

空间离群挖掘可以发现空间数据集中非空间属性值与邻域中其他空间对象明显不同的空间对象。随着空间数据量的快速增加,传统集中式处理模式面临单机性能瓶颈、难以扩展等问题,已逐渐不能满足应用需要。因此,本文根据Spark并行计算框架,充分利用Spark快速内存计算和扩展性的优势,提出了一种基于考虑约束条件的空间离群挖掘算法（C-SOM）和Spark的并行空间离群挖掘算法和原型系统。该并行算法以C-SOM为核心,并行地在多个计算节点对全局数据集和各局部数据集执行C-SOM算法,得到全局离群和局部离群。轻量级的原型系统基于Spark实现了该并行算法,采用Browser/Server架构,提供给用户可视化的操作界面,简洁实用。最后,通过福建省东南沿海土壤化学元素调查数据和人工合成数据的离群分析,验证了该并行算法和原型系统的合理性、有效性和高效性。     

基于全球剖分网格的空间数据全文检索方法

目前,国内外不同部门的空间数据管理系统彼此独立,数据共享检索效率低。针对此问题,本文提出了一种基于全球剖分网格的空间数据全文检索方法。该方法描述了基于全球剖分网格原理,根据地理空间实体的区位信息建立全球唯一的空间区位标识编码,通过全文索引引擎对空间区位标识编码建立全文索引,实现对地理空间数据的检索。通过对比试验可知,在大数据量的时候,基于全球剖分网格的空间数据全文检索方法比基于B+树的传统关系型数据库检索效率高,在海量空间数据的检索上具有一定应用价值。     

空间数据访问集成与分布式空间数据源对象查询

目前,针对空间数据库的访问与处理方法,无法满足分布式环境下异构数据源的服务化存取和面向空间数据源的对象查询处理需求。本文给出了数据网格环境下的分布式空间数据访问与查询的方法和实现,并在服务化查询处理过程中,嵌入符合SQL/MM查询规范的空间拓展函数,实现分布式空间数据对象查询和嵌入查询过程中的空间数据分析处理。在此基础上,给出空间数据对象查询树的构造过程,以及分布式空间查询工作流的执行流程。数据访问与集成策略在空间数据处理上的应用,对异构空间数据源协同处理等,涉及大规模空间数据存取访问的应用需求,有很好的理论和实际应用价值。     

网格GIS体系结构及其实现技术

网格 GIS是实现广域网络环境中空间信息共享和协同服务的分布式 GIS软件平台和技术体系。将地理上分布、系统异构的各种计算机、空间数据服务器、大型检索存储系统、地理信息系统、虚拟现实系统等 ,通过高速互连网络连接并集成起来 ,形成对用户透明的虚拟的空间信息资源的超级处理环境就是网格地理信息系统。本文在分析网络空间数据特征的基础上 ,提出了网格 GIS的 5层体系结构模型,分析了空间(元)数据标准、空间服务标准、分布空间对象技术、构件与构件库技术、基于框架的互操作技术、中间件技术等 ,它们是实现该系统的关键技术。     

一种基于信息网格的空间数据分解算法

针对空间数据库数据海量且分布的特点,为了能从这些空间数据中更加有效的收集信息和发现知识,介绍了基于信息网格的空间数据挖掘计算模型,在分析空间数据划分一般原则和方法的基础上,针对该计算模型给出了一个数据划分的初步算法,并通过模拟实验对算法的时间性能进行了评价与分析。     

基于MongoDB的矢量空间数据云存储与处理系统

近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上,设计并实现了矢量空间数据云存储与处理系统VectorDB,达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据,使用OGR库实现不同格式矢量空间数据的转换与存储,并用Hadoop对数据库中的数据进行并行计算,以及用mongo-hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了VectorDB与PostGIS的矢量空间数据读写性能,并分析了VectorDB与MongoDB在海量数据并行处理性能方面的差异。结果表明:VectorDB具有更好的读取性能和海量数据处理性能,适合多用户不同格式、不同属性矢量空间数据存储,对海量矢量数据存储与处理问题具有参考价值。     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

基于 HBase的海量地理空间数据的空间索引模型构建与优化

传统关系型数据库在海量地理空间数据的存储与管理上面临着高并发访问规模限制、数据库扩展能力不 足等困难.非关系数据库如 HBase等以其强大的扩展能力与计算能力为该问题提供了新的思·与方法.空间索 引模型和分布式存储模式设计是影响基于非关系数据库的海量地理空间数据的存储与查询效率的关键因素.对 当前主要基于 HBase的索引模型和空间数据存储设计进行了研究,设计了基于行政区划编码与矢量要素编码结 合的 RowKey(行键),使空间数据在 HBase存储中得到很好的聚类效果,并针对要素重叠与边界划分等问题提出 了一种基于四叉树ＧR树的改进的空间索引模型.该模型基于四叉树结构将空间数据划分为多个子网格,为?一个 子网格构建 R树索引,利用 Hilbert(希尔伯特)曲线对子网格进行编码,并设计了基于 MapReduce的并行化索引构 建算法和相应的空间查询算法.经实验测试,该存储设计和空间索引模型具有较好的查询效率.      

面向网格环境的Java跨平台GIS系统原型实现的关键技术

针对传统地理信息系统在空间数据处理中无法有效进行数据访问与集成的问题,提出了面向网格计算环境下空间数据访问与集成的地理信息系统体系架构,并给出了面向网格环境的Java跨平台GIS系统原型的设计方案,以及地理信息网格服务化提升的关键技术。进一步整合Java拓扑模型、Eclipse富客户端平台与面向海量数据访问的数据网格组件,以标准规范的开发流程,给出构建面向网格环境具备可拓展结构的跨平台地理信息系统原型的实现过程。     

主动式地理信息系统的实现与应用

提出分布式环境下,由于空间数据表达对象的分布性、数据来源分布性和空间信息服务对象的分布性特征,决定了空间信息服务技术系统--GIS具有分布式的特点,另一方面空间信息服务在许多应用领域又具有实时性要求,这两个特点产生了一个矛盾,也就是空间信息服务系统的分布性特征与信息服务的实时性要求的矛盾。为了解决空间信息服务系统的分布性特征和信息服务的实时性之间矛盾,本文首次提出了主动空间信息服务的思想和概念,并在此基础上提出了实现主动空间信息服务的支持技术--主动式地理信息系统的概念,以分布式地理信息系统的单个节点为例,提出了主动式地理信息系统的软件体系结构和主动服务的规则,主动式地理信息系统节点(GIS)包括一个传统的地理信息系统、一个事件驱动知识库和一个事件监视器三部分构成;主动功能的实现需要是由事件监视器监视相关事件的发生,并依据事件驱动知识库中的主动服务规则执行相应的功能。提出了主动式地理信息系统中基本事件和事件表达式、事件运算的方法以及复杂事件的表达等,对主动服务的实现途径以及关键技术进行了研究。结合某企业综合资源GIS系统的研究对主动式地理信息系统的体系结构、实现途径和关键技术等进行了试验,实验结果表明,主动式地理信息系统可以有效地提供实时空间信息服务。     

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

基于WSRF的网格空间服务及其管理

网格技术与空间信息技术的结合,产生了空间信息网格。空间信息网格能够汇集各种空间信息资源,进行一体化管理,支持资源共享,提供"按需服务"的能力。"按需服务"要求能根据用户的要求,提供多样性服务,即能自动发现所有满足用户需求的空间信息资源或其组合,并评估各个资源或其组合,按一定目的选择资源,提供服务。但是由于网格的动态性,使得使用者较难得到现势性很好的空间信息资源的信息,直接影响了空间信息网格"按需服务"的能力。将传统的空间信息服务技术直接融入网格不能解决这一问题。为了解决该问题,提高"按需服务"的可靠性,本文根据支持资源状态和服务分离的网格框架W SRF,提出了W SRF设计网格空间服务及其管理的方案。即在空间信息资源节点,除了将信息资源以标准服务的方式提供使用,还以W SRF的方式组织资源的状态并提供访问和订阅;网格中央节点收集、维护和管理各子节点的服务和资源状态信息,提供信息访问接口以支持"按需服务"所必需的资源选择。最后按照该方案实现了一个简单的空间数据网格。     

分布式栅格空间数据库引擎设计与实现

栅格空间数据库引擎RasSDE是实现海量栅格数据的分布式查询和高效管理的关键。提出一种面向对象的栅格空间数据组织模型,设计了分布式四层RasSDE的体系结构,分析了数据库服务层、应用接口层、应用层等相关技术,讨论了RasSDE核心组件OMSAC开放多数据源空间数据访问组件的架构,给出了基于RasSDE的中国海监飞机扫描仪图像处理及三维仿真平台应用系统实例,系统实现面向对象的栅格空间数据组织、统一的海量栅格空间数据管理以及分布式栅格空间数据计算等主要目标。对RasSDE和ArcSDE的磁盘读写、网络传输综合性能对比试验表明,RasSDE的栅格数据网络传输效率比ArcSDE的要高,可以满足海量栅格空间数据传输的要求。     

空间互操作框架集成模式分析

空间互操作已经成为地理信息共享领域研究的重要内容,广义的空间互操作也逐渐成为空间共享技术的代名词。虽着空间互操作研究的深入,空间互操作的模式与方法也逐步多样化起来。本文分别对基于语义空间数据互操作模式,开放式地理数据互操作规范与分布式异构数据库互操作框架,主流GIS平台互操作产品以及ISO/TC211的空间互操作服务体系结构进行分析的基础上,提出了改善各种互操作技术,以提升互操作性能的方法,指出了空间互操作技术框架的发展规律与趋势。从数据转换到开放文件格式,从标准交换格式到应用程序接口,从空间数据库到Web服务的集成,随着时间和互操作技术的发展,互操作的性能也在逐步提升。     

基于Web服务的海洋矢量场远程可视化研究

目前,GIS大部分空间数据的静态网络可视化共享及其服务器端数据集中管理提供底层数据服务的方式,不仅难以满足与日剧增的多源异构海量空间数据共享需求,同时从应用角度也难以满足对动态性较强的海洋环境信息进行实时可视化共享的需求。而网络Web服务和网格技术的快速发展及其与网络GIS的有机结合,使得分布式、一站式的空间数据实时动态网络可视化共享成为可能。因此,本文针对海洋矢量场信息,深入分析其网络实时动态可视化需求及相应的技术难点,并以Web服务为基础,探讨了在Web服务与网络GIS技术基础上建立一站式海洋环境矢量场网络动态可视化共享系统的技术方法和具体系统结构。文章最后以海洋流场数据为例,具体采用ArcGIS Server的网络服务技术,以及Arc Engine的高效可视化技术,具体实现海洋流场的网络动态可视化共享平台。实践证明,基于Web服务的海流网络可视化系统较好地满足了用户对矢量场数据网络共享与可视化的需求。     

分布式空间拓扑连接查询优化处理算法

针对传统分布式数据库查询应用于分布式空间数据库查询带来的传输和处理代价高的问题,本文结合已有分布式跨边界片段连接优化方法,深入研究了分布式空间拓扑连接查询处理,提出跨边界连接优化的空间查询优化算法,丰富了传统的分布式查询的关系代数等价变换规则。同时,针对不同片段连接类型的分布式空间查询全局优化策略,实现了分布式空间查询分解与数据本地化,从而优化分布式查询中的数据传输所付出的高昂代价。最后,提出了结点归并、连接归并树、执行结点、执行计划树等分布式查询优化方法,利用相应归并和优化算法将全局空间查询转化为各个场地局部空间数据库的具体执行计划,消除分布式查询中的冗余计算,优化查询计算策略,从而解决分布式空间查询中的处理代价高的问题。通过分布式空间查询实验表明,本文的算法能够较好地提高分布式空间查询的性能。