Geohash-Trees:一种用于组织大规模轨迹的自适应索引

蕴含着挖掘价值的轨迹数据分布在世界各地,且规模庞大。如何在全球范围内组织轨迹数据并支持高效范围查询成为难题。一种自适应索引组织框架被提出来管理查询全球范围大规模轨迹数据集,其基本思想为:针对不同轨迹数据集,根据Geohash编码,生成层数最深的Geohash格网覆盖住整个轨迹数据集范围;以格网作为根节点,生成Geohash-Trees;为了加快查询定位到对应索引,根据编码前缀相同的特点设计了字典查询树。Geohash-Trees是一种基于格网划分的空间索引,它能够根据轨迹密度自适应使用多种剖分策略划分空间,提高范围查询效率。为了支持索引动态更新,设计了增量插入和更新算法。同时,该索引被移植到商用数据库Oracle中,利用数据库性能高效管理查询轨迹数据。实验结果表明,该方法在范围查询以及占用空间等方面明显优于Oracle内置的R树索引。     

大规模空间轨迹数据管理方法研究

设计了基于新型大数据管理框架ClickHouse的空间轨迹大数据管理方案,以Geohash编码规则为内部空间轨迹数据的空间索引生成方式,同时将Geohash编码特性运用到大规模轨迹数据的检索方案设计中.通过AIS船舶轨迹数据与传统的PostGIS空间数据存储框架进行数据管理与检索的效率对比,验证本文框架的优越性能.     

一种集成R树、哈希表和B*树的高效轨迹数据索引方法

为兼顾时空索引方法的空间利用率、时间效率和查询种类,提出了一种新的轨迹数据索引方法——HBSTR树。其基本思想是:轨迹采样点以轨迹节点的形式成组集中管理,哈希表用于维护移动目标的最新轨迹节点,轨迹节点满后作为叶节点插入时空R树,另外采用B*树对轨迹节点构建一维索引,既有利于提升索引创建效率,又同时满足时空条件搜索和特定目标轨迹搜索等多种查询类型。为提升时空查询效率,提出了新的时空R树评价指标和节点选择子算法改进时空R树插入算法,同时提出了一种时空R树的数据库存储方案。试验结果表明,HBSTR树在创建效率、查询效率和支持查询类型等方面综合性能优于现有方法,支持大规模实时轨迹数据库的动态更新和高效访问。     

三维空间格网的多尺度整数编码与数据索引方法

本文针对三维空间索引方法存在的问题,提出了一种适用于三维空间格网化区域的多尺度整数编码与索引方法。该方法利用整数对由规则格网划分的空间区域进行统一编码,形成了一种包含格网大小关系和格网尺度变化的树状结构,体现了不同尺度格网之间的包含/被包含、相邻等空间关系,最终实现了对多种尺度格网的统一整数编码化处理。在此基础上,还研究了层级运算、编码与格网坐标转换运算、父单元查询和子单元查询等基本运算方法,并与Oracle Spatial的三维R树索引进行比较,设计了对比试验。结果表明,三维空间格网的多尺度整数编码在数据导入、索引建立及区域查询三个方面均优于Oracle Spatial的三维R树索引方法,其效率分别提高了约2倍、46倍和4倍。     

顾及轨迹压缩的车辆路径查询算法

基于位置服务技术的迅猛发展,产生了巨量车辆轨迹数据。为了有效压缩并查询大规模车辆轨迹数据,本文提出一种面向压缩车辆轨迹的路径空间查询算法。本文算法基于Stroke道路层次结构压缩轨迹空间数据,提取关键变速点压缩轨迹时间数据,并构建了一种用于建立轨迹空间和时间数据之间联系的哈希编码,从而实现车辆轨迹的时空数据集成压缩。利用后缀数组对车辆轨迹的基于Stroke路段的压缩编码构建空间索引结构,再以此为基础,设计了车辆轨迹所对应路径的点信息查询算法、相同子路径查询算法和相似路径查询算法。试验结果表明,针对原始轨迹点空间数据,本文的压缩编码方法压缩比可以达到97∶1,与常规的基于路段编码方式相比,本文压缩编码在车辆轨迹的点信息路径查询方面,查询效率可以提升约2倍;在车辆轨迹的相同子路径查询方面,查询效率可以提升约8倍;在车辆轨迹的相似路径查询方面,查询耗时增长率减少了50%。本文算法对于大规模车辆轨迹的数据管理具有十分重要的基础性作用。     

面向动态关联数据的高效稀疏图索引方法

为了高效组织管理日益增加的智能感知和关联关系数据,满足多层次任务对多模态场景数据多维特征计算和关联挖掘的需求,针对现有树结构外存索引方法存在的磁盘I/O密集、处理效率低、对关联关系支持弱的瓶颈问题,提出了一种时空关系稀疏图索引方法。设计了一种基于内存图模型的时空索引结构,将多模态场景数据抽象为图的节点和边,支持时间、空间以及关联关系的高效组织,并基于稀疏矩阵进行时空关系图索引的内存表达和存储;以多维树索引为例进行了索引构建以及多模式查询试验。试验结果表明,本文方法在索引生成、时空查询和复杂时空关系查询效率等方面均优于对比方法,支持动态关联的多模态场景数据实时高性能处理和低延迟访问。     

一种基于线性KD树的点云数据组织方法

常规KD树索引对大规模点云数据进行组织和管理时,指针的存储往往耗费大量的内存空间。本文结合线性索引的编码思想,提出了一种线性KD树索引的构建和查找方法,存储点云时可以充分利用内存空间,通过自然数编码表示结点间的关系,并给出了线性KD树的构建和邻域查找方法。最后通过与开源最临近搜索库ANN库进行对比试验,证明本文的线性KD树索引可以明显减少点云组织时的内存消耗,并与基于指针的ANN库具有相近的临近查找效率。     

轨迹大数据: 数据处理关键技术研究综述

针对轨迹大数据的高效点-轨迹k近邻（point to trajectory k nearest neighbor, P2T_kNN）查询处理需求,提出了一种融合时空剖分和轨迹分段的轨迹组织方法,其核心思想是在对轨迹作时间剖分的基础上,利用离散全球网格系统（discrete global grid system, DGGS）在空间上进行再次剖分,从而利用两次剖分得到的时空单元编码来索引落入其中的轨迹片段。在此基础上利用分布式列式存储技术设计了面向轨迹大数据的P2T_kNN查询处理框架,提出了一种顾及轨迹数据空间分布的自适应空间单元搜索算法,即通过分析轨迹数据在给定时间约束下的空间分异特征,动态调整空间单元的搜索步长,从而提升了轨迹稀疏区域的处理效率。针对亿级轨迹的实验结果表明,该方法适用于轨迹大数据的P2T_kNN查询处理,在轨迹稠密与稀疏区域的平均查询响应时间均小于1 s。     

面向分布式列式存储的轨迹大数据k近邻查询

针对轨迹大数据的高效点-轨迹k近邻(point to trajectory k nearest neighbor, P2T_k NN)查询处理需求,提出了一种融合时空剖分和轨迹分段的轨迹组织方法,其核心思想是在对轨迹作时间剖分的基础上,利用离散全球网格系统(discrete global grid system, DGGS)在空间上进行再次剖分,从而利用两次剖分得到的时空单元编码来索引落入其中的轨迹片段。在此基础上利用分布式列式存储技术设计了面向轨迹大数据的P2T_k NN查询处理框架,提出了一种顾及轨迹数据空间分布的自适应空间单元搜索算法,即通过分析轨迹数据在给定时间约束下的空间分异特征,动态调整空间单元的搜索步长,从而提升了轨迹稀疏区域的处理效率。针对亿级轨迹的实验结果表明,该方法适用于轨迹大数据的P2T_k NN查询处理,在轨迹稠密与稀疏区域的平均查询响应时间均小于1 s。     

高维空间数据索引技术研究

目前空间数据相似性查询有着广泛的应用需求,解决相似性查询问题的一项关键技术就是高维空间数据索引。从分析高维空间数据的分布特性入手,探讨相似性查询中的高维空间数据检索问题,在此基础上,提出一种针对相似性查询的高维空间数据索引的分类方法,将高维空间数据索引分为三类:向量空间树型索引、基于向量近似的索引以及基于距离的索引,这种分类初步理顺了高维空间数据索引与相似性查询的关系,并以各类方法的代表性索引结构为例,分析指出各类高维索引方法的实现机理及其适应性,为相似性查询中索引技术的研究奠定了基础。     

基于历史关系数据库的时空数据库实现研究

时空数据库是研究如何存储历史和当前的时空数据,从而跟踪分析某一区域的变化,最终实现时空模型化和模拟地学过程.采用历史关系数据库模式的时空数据库可以充分利用传统时态数据库时态查询功能和GIS空间分析处理功能这些方面成熟的研究成果和现有系统,降低时空数据库建立的费用和开销.分析了采用扩展关系型时空数据库的原因,介绍了历史关系数据库模式、时态关系代数和查询语言,研究了采用历史关系数据库模式在全关系化空间数据库中组织时态信息的方法,从而实现时空数据库.以麦地轮作为例说明了采用历史关系数据库模式建立时空数据库的可行性和有效性.     

空间大数据在MongoDB中的存储探索

最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法.     

面向地理空间信息的轨迹模型及时空模式查询

轨迹数据处理与分析是目前空间信息和数据库等相关领域的研究热点之一。本文从Stop-Move轨迹模型出发,通过集成地理空间上下文信息来建模轨迹数据,并研究轨迹时空模式的查询处理技术。首先分析Stop/Move对象与点/线/面地理空间要素之间的时空关联关系,据此提出显式表达该关联语义的地理关联轨迹模型,在此基础上利用关系-对象数据库技术,为地理关联轨迹模型设计独立于应用的关系模式,接着定义轨迹时空模式查询,并提出基于地理关联轨迹关系模式的SQL处理框架,最后以典型性检索请求为例,讨论分析位置-时间、位置-顺序和位置-关系等三类轨迹时空模式查询的纯SQL处理技术,并以样例轨迹数据验证了本文方法的可行性。     

基于XQuery的GML查询语言研究

随着GML规范的不断完善及GIS软件厂商的广泛支持,越来越多的空间数据以GML格式存储,GML空间数据的查询已成为GIS研究的热点问题。传统的关系数据库查询语言SQL是针对平面的二维关系数据而设计的,并不适合XML/GML半结构化数据的查询;商品化GIS软件的查询系统只能查询自身的空间数据而无法查询其它GIS系统的空间数据;XML查询的研究为GML查询奠定了一定的基础。首先针对GML查询存在的问题,提出了扩展XQuery是GML查询语言实现的最佳选择;结合XML查询语言和空间数据查询语言,提出了GML查询语言的特征和GML查询语言系统框架;并根据GML空间数据的特点,以XML标准查询语言XQuery为基础,提出了XQuery空间扩展的内容;开发了GML空间数据查询语言GMLXQL,实现了GML空间数据的本原查询。     

MR-tree空间索引的Voronoi图改进及其并行空间查询方法

对MR-tree进行邻近关系信息的存储扩充,引入Voronoi图构建VoMR-tree索引。同时,提出了一种基于VoMR-tree的空间查询算法,讨论了分布式环境下的数据处理和算法并行化问题。实验结果表明,所提出的算法在执行时间和占用存储空间上都优于常用的空间索引方法。     

基于HBase的空间矢量数据存储模型设计与优化

数据存储模型是数据库模型的重要组成部分。本文针对目前关系型空间数据库发展过程中遇到的瓶颈问题以及采用HBase管理空间矢量数据存在的问题,在分析关系型空间数据库存储模型的基础上,将关系型数据库存储模式向HBase存储模式转换规则应用到空间矢量数据管理领域,提出了空间矢量数据关系存储模式向HBase存储模式转换方法,设计了一种空间矢量数据HBase存储模型。利用HBase的实体嵌套、反范式化、无模式等特性,对模型进行了优化完善。通过试验验证了在没有辅助索引情况下,本文设计的存储模型查询效率优于目前常用的基于HBase的空间矢量数据存储模型。     

基于空间数据库的多源异构卫星数据一体化管理研究

我国已经成为卫星遥感数据大国,但是在多源异构海量遥感数据的系统建设和技术研发方面,现行的遥感数据存储、处理以及服务技术将面临很大的挑战。本文基于空间数据库的空间对象模型和关系模式,设计了一套"空间-属性-体化"的多源异构卫星数据标准化数据结构,开发了多源异构卫星数据一体化管理应用原型系统,实现了多源异构卫星数据的自动化入库、统一查询检索和多样化处理等功能,为多源异构卫星影像数据及其辅助元数据的一体化管理提供解决方案。     

Integrated Storage and Querying of Spatially Varying Data Quality Information in a Relational Spatial Database

This article investigates a new, integrated technique for storing and retrieving spatially varying data quality information in a relational spatial database. Rather than storing global data quality statements, the system enables data quality information to be referenced to a spatial framework, individual spatial objects, or even parts of spatial objects. The integrated model, called as RDBMS for Spatial Variation in Quality (RSVQ), allows flexible storage of spatially varying data quality information, and seamless querying irrespective of the underlying storage model. RSVQ is founded on a formal model of relational databases, defining a new derived, polymorphic query operator      to join quality data with spatial data. The      operator is implemented in an extension to SQL as a new WITHQUALITY keyword. A performance evaluation of RSVQ was conducted, using an Oracle Spatial database and a case study of cadastral data for parts of Victoria, Australia. The results of this evaluation demonstrated that the system is practical and efficient for a wide range of queries, as well as indicating the performance trade-offs associated with the different data quality storage models. Using the integrated RSVQ approach provides the potential for a single, consistent, database engine for a wide range of existing and proposed spatial data quality management systems.