一种集成R树、哈希表和B*树的高效轨迹数据索引方法

为兼顾时空索引方法的空间利用率、时间效率和查询种类,提出了一种新的轨迹数据索引方法——HBSTR树。其基本思想是:轨迹采样点以轨迹节点的形式成组集中管理,哈希表用于维护移动目标的最新轨迹节点,轨迹节点满后作为叶节点插入时空R树,另外采用B*树对轨迹节点构建一维索引,既有利于提升索引创建效率,又同时满足时空条件搜索和特定目标轨迹搜索等多种查询类型。为提升时空查询效率,提出了新的时空R树评价指标和节点选择子算法改进时空R树插入算法,同时提出了一种时空R树的数据库存储方案。试验结果表明,HBSTR树在创建效率、查询效率和支持查询类型等方面综合性能优于现有方法,支持大规模实时轨迹数据库的动态更新和高效访问。     

虚拟战场环境时空数据的Hilbert码索引方法

在虚拟战场环境中,时空数据的高效组织是动态描述战场关键要素、实时分析军事行动计划的前提。首先对经度、纬度、时间进行同步层次嵌套细分来构建规则的多分辨率时空网格,然后基于Hilbert曲线设计时空格元编码,进而根据虚拟战场环境时空数据与时空格元Hilbert码的对应关系,提出一种基于Hilbert码的时空数据索引方法。在此基础上设计实验,比较格元编码的时空邻近性、索引构建效率以及查询效率。结果表明,Hilbert码方法在邻近性上优于Morton码,索引构建速度满足大规模时空数据处理需要,且查询效率优于直接基于经度、纬度、时间查询和基于Morton码查询的方法,可作为虚拟战场中作战计划推演、战场环境要素可视化与分析等时空操作的基础。     

面向地理空间信息的轨迹模型及时空模式查询

轨迹数据处理与分析是目前空间信息和数据库等相关领域的研究热点之一。本文从Stop-Move轨迹模型出发,通过集成地理空间上下文信息来建模轨迹数据,并研究轨迹时空模式的查询处理技术。首先分析Stop/Move对象与点/线/面地理空间要素之间的时空关联关系,据此提出显式表达该关联语义的地理关联轨迹模型,在此基础上利用关系-对象数据库技术,为地理关联轨迹模型设计独立于应用的关系模式,接着定义轨迹时空模式查询,并提出基于地理关联轨迹关系模式的SQL处理框架,最后以典型性检索请求为例,讨论分析位置-时间、位置-顺序和位置-关系等三类轨迹时空模式查询的纯SQL处理技术,并以样例轨迹数据验证了本文方法的可行性。     

关联向量机在高光谱影像分类中的应用

将关联向量机应用于高光谱影像分类, 实现高维空间中训练样本不足时分类器的精确建模。从稀疏贝叶 斯理论出发, 分析关联向量机原理, 探讨一对多、一对一和两种直接的多分类方法。实验环节比较了各种多分类方 法, 并从精度、稀疏性两方面将关联向量机与支持向量机等经典算法比较。实验结果表明, 两种直接的多分类方法 内存占用大、效率低; 一对多精度最高, 但效率较低; 一对一计算效率最高, 精度与一对多近似。关联向量机精度 不如支持向量机, 但解更稀疏, 测试样本较多时实时性好, 适合处理大场景高光谱影像的分类问题。     

基于WebGL的航道数据组织与三维可视化方法

针对Web端进行航道构建与三维可视化时遇到的海量数据组织困难、即时显示效率低的问题,提出了一种多维度数据索引构建方法,利用多层次网格索引将空间分布特征和时空关联关系索引到数据中,实现了海量水深数据的快速增量入库和高效检索;提出了一种基于边界约束的航道地形模型构建方法,利用alpha-shape算法提取自适应边界,并对D...     

M-Quadtree索引:一种基于改进四叉树编码方法的云存储环境下空间索引方法

为了解决基于"键-值"模型的云存储环境仅支持简单的关键字查询,不支持多维空间查询的问题,提出了一种新的分布式空间索引方法——M-Quadtree索引。在索引构建过程中,设计了一种基于改进四叉树的空间数据划分方法,该方法规定了叶节点区域的最小数据量,通过四叉树叶节点的再合并,解决了划分后各子区域间存储量不平衡的问题,并且满足了MapReduce并行化要求。给出了MapReduce框架下M-Quadtree索引的快速构建、查询与更新算法,并在搭建的Hadoop平台进行了关键参数对索引效率的影响以及不同规模数据下索引的创建、查询和更新试验。与现有分布式空间索引的对比试验及分析结果表明,M-Quadtree索引在数据存储量负载均衡、算法并行化和空间查询效率等方面表现得更好。     

面向分布式列式存储的轨迹大数据k近邻查询

针对轨迹大数据的高效点-轨迹k近邻(point to trajectory k nearest neighbor, P2T_k NN)查询处理需求,提出了一种融合时空剖分和轨迹分段的轨迹组织方法,其核心思想是在对轨迹作时间剖分的基础上,利用离散全球网格系统(discrete global grid system, DGGS)在空间上进行再次剖分,从而利用两次剖分得到的时空单元编码来索引落入其中的轨迹片段。在此基础上利用分布式列式存储技术设计了面向轨迹大数据的P2T_k NN查询处理框架,提出了一种顾及轨迹数据空间分布的自适应空间单元搜索算法,即通过分析轨迹数据在给定时间约束下的空间分异特征,动态调整空间单元的搜索步长,从而提升了轨迹稀疏区域的处理效率。针对亿级轨迹的实验结果表明,该方法适用于轨迹大数据的P2T_k NN查询处理,在轨迹稠密与稀疏区域的平均查询响应时间均小于1 s。     

数字孪生铁路隧道线路-瓦片-构件多粒度时空数据高效索引方法

长大铁路隧道工程采用多工点并行同向或反向掘进等复杂施工组织策略,导致数字孪生三维模型时空分布稀疏、时空重叠度大,已有的时空索引针对连续均匀时空分布特征,难以满足时间、里程、语义多维度高效检索需要,制约了数字孪生应用的实时虚实互馈效率。为此,提出一种适用于铁路隧道数字孪生模型的多维度高效时空索引方法,设计了时间、里程、语义多维度关联的铁路隧道三维瓦片数据结构,建立了全局最优解约束的有向包围空间纠偏机制,实现了铁路隧道线路-瓦片-构件多粒度时空索引。利用典型长大铁路隧道孪生模型数据验证了所提方法的有效性,结果表明,所提方法在时间、里程、语义多维度混合检索时间平均值为135.44 ms,与现有典型时空索引对比,提升了三维空间单一维度与时间-里程混合维度的检索效率,可有效支撑铁路隧道数字孪生三维模型高效时空检索及高性能可视化分析等应用。     

时空信息云平台下数据管理及可视化方法

针对智慧城市时空信息云平台中海量时空数据的管理和可视化问题,该文提出了一种时空索引建立及时空数据可视化方法。时空索引机制将时间、空间与专题属性作为同等重要的维度,兼顾了三者的查询效率,实现对时空数据的快速有效提取。时空数据可视化表达方法提出了时间轴动画、多时态对比、对象状态回溯等可视化方式,实现时空数据的动态交互式表达。该方法在"智慧常州时空信息云平台"项目中进行了实现,证明这种时空数据组织管理方法可较高效地实现数据的检索调度,且具有较强的可操作性;基于此的时空数据可视化方法亦具备较佳的时空对象动态表达效果。     

粒度与结构统一的多层次三维城市模型数据组织方法

提出了一种高效的磁盘、内存、显存三级数据存储粒度与结构一致的数据组织方法。首先,根据城市空间对象数据内容,建立层次嵌套、多类型混合的空间索引结构,以空间索引节点统一磁盘存储、内存场景管理与绘制缓存的基本操作单元;其次,以绘制缓存对象的紧凑存储结构为基础,统一内存场景管理对象与磁盘存储对象的数据块结构,并将数据布局方法扩展到对象粒度进行磁盘存储组织。实验结果表明,所提方法大幅度减少了I/O次数,提高了数据调度效率,为大规模三维城市模型的实时绘制奠定了基础。     

基于八叉树与KD树索引的点云配准方法

针对点云配准算法中KD树多维查询效率较低的问题,提出一种基于八叉树和KD树多层索引结构的点云配准方法。首先为模型点云数据建立八叉树全局索引,然后在八叉树叶子结点构建局部数据的KD树索引。对传统的ICP点云配准算法进行改进,通过叶子结点的全局索引值快速定位局部点云数据块,利用局部KD树索引加快最近点的搜索,计算最近点时利用欧氏距离阈值、点对距离差值和法向量阈值剔除部分噪声点。实验表明,改进算法提高了点云配准的效率和精度。     

三维虚拟地球中移动对象的时空数据组织方法

针对三维虚拟地球中实时GIS数据组织、管理与动态可视化的要求,设计了三维虚拟地球中移动对象的时空数据组织方法。提出了基于HR-tree扩展的时空索引方法,实现了对虚拟地球中移动对象的检索与查询,并基于三维虚拟地球平台对本文方法进行了实验,结果验证了本文方法的有效性和可行性。     

大规模轨迹数据的Geohash编码组织及高效范围查询

面向成熟的关系-对象型空间数据库,利用Geohash编码的唯一性、一维性和递归性等特征,提出了一种基于Geohash编码的大规模轨迹数据组织方法及范围查询技术。该方法结合Geohash编码和B+树索引,设计了适应不同尺度范围查询的大规模轨迹数据的关系组织模式,并给出了相应的两阶段查询处理算法,同时提出了一种Z合并优化,以进一步提高范围查询的处理效率。实验结果表明,此方法适合于组织管理与查询分析大规模的轨迹数据,其范围查询性能高于内置的R树索引。     

A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data

ABSTRACT

Earth observations and model simulations are generating big multidimensional array-based raster data. However, it is difficult to efficiently query these big raster data due to the inconsistency among the geospatial raster data model, distributed physical data storage model, and the data pipeline in distributed computing frameworks. To efficiently process big geospatial data, this paper proposes a three-layer hierarchical indexing strategy to optimize Apache Spark with Hadoop Distributed File System (HDFS) from the following aspects: (1) improve I/O efficiency by adopting the chunking data structure; (2) keep the workload balance and high data locality by building the global index (k-d tree); (3) enable Spark and HDFS to natively support geospatial raster data formats (e.g., HDF4, NetCDF4, GeoTiff) by building the local index (hash table); (4) index the in-memory data to further improve geospatial data queries; (5) develop a data repartition strategy to tune the query parallelism while keeping high data locality. The above strategies are implemented by developing the customized RDDs, and evaluated by comparing the performance with that of Spark SQL and SciSpark. The proposed indexing strategy can be applied to other distributed frameworks or cloud-based computing systems to natively support big geospatial data query with high efficiency.     

基于快照-增量的时空索引机制研究

已有的时空索引是基于时间或空间索引的扩展,将相应的空间或时间成分作为属性,难以同时顾及时间查询和空间查询的效率.分析基于版本-增量的时空数据模型,提出基于快照-增量的时空数据索引机制.该索引将时间和空间作为同等重要的维,满足时空联合查询的效率.     

基于特征矩阵和关联图的空间场景相似性度量方法

为了解决包含不同实体数目的空间场景相似性度量问题,本文利用特征矩阵对空间场景进行描述,根据查询场景和数据库场景的特征矩阵生成场景关联图,利用关联图中的各种匹配圈获取空间场景集合,然后根据场景完整度和相似性度量模型计算场景集合中每个场景的匹配度,最后计算出最佳匹配场景,并对匹配结果进行分析评价。实验表明,该方法能够较好地度量不同实体数目的空间场景的相似性。     

多边形间空间关系查询的异构多核架构并行算法

目前在空间关系查询中常用的Plane Sweep算法是一种串行算法,在处理海量空间数据时效率较低,而已有的并行计算方法对于普通的计算机并不适用。本文针对这个问题,提出了一种多边形间空间关系查询的异构多核架构并行算法,该算法先利用STR树索引过滤掉不相交的多边形,然后将过滤后的多边形数据集合分解为点集合和边集合,并对其构建四叉树索引;在保证数据浮点运算精度符合要求的情况下,利用GPU强大的批量运算能力快速处理边与边的相交情况并据此逐步计算得到环间的拓扑关系,再根据环间拓扑关系计算得到多边形间的维度扩展九交模型(DE-9IM)参数值;根据DE-9IM参数值与空间关系查询条件相比对,输出查询结果。最后通过试验验证了算法的准确性与高效性。     

一种空间分布模式驱动的空间索引

支持批量操作的空间索引中,空间数据的分解粒度、局部更新操作的整体影响处理是两个主要难点。本文基于空间分布模式分析,提出了一种空间索引——Pattern-tree。针对批量操作的粒度问题,设计了一种基于空间分布模式探测的空间划分方法,采用一种自上而下与自下而上相结合的索引树构建算法;针对局部插入操作对索引树的整体影响与索引树的调整问题,提出了一种基于空间分布模式变化检测的索引更新方法。试验表明,本文所提出的空间索引结构比STLT、GBI以及SCB等方法具有更高的构建与窗口查询效率。     

Spatiotemporal retrieval of dynamic video object trajectories in geographical scenes

Current studies on video trajectory retrieval focus on the retrieval and analysis of image content, neglecting the gap between the spatiotemporal continuity of retrieval conditions and the spatiotemporal discontinuity of multi‐camera video trajectories. In this study, we propose a method for the spatiotemporal retrieval of dynamic video object trajectories in geographic scenes. Based on the camera calibration, the proposed method organizes the scene, cameras, and trajectories, constructs the spatiotemporal constraints, and queries the trajectories using two measures: camera‐by‐camera retrieval and global trajectory retrieval. The proposed method was verified through experiments, and the results demonstrate that both measures can query trajectories effectively and reduce the spatiotemporal video review range under different spatiotemporal constraints. Furthermore, compared with camera‐by‐camera retrieval, global trajectory retrieval can reduce the spatiotemporal video review range further and return more accurate results. The proposed method may provide support for the spatial analysis and understanding of surveillance video data.