轨迹大数据: 数据处理关键技术研究综述

针对轨迹大数据的高效点-轨迹k近邻（point to trajectory k nearest neighbor, P2T_kNN）查询处理需求,提出了一种融合时空剖分和轨迹分段的轨迹组织方法,其核心思想是在对轨迹作时间剖分的基础上,利用离散全球网格系统（discrete global grid system, DGGS）在空间上进行再次剖分,从而利用两次剖分得到的时空单元编码来索引落入其中的轨迹片段。在此基础上利用分布式列式存储技术设计了面向轨迹大数据的P2T_kNN查询处理框架,提出了一种顾及轨迹数据空间分布的自适应空间单元搜索算法,即通过分析轨迹数据在给定时间约束下的空间分异特征,动态调整空间单元的搜索步长,从而提升了轨迹稀疏区域的处理效率。针对亿级轨迹的实验结果表明,该方法适用于轨迹大数据的P2T_kNN查询处理,在轨迹稠密与稀疏区域的平均查询响应时间均小于1 s。     

基于轨迹数据的武汉大学学生行为规律分析

以武汉大学学生为研究对象,采用DBSCAN聚类算法,对采集到的大量轨迹数据和具体的校园地理背景信息,进行轨迹停留点特征的精确提取。通过大量数据分析,实现武汉大学学生个体与群体行为特征提取。从群体水平来看,武大学生用于学习的时间占比重最大,用于运动、逛街、休闲的时间主要集中在下午或者晚上的空闲时段。同时,该方法对于研究大学生等特定群体的行为特征也具有普适性。     

轨迹数据的非关系管理及相似性分析

针对高动态、半结构化的轨迹数据,充分利用文档型非关系数据库MongoDB的特性,本文首先提出了一套分层、分区、分片的存储策略,设计了以整条轨迹为基本粒度的非关系组织模型,能够有效应对轨迹数据的海量性和动态性挑战。然后据此开展轨迹相似性分析的研究,提出了一种兼顾时间维和轨迹形状的轨迹相似性度量方法DTWEUCLI,可计算长短不一且含有噪声的轨迹数据之间的相似性。最后基于轨迹的非关系存储和相似性计算,开展了轨迹簇生成的试验与分析,设计实现了基于轨迹相似性计算的轨迹聚类计算框架。基于3个轨迹数据集的试验表明,DTWEUCLI算法能够对多源轨迹数据集进行有效聚类,输出轨迹簇。     

众源车辆轨迹加油停留行为探测与加油站点提取

针对当前加油站点信息采集成本高、更新周期长等问题,提出了运用车辆轨迹数据提取加油站点的方法。首先,从轨迹运动特征、几何模式等方面分析个体和群体加油行为轨迹特征。其次,基于Stop/Move模型,集成加油轨迹运动特征提出速度序列线性聚类算法提取加油停留轨迹。最后,运用Delaunay三角网层次聚类加油停留轨迹线,综合运用傅里叶形状识别、语义约束等方法识别、提取加油站点。运用北京市7d的出租车轨迹数据进行试验分析,共提取482个加油站,正确率为93.1%,且位置精度高。     

出租车轨迹数据的频繁轨迹识别

为识别城市交通中的频繁路径,本文提出了一种出租车轨迹数据的频繁轨迹识别方法。该方法首先对轨迹数据进行轨迹压缩,以降低计算复杂度;然后基于最长公共子序列和动态时间规整算法进行轨迹相似性度量计算,利用计算得到的轨迹间相似度生成距离矩阵;最后将生成的距离矩阵结合HDBSCAN算法进行聚类得到频繁轨迹。选取厦门岛内两个区域进行试验分析,结果表明,该方法能够识别出轨迹数据集中的频繁轨迹,进而得到城市区域之间通行的频繁路径,对道路规划、路径优化与推荐、交通治理等应用提供帮助。     

轨迹大数据云存储与热力图生成方法

针对目前轨迹大数据基于WebGIS的热力图展示中的成图耗时较长、用户移动缩放交互差等问题,本文建立了基于HBase的轨迹数据与地图数据存储模型,为轨迹大数据在电子地图上进行热力图展示提供了存储方法,同时提出一种基于聚类处理的轨迹数据热力图可视化方法,针对不同缩放级别能够有效地减少数据绘制计算量与数据传输量,较大地提升了热力图渲染与展示的效率。试验证明,该方案能够实现轨迹数据、电子地图数据的存储,提高热力图可视化绘制效率,能够为轨迹数据挖掘与分析提供技术支撑。     

面向分布式列式存储的轨迹大数据k近邻查询

针对轨迹大数据的高效点-轨迹k近邻(point to trajectory k nearest neighbor, P2T_k NN)查询处理需求,提出了一种融合时空剖分和轨迹分段的轨迹组织方法,其核心思想是在对轨迹作时间剖分的基础上,利用离散全球网格系统(discrete global grid system, DGGS)在空间上进行再次剖分,从而利用两次剖分得到的时空单元编码来索引落入其中的轨迹片段。在此基础上利用分布式列式存储技术设计了面向轨迹大数据的P2T_k NN查询处理框架,提出了一种顾及轨迹数据空间分布的自适应空间单元搜索算法,即通过分析轨迹数据在给定时间约束下的空间分异特征,动态调整空间单元的搜索步长,从而提升了轨迹稀疏区域的处理效率。针对亿级轨迹的实验结果表明,该方法适用于轨迹大数据的P2T_k NN查询处理,在轨迹稠密与稀疏区域的平均查询响应时间均小于1 s。     

利用轨迹大数据进行城市道路交叉口识别及结构提取

交叉口是城市交通路网生成、更新的重要组成部分。本文基于车辆时空轨迹大数据,提出了一种城市交叉口自动识别方法。该方法首先通过轨迹跟踪识别轨迹数据中包含的车辆转向点对;然后基于距离和角度的生长聚类方法进行转向点对的空间聚类,并采用基于局部点连通性的聚类方法识别交叉口;最后利用交叉口范围圆和转向点对提取城市各级别路网下的交叉口结构。以武汉市出租车轨迹大数据为例,对武汉市城区内189个交叉口进行了探测。试验结果表明,本文所提方法可以准确地从轨迹大数据中识别出城市交叉口及其结构。     

利用轨迹数据进行道路网更新及轨迹融合

随着经济的快速发展,城市道路网更新迅速,道路网数据对于交通规划和城市发展具有重要意义。本文提出了一种基于轨迹数据的道路更新及轨迹融合方法。首先使用几何最短距离分析和隐马尔科夫模型来提取失配轨迹,然后使用基于Delaunay三角网和基于山脊线相结合的轨迹融合方法,提取出新增道路骨架线,对得到的骨架线进行显化和延长处理,使其融合到现有道路网中。试验结果表明,采用基于Delaunay三角网和基于山脊线相结合的轨迹融合方法,能够提高新增道路的生成效率,改善道路网的更新效果。     

GPS非差数据的周跳探测与修复方法研究

介绍TurboEdit法和双频单P码法在周跳探测方面在精密单点定位载波相位非差观测数据中探测周跳的原理与算法,编写了计算机程序,验证了这些方法的有效性。提出了利用MW组合法对双频单P码中出现的多个解分别进行周跳修复,再根据修复后数据的MW宽巷模糊度值变化情况剔除错值的新方法,这样就有效地解决了双频单P码中出现多值的问题。通过实验证明本算法在精密单点定位周跳探测与修复中具有很好的效果。     

可靠性分析与数据探测

首先从方差比检验出发,建立了用于可靠性分析和数据探测的统一基本关系式,由此导出了在相关权情况下的可靠性指标R_i的表达式,证明在权阵为对角阵时其特例就是常用的多余观测分量内可靠性指标r_i,其一致性说明了R_i的合理性。同时,提出了与可靠性度量密切联系的一种新的数据探测方法,实现了可靠性分析和数据探测在理论上的统一和实用上的一致。     

大区域离散型DEM源数据粗差探测与剔除

研究DEM粗差的数据探测法,实现大区域数据的自动分块处理、链表形式存储数据、分块后数据的3次曲面拟合,残差向量的统计分析和假设检验,剔除粗差。实践证明该方法完全可行。     

采用聚类技术探测空间异常

提出了一种基于聚类的空间异常探测方法。该方法通过空间聚类获得局部相关性较强的实体集合,分别探测空间异常,给出了一种稳健的空间异常度量指标,提高了异常探测结果的可靠性。通过实例验证以及与SOM方法的比较分析,证明了该方法的正确性和优越性。     

低高度角双频非差数据的周跳探测方法研究

针对低高度角双频非差数据测量噪声大、周跳探测容易出现误判和漏判的情况,本文基于电离层残差组合和MW组合进行了周跳探测算法的改进。在电离层残差法的周跳探测中,引入了时间窗口方法,利用周跳检测量的误差分布合理确定判定阈值的大小;在宽巷周跳的探测中,对MW组合方法中的判定条件进行了改进,采用加权递推平滑和时间窗口相结合的方法进行宽巷模糊度的精确估计和精度评价。经IGS站观测数据验证,改进算法取得了较好的周跳探测效果。     

利用北斗三频非差数据进行周跳实时探测与修复

结合我国北斗导航卫星系统的特点,通过对三频数据进行线性最优组合来有效探测和修复各类周跳。应用了5种线性几何无关组合并基于三步法进行周跳探测。对于探测到的不同周跳,通过特定的三频载波相位线性组合进行有效的分辨和修复,最后基于北斗三频实测数据,针对不同电离层延迟变化水平,分别就1s、15s、30s不同采样间隔下的周跳探测和修复能力进行了验证,取得了较优的结果。     

出租车轨迹数据的道路提取

相对高频GPS轨迹数据而言,低频GPS轨迹数据具有数据量大、容易获取、低成本等优点。对此,本文提出了一种基于大量低频轨迹数据的道路信息提取方法。该方法采用数学形态学滤波和细化方法对栅格化的道路图像进行道路中心线与交叉口的提取,然后采用道格拉斯-普克算法对交叉口间的路段进行简化与平滑,最终得到道路信息。其中在交叉口的提取上,采用多分辨率的图像融合的方法尽可能多地提取交叉口。试验表明,该方法在一定程度上克服了低频轨迹数据采样间隔不固定、定位精度低、噪声点多、数据分布不均等缺点,能够提取出较为准确的道路交叉口和中心线。     

移动轨迹数据可视化方法总结

作为移动社交网络的主体,人们移动带来的位置轨迹不仅记录了人的行为历史,也记录了人与社会的交互活动信息。移动社交网络中位置轨迹数据的分析与利用为解决城市问题提供了一种新的思路。本文概述了轨迹数据可视分析中的几种方法,总结了轨迹数据可视分析研究中存在的问题和面临的挑战。     

一种众源车载GPS轨迹大数据自适应滤选方法

基于同步高低精度GPS轨迹数据的空间特征和GPS误差分布原理,提出了一种众源GPS车载轨迹大数据自适应分割-滤选模型。该模型首先通过角度、距离约束将完整的车载GPS轨迹数据进行分割,以轨迹分割段作为基本滤选单元;然后通过对比轨迹分割段内GPS轨迹向量与其参考基线间的相似度,按照相似度与GPS定位精度之间的量化关系指导滤选。试验结果表明,该方法可以实现车载轨迹大数据按信息提取精度需求的滤选。     

GPS三频非差观测数据周跳的自动探测与改正研究

在GPS三频非差观测数据的处理中,由于伪距噪声的影响,利用原始的伪距和载波相位观测数据估计的模糊度误差比较大,不能用于探测和改正周跳。对原始观测数据进行平滑或适当的组合处理,可降低观测噪声的影响。因此,本文选择合适的经过平滑或组合处理后的观测数据作为探测周跳的检验量,探测并改正单个频点上的周跳。在分析了一般周跳的特点并在研究双频周跳自动探测与改正方法基础上,提出了选取检验量的四条基本原则。最后,依此原则选取了三个观测值组合作为周跳检验量,利用该组检验量实现三频非差观测数据周跳的自动探测与改正。     

北京市出租车GPS轨迹数据统计特征分析

以2015年5月11-17日北京市3万多辆出租车3.85亿条轨迹点数据为研究对象,对非载客段数据点进行剔除,使用R语言从居民出行距离、轨迹段持续时间、分时段出行量、出行方向及平均速度五个角度进行统计特征分析,并通过拟合得到浮动车行驶距离与持续时长所遵循的指数分布,进而发现距离衰减效应、工作日与周末的日律性,并以此分析乘客出行距离、出行时间的潜在规律。