利用MapReduce的异常轨迹检测并行算法

异常轨迹检测是移动对象数据挖掘的一个重要研究领域。TRAOD(TRAjectory Outlier Dectection Algorithm)算法是一种经典的异常轨迹检测算法,但它对于海量轨迹数据的异常检测效率低。为提高海量轨迹数据集的异常检测效率,本文提出了一种利用MapReduce 的异常轨迹检测并行算法(Parallel algorithm for TRAjectory Outlier Detection, PTRAOD),并在此基础上提出了网格索引的异常轨迹检测并行算法(Grid-based Parallel algorithmfor TRAjectory Outlier Dectection, GPTRAOD)。GPTRAOD算法在PTRAOD算法的基础上,利用网格索引实现区域查询,进一步提高算法效率。将PTRAOD算法和GPTRAOD算法在Hadoop 平台上加以实现,结果表明:本文提出的2 个并行检测算法,能实现异常轨迹的检测;GPTRAOD算法的效率优于PTRAOD算法;GPTRAOD算法具有较高的可扩展性和较好的加速比。     

基于多源数据和船舶停留轨迹语义建模的港口目标识别

港口目标识别是海事船舶监管的重中之重,船舶自动识别系统（Automatic Identification System,AIS）所获取的船舶活动信息,可为港口目标识别提供高时相和高精度的船舶航行数据。为了探究AIS数据在港口目标识别中的应用,提出一种基于多源数据和船舶停留轨迹语义建模的港口目标识别方法。通过数据挖掘和语义信息增强构建船舶停留轨迹语义模型,识别船舶港口停留轨迹;建立基于随机森林的船舶停留方式分类模型,分类船舶泊位停留轨迹和船舶锚地停留轨迹,并利用空间逐级合并方法提取港口泊位和港口锚地;综合船舶泊位停留轨迹、道路、海岸线、水深、土地利用与土地覆盖等数据,顾及情景-领域知识实现港口目标识别。基于2017年96 790艘船舶的超8300万条AIS轨迹记录,应用本文方法识别南海研究区的港口目标。实验结果表明,本文方法对于船舶轨迹停留行为总体分类精度为0.9477, Kappa系数为0.8948。提取出南海研究区447个港口区域,与Google Earth影像叠加验证结果表明,提取结果均位于真实的港口影像内,相较于Natural Earth数据集中包含的南海区域24个港口点位,提取结果的完整性大大增强。因此,基于多源数据和船舶停留语义建模的港口目标识别方法对于港口目标识别具有较高的准确性和完整性。此外,该方法提取的港口区域可为基于遥感影像的港口目标识别提供靶区,从而提高大区域甚至全球范围内港口目标动态识别的效率。     

顾及轨迹还原与分类的渣土车作业行为提取方法

渣土车轨迹数据蕴含丰富的行为模式信息，包括停车行为、运输路径、异常活动、渣土装载与倾倒OD点等关键特征，已逐渐成为渣土车运行监测与作业行为监管的主要数据来源。但是目前在渣土车作业行为提取中仍主要采用车载GPS数据结合工地电子围栏的传统签到系统，存在电子围栏与道路相互包含、重叠等一系列问题。针对传统渣土车作业行为提取中存在的车辆作业误判问题，本文提出一种顾及轨迹还原与分类的渣土车作业行为提取方法。(1)从运动状态和几何形态2个方面理解并识别渣土车作业行为模式；(2)利用顾及时间与距离的停留点提取算法提取车辆停留点，处理停留点与轨迹的映射关系，完成基于停留点的轨迹匹配；(3)构建平均相似值函数对轨迹进行语义信息增强；(4)提出SR-LGBM算法，筛选作业轨迹与非作业轨迹，实现渣土车的作业行为提取。采用南京市渣土车轨迹数据进行测试，结果表明，本文方法的准确率达97.29%，相比GaussianNB、Logistic Regression等传统分类算法其准确率与召回率均得到不同程度的提高，有效解决了电子围栏与道路重叠或多个围栏交叉造成的误判问题，可实现准确、高效的作业行为提取。     

基于卡尔曼滤波的船舶轨迹异常行为快速检测方法

基于全球船舶自动识别系统(Automatic Identification System,AIS)数据的船舶轨迹异常行为快速检测对于保障船舶航行安全、辅助安全监管具有重要意义.AIS数据具有容量大、更新频率快的特点,而当前AIS轨迹异常行为检测方法依赖于大量的训练样本与历史数据,实用性与普适性较差,难以用于船舶轨迹异常行为快速检测.为此,本文定义了船舶追踪、航速、航向、位置4种异常行为检测模型,提出了一种基于卡尔曼滤波的船舶AIS轨迹异常行为检测方法,实现了船舶AIS轨迹的异常行为快速检测与报警.实验选取经过我国东海部分地区3天的AIS数据,对实验结果的正确性与耗时进行分析,结果表明模型可以满足异常即时发现、即时处理的应用需求.     

时空轨迹相似性度量方法综述

时空轨迹数据是记录移动对象时间和空间的位置序列,它是研究移动对象最为重要的数据来源。时空轨迹数据的分析挖掘是空间数据挖掘的一个研究热点,它包括轨迹检索、轨迹分类、模式挖掘、异常检测等。在分析挖掘过程中,轨迹之间的相似性度量是一个关键问题。本文研究时空轨迹相似性度量方法,首先从理论意义和应用价值的角度分析时空轨迹相似性度量的重要性,然后根据度量方式的不同将时空轨迹相似性度量方法分为两大类:基于轨迹点的相似性度量方法和基于轨迹段的相似性度量方法。由于基于轨迹点的各种相似性度量方法的应用场景和对相似性的定义不同,再将其细分为全局匹配度量法和局部匹配度量法。对时空轨迹相似性度量方法进行分类的同时,也对各个类别中常用的相似性度量方法进行了详细阐述,分析它们的优缺点及应用场合,为时空轨迹分析挖掘提供参考。     

语义轨迹建模与挖掘研究进展

语义轨迹是时空轨迹和语义信息融合的产物。除了含有时空信息以外,语义轨迹包括移动对象自身的运动状态（如速度、方向）、环境（如气温、空间拓扑关系）和社交关系（如好友关系、社交活动）等多方面信息。挖掘语义轨迹可以深入地发现个体或群体移动行为的意图、习惯、情感等高阶语义内容,从而深层次发现个体或群体移动行为的模式、关系和规律等。因而,相较于时空轨迹,语义轨迹在语义性、解释性、可行性等方面更符合决策分析应用的实践需求,具有更重要的研究意义和应用价值。本文对语义轨迹挖掘的关键技术进行了综述。首先,介绍语义轨迹的基本概念,并且根据语义元素类型的不同总结了4种常见的定义形式。其次,归纳了语义轨迹建模的基本阶段,包括预处理、轨迹分段和语义富化。由于语义轨迹无法像时空轨迹那样从位置感知设备中采集获得,因此语义轨迹是通过建模技术得到的,主要通过将语义信息和时空轨迹相融合生成相应的语义轨迹。然后,介绍语义轨迹挖掘的主要任务,包括语义轨迹模式挖掘、语义轨迹聚类、语义轨迹分类、语义轨迹异常检测等。针对每一项挖掘任务,介绍了有关的基本原理和相关算法,总结了主要的关键技术和挑战。最后,探讨了语义轨迹挖掘现存的研究难点和未来研究方向。从模型定义、语义标注技术、多源数据建模等方面,讨论了语义轨迹建模的重要研究问题;从语义轨迹数据管理、分类和预测、流式数据挖掘、隐私保护、多粒度挖掘、评价方法等方面,探讨了语义轨迹挖掘的未来研究问题。     

室内用户语义位置预测研究

位置预测技术可以提前预知用户下一时刻的位置,在基于位置的服务（Location-based Service,LBS）领域中发挥着极其重要的作用。现有的位置预测技术大多仅使用用户的地理轨迹,仅使用地理轨迹挖掘出来的用户移动模式易受地理特性的限制缺乏深层次的语义信息。本文基于某商场群体用户的室内轨迹数据和语义信息预测用户下一个时刻语义位置。语义位置预测包括停留区域识别、停留区域语义匹配、语义位置建模。在停留区域识别阶段,为减少室内停留时间不固定对停留区域识别的影响,本研究提出了一种新型的时空凝聚层次聚类算法（Spatial-Temporal Agglomerative Nesting, ST-AGNES),该算法具有思想简单、超参数少、自动生成聚类个数等优点。在语义匹配阶段,引入了吸引度规则,充分利用停留区域所有轨迹点与室内高密度的商铺名称信息做匹配。最后,采用长短型记忆神经网络模型（Long Short-Term Memory,LSTM）挖掘群体用户的语义位置模式并预测用户未来的语义位置,实验预测正确率达到61.3%。     

城市海量手机用户停留时空分异分析——以深圳市为例

识别海量手机数据中蕴含的行为模式,是地理学的一个研究热点与难点。目前,较多研究针对手机用户移动特征开展,而对停留及其模式的研究则相对较少;其时空分异规律对理解城市人群动态,甚至优化城市系统至关重要。本文根据人们日常时空约束条件定义了手机用户停留,提出了基于海量手机位置数据的手机用户停留模式的提取方法,以深圳市约790万个匿名手机用户一天的海量手机位置数据为例,识别出了覆盖约98%用户的典型停留模式,并结合该城市土地利用的空间分布与分异特征,剖析不同停留模式的手机用户空间分异特征和城市不同区域停留次数的时段分异特征。研究发现:(1)15种停留模式可覆盖约98%的手机用户,而且其一天不同的停留位置数量不超过4个;(2)15种停留模式手机用户在城市区域空间上的分布存在分异现象,严重受制于土地利用的空间分布;(3)城市不同区域停留次数的时段分异特征与该区域常住人口、人口密度,以及区域主要职能和性质存在较强的相关性。研究结论对理解城市手机用户行为模式的群体特征有积极的意义,对城市土地利用的科学决策和城市交通规划与预测有重要参考价值。     

基于MetaOD模型选择的岩土工程数据异常检测方法

岩土工程现场及室内参数测试数据是工程施工、设计、评价的基础。异常数据的存在往往会误导施工、设计等参数的确定, 数据异常检测是确保工程安全可靠的最基本但极为重要的工作。针对传统异常检测算法没有模型选择这一过程而导致检测的盲目性, 提出了基于元学习的异常检测算法(meta-learning outlier detection, MetaOD)和数据挖掘算法相结合的异常检测模型体系。该体系首先根据数据的特点选择适合不同数据类型的初始模型类型及其参数, 并对选择出的同类型算法的参数进行求均值处理; 然后再采用遴选出的算法进行数据异常诊断, 进而提高异常检测的准确性。为了评估模型的有效性, 采用加州大学欧文分校提出的机器学习检验数据集(glass数据集)进行检验分析。结果显示, 采用该模型体系进行异常检测时查准率达到96.41%, 远高于其他检测算法。最后, 应用该模型体系对澳门花岗岩单轴抗压强度数据集和均昌隧道的地下水位监测数据进行了异常检测分析, 并分别识别出9个和10个异常点。      

一种基于人工免疫网络聚类的入侵检测方法

提出了一种基于自适应半径免疫算法(ARIA)的入侵检测方法.ARIA训练得到的抗体网络充分保留了原始数据的密度分布信息,具有准确的空间形态;再用最小生成树算法和zahn划分标准对抗体网络细胞聚类,聚类得到的簇被标记为正常或异常并用于网络异常检测中.对KDD CUP 99数据集的实验结果表明:相对于基于aiNet的入侵检测方法,新的算法检测率高、误报率低,能够有效识别KDD中的已知攻击和未知攻击.     

面向轨迹起止特征点数据的多比例尺可视化方法

本研究以北京市出租车GPS轨迹数据为例,建立了一种面向轨迹起止特征点(Origin-Destination, OD)的多比例尺可视化表达方法。首先,依据轨迹点描述信息提取OD特征点,并进行无效点清理与排除;然后,利用分布密度指标和辅助行政区划数据实施聚类分析,对OD数据分布空间进行区域划分;最后,定义参量统计各区域间OD数据隐含的流向特征,并设计专门符号进行可视化。其中,通过调整最小区域面积控制参数建立与街区、商圈、城区等不同层次地理单元相对应的区域划分,从而获得涵盖3种不同级别的OD数据多比例尺表达结果。试验结果表明,本文提出的方法能够对轨迹OD数据进行有效降维,获取不同尺度下区域间的车辆移动关系,对揭示车流人流时空交互模式及辅助决策有参考意义。     

轨迹数据挖掘城市应用研究综述

轨迹数据作为泛在地理信息环境中社会遥感数据的主要表现形式之一,为从个体的视角研究群体的空间移动规律,提供了新的数据支撑和研究思路。特别是在当前的大数据背景下,通过轨迹数据发掘人类的移动规律和活动模式,进而探求蕴含的深层次知识,是解决城市问题的重要途径,轨迹数据挖掘也由此成为地理信息科学及相关学科的研究热点。本文首先阐述了人类移动规律研究常用的轨迹数据集及在该数据集上开展的相关研究和典型应用;然后从城市空间结构功能单元的识别及城市韵律分析、人类活动模式的发现与空间移动行为预测、智能交通的时间估算与异常探测、城市计算的其他4个方面,综述了轨迹数据挖掘在城市中的应用;最后,指出了轨迹数据挖掘面临的挑战和进一步的发展方向。     

移动对象多种运动参数在轨迹分类的应用

轨迹分类是以训练轨迹的特征来预测未知轨迹的类标签,可进行可疑车辆识别、非法渔船检测和交通模式检测等重要应用。当前大多数轨迹分类方法只考虑速度和加速度这2个运动参数,且只利用简单的统计量（如均值、中值、最大值）,不能充分挖掘轨迹的潜在特点,导致分类精度不高。针对该问题,本文在总结相关文献的基础上,提出一种基于移动对象运动特征的轨迹分类方法。针对速度、加速度、曲率、方向和转角这5个运动参数,利用偏度系数、峰度系数、变异系数和时间序列分析其中的自相关系数等,提取有区分力的全局运动特征;并从分割后的子轨迹中提取局部运动特征。对于方向和转角,引入方向统计学对其运动特征进行精确计算。实验表明本方法在船舶、野生动物和飓风数据集的分类精度达到了100%、80%和71.43%,实验验证了本方法构建的运动特征,在不同数据集下有效可行。     

顾及路网与轨迹多模特征的道路等级分类研究

道路等级不仅反映在路网结构的静态骨架信息上,也蕴含在轨迹数据呈现的动态语义信息上。为解决(OpenStreetMap)OSM路网部分路段及路网生成产品等级缺失问题,本文提出一种顾及路网与轨迹多模特征的道路等级分类方法。首先通过轨迹数据的清洗、地图匹配和基于路名的路网合并实现轨迹点与命名道路的联结;然后以命名道路为分析单元,综合考虑路网及轨迹数据,在系统分析路网结构的道路几何特征、道路分布特征、道路拓扑特征及道路单双向信息基础上,进一步挖掘与融合轨迹数据蕴含的道路宽度、道路车流量、道路速度等静动态特征,形成关于道路等级的描述特征集,作为识别道路等级的基础与依据;最后以随机森林(RF)为基本分类器进行特征选择及模型训练实现道路等级识别。为验证本文方法,选取武汉市汉正街区域及二环区域,基于OSM路网数据及众源轨迹数据开展试验。该方法取得了较好的分类结果,小范围汉正街区域的验证集准确率为91.2%,大范围二环区域的验证集准确率达到80.8%。与单类特征相比,集成路网与轨迹特征极大提高了道路等级分类准确率;与原始路段形式进行道路等级分类相比,以路名重构道路形式进行道路等级分类效果更好。     

基于DBI和稀疏轨迹数据的交通状态精细划分与识别

浮动车轨迹数据已逐渐成为城市交通状态识别的主要数据源之一,但是现有基于浮动车轨迹数据的交通状态识别中多数是应用高精度或是多源轨迹数据。针对稀疏轨迹数据在城市交通状态识别中存在识别精度不高的问题,本文提出一种结合戴维森堡丁指数（DBI）和轨迹相似性度量的动态交通状态划分方法。首先,对轨迹数据和路网数据进行预处理并且建立不同时间片的路段轨迹集合;接着,依据轨迹速度-空间相似性,利用戴维森堡丁指数动态地扩展轨迹的空间维度,并根据轨迹相似性度量方法构建最佳车辆队列;然后,将前后不同的车辆队列进行二次处理,连接组成交通流簇;最后,基于模糊C均值聚类方法将交通流进行划分,实现路段交通状态的识别。采用厦门市厦禾路、湖滨西路和湖滨南路交叉路段上的真实出租车轨迹数据进行测试,结果表明,本文所提方法保证了车辆队列速度分布与原始轨迹速度分布基本一致,相比对比方法Kmeans++和ST-DBSCAN,本文方法均方根误差平均下降了18.77%和21.22%,并且在不同的实验路段表现更加稳定,可有效、可靠地运用稀疏轨迹数据识别城市交通状态,进而实现城市交通状态的精细分析。     

自然灾害调查数据的多尺度异常检测方法研究及应用

大范围自然灾害调查,涉及区域环境差异大,数据获取方式多样,参与人员多,各级汇总成果中存在一些异常调查单元,需要人工判读其合理性,但单纯依靠人工从海量数据中有效识别异常是不现实的。本文设计了一种自然灾害调查数据的多尺度异常检测方法,综合运用离群检测方法和空间数据挖掘算法,分别进行异常值和异常空间分布模式检测,能够从海量调查数据中快速提取各级尺度的异常值和异常调查单元,支撑人工判读工作。将该方法应用于全国山洪灾害调查评价汇总数据的审核中,以全国历史山洪灾害点和防治区乡镇面积审核为例,分别快速提取了县乡两级区划中的山洪灾害点密度异常单元和面积值异常的乡镇单元,通过对检测结果进行分析,发现是填报口径不一致、单位错误、记录重复等原因造成的。最后分析了该方法在大范围自然灾害调查中的适用条件和方法。     

融合多特征的轨迹数据自适应聚类方法

轨迹聚类是空间数据挖掘领域的一个研究热点，对城市交通规划、路网结构提取与更新等具有重要意义。轨迹聚类包括轨迹相似性度量和聚类参数设置2个核心问题。然而，由于轨迹的形态结构特征复杂，现有轨迹相似性度量指标存在对噪声敏感或未充分考虑轨迹运动方向一致性的问题，且大多数聚类算法仍需人为设置参数，聚类挖掘结果的质量受到用户主观经验的影响。针对上述问题，本文提出了一种融合多特征的移动轨迹自适应聚类方法。首先，通过融合轨迹的空间邻近性和运动方向特征定义了一种对噪声鲁棒的轨迹相似性度量指标—DSPD距离；在此基础上，通过扩展Ward层次聚类方法提出了一种基于中心轨迹概念的空间层次聚类算法，该算法使用DSPD距离作为相似性度量指标，利用聚类特征曲线自动确定最佳聚类参数。以11组模拟轨迹数据和武汉市真实轨迹数据为例进行实验与分析，结果表明，本文方法在顾及空间邻近性的基础上，可以有效区分不同移动方向的轨迹簇，同时，利用轨迹数据特征自动确定聚类参数，降低了挖掘结果的主观性。     

基于WiFi探针数据的城市出行轨迹提取

为了更便捷地提取城市居民的出行轨迹,从而分析个体的日常空间行为,进而为城市管理的各项措施决策提供数据支撑,本文提出基于WiFi探针数据的城市出行轨迹提取方法,主要解决WiFi探针数据的路网匹配及丢失轨迹重构问题。首先,通过对终端MAC码和时间戳进行多列排序后提取出轨迹记录序列,利用信号强度RSSI值为每条记录提取坐落在路网上的候选点集。其次,设计基于局部评价的算法,对于每一个候选点,利用其前后相邻的几条记录提取的候选点集与其之间的时空关系,先后对其进行时间一致性评价和空间一致性评价,再结合以时间反比动态构建的权函数,得到最终评分;然后将每个候选点集中评分最高的点作为最佳匹配点,至此完成轨迹记录的路网匹配。最后,先采用基于深度优先的路径搜索算法搜索出丢失轨迹上下点之间的所有可行路径,再基于TOPSIS法决策出最优的重构路径。本文以东莞市市中心区域收集的WiFi探针数据为实验数据进行测试,平均每日可提取6万多条轨迹,与其中获取的GPS数据相比较验证了方法的可行性,为城市出行轨迹挖掘提供了新的解决方案。     

利用导航大数据挖掘城市热点区域关联性

导航大数据是大量与导航相关且具有泛在导航、定位、授时特征的数据集合。城市环境的特性影响居民的出行活动,而居民出行活动中产生的导航大数据则蕴含了城市环境的时空信息。热点区域空间分布以及热点区域之间的关联性特征是城市环境时空特性的重要组成部分,由客观的环境现状和主观的人为活动造成。通过挖掘导航大数据可以揭示这些特征。本文提出了利用导航大数据的城市热点区域关联性挖掘方法。首先,通过对居民出行的起点和终点坐标进行空间聚类,挖掘城市中的热点区域,并依据点的分布特点对城市热点区域进行离散化;然后,利用基于谱聚类和蚁群算法的方法分析居民出行特征,揭示城市中热点区域之间存在的关联性。本文提出的方法能够充分利用导航大数据对城市动态的感知能力。以上海市2007年2月20日的出租车轨迹数据为例进行分析,结果表明：利用导航大数据分析城市热点区域之间的关联性,可以得到具有紧密关联性的热点区域的空间分布特征;上海市居民出行活动频繁的热点区域被划分为15个内部紧密关联的子图,形成该分布特征的内在机制以及居民流通规律与上海市的土地资源利用及道路交通建设现状密切相关。分析方法和结果可为合理的城市功能区域规划,智慧城市建设等提供决策支持和参考信息。     

基于众包的古琴名人时空信息采集与移动轨迹时空分析

古琴是中华民族的古老乐器,知名的古琴名人流传至今,但是由于古代历史书籍匮乏、记录不完整性以及古今地名歧义性等原因,导致无法收集完整的古琴名人移动轨迹数据。本文基于众包思想,构建基于WebGIS的古琴名人时空信息采集系统,着重解决古琴名人轨迹数据库和知识数据库的构建。基于众包数据,古琴名人时空信息采集系统对古琴名人轨迹进行可视化查询,动态展示古琴名人的二维与三维轨迹,并结合古琴知识图谱,实现古琴名人相关信息的智能化查询。古琴名人轨迹点时空核密度分析结果显示古琴名人移动轨迹与中国历史人口迁移趋势一致,且古琴名人倾向于停留在具有浓厚文化气息的历史名城与山水之地,从而有利于古琴文化的传承与发展。本文所采用的方法不仅可用于古琴名人,同样适用于其他历史名人或移动物体的轨迹采集。