基于停留区域识别的子轨迹异常检测方法

对轨迹数据进行分析和处理能够揭示移动对象的运动规律并挖掘出与其相关的隐含信息，移动对象的不规律或异常运动产生了异常轨迹数据，异常数据的出现往往意味着有特殊情况发生，隐含着更有意义的信息，快速、准确地检测异常轨迹能够服务于交通分析及事故检测等具体应用领域。针对传统轨迹异常检测方法没有充分考虑轨迹局部异常的问题，该文提出一种基于停留区域识别的子轨迹异常检测方法：(1)设计了一种基于密度的停留点检测算法检测轨迹集的停留点，通过寻找核心点以建立初始簇，使用核心点邻域内的点扩展当前簇，并根据簇内的时间间隔是否满足时间条件，从而检测出停留点；(2)根据停留点集合识别停留区域，将任意2个停留区域作为一对起点和终点区域后对轨迹进行分段；(3)根据分段后子轨迹的起点区域和终点区域对子轨迹集进行分组；(4)针对每个分组内的子轨迹，设计子轨迹异常检测算法检测异常空间子轨迹和异常时空子轨迹。在真实轨迹数据集上与传统异常检测方法进行对比，实验结果表明本文所提方法能有效地检测出异常子轨迹，并且运行时间明显低于TRAOD方法，检测准确率比TRAOD方法最高提升了23.9%;F₁分数值相较于AT...     

利用MapReduce的异常轨迹检测并行算法

异常轨迹检测是移动对象数据挖掘的一个重要研究领域。TRAOD(TRAjectory Outlier Dectection Algorithm)算法是一种经典的异常轨迹检测算法,但它对于海量轨迹数据的异常检测效率低。为提高海量轨迹数据集的异常检测效率,本文提出了一种利用MapReduce 的异常轨迹检测并行算法(Parallel algorithm for TRAjectory Outlier Detection, PTRAOD),并在此基础上提出了网格索引的异常轨迹检测并行算法(Grid-based Parallel algorithmfor TRAjectory Outlier Dectection, GPTRAOD)。GPTRAOD算法在PTRAOD算法的基础上,利用网格索引实现区域查询,进一步提高算法效率。将PTRAOD算法和GPTRAOD算法在Hadoop 平台上加以实现,结果表明:本文提出的2 个并行检测算法,能实现异常轨迹的检测;GPTRAOD算法的效率优于PTRAOD算法;GPTRAOD算法具有较高的可扩展性和较好的加速比。     

基于贝叶斯优化机器学习超参数的滑坡易发性评价

利用机器学习模型进行滑坡易发性评价时,不同的超参数设置往往会导致评价结果的不同。采用贝叶斯算法对4种常见机器学习模型(逻辑回归LR、支持向量机SVM、人工神经网络ANN和随机森林RF)的超参数进行了优化,探索了该算法对滑坡易发性机器学习模型的优化效果。以湘中地区4县(安化县、新华县、桃江县和桃源县)滑坡易发性评价为例说明该算法的可行性与适用性。基于滑坡历史编录,确定研究区内1 017个滑坡点,并选定15个滑坡影响因子,以此构建滑坡易发性模型的训练集和测试集。利用贝叶斯优化算法对4种机器学习模型的主要超参数进行了优化,依据优化后的超参数建立了4种优化模型,并使用AUC值等指标来比较其预测能力。结果表明：经超参数优化后的4种机器学习模型预测性能均有所提高,且基于贝叶斯优化的随机森林模型表现最好。     

重力异常模型的建立和精度分析

利用范围约3 000 km2的华南某半山地半丘陵地区的269个重力点实测数据,选取不同的模型类型、建模算法和分辨率等方案分别建模,并比较其模型精度;最后利用3 km分辨率实测数据,采用直接建模的方法建立了该地区的布格重力异常模型,经过外符合精度检验,其精度为1.7 mGal。     

Kalman 滤波几种异常检验法

为了检测动态导航观测异常和动力学模型异常,采用预测残差构造观测误差和动力学模型误差整体检验法,对观测异常可分别采用以模型为准的观测异常检验、以当前历元可靠观测为基准的异常检验或以Kalman滤波估值为基础的异常检验的方法;对于动力学模型异常检验,可以分别采用状态不符值检验法、以状态参数Kalman滤波估值为基础的动力学模型异常检验或以可靠观测为基础的动力学模型误差整体检验的方法.分析了以上几种检验方法的特点,并用实测数据进行了检验.结果表明:在观测异常或动力学模型异常处,异常检验对导航数据精度有一定程度地提高.     

基于相似数据聚合与变K值KNN的短时交通流量预测

短时交通流量预测是交通控制和诱导涉及的关键技术问题,由于短时交通流量存在不确定性和时变性,其预测难度较大,是相关研究领域与工程实践中亟待解决的难题。为提高短时交通流量预测的准确性,本文设计与实现了基于相似数据聚合和变K值KNN(KNN-SDA)的短时交通流量预测算法。该算法首先采用互信息法在经过预处理的交通流量数据集提取交通流量序列最佳延迟时间信息,生成状态向量,并构建交通流量历史数据库;然后以本文所提出的相似数据聚合方法完成历史数据的聚合与清洗得到训练数据集;最后通过交叉验证确定每个时刻的最优K近邻数,完成算法实现。实验结果表明,本文提出的变K值KNN-SDA算法在保证执行效率的同时能明显提高短时交通流量的预测精度。     

基于MVO优化神经网络的GNSS高程异常拟合方法

针对普通神经网络的梯度消失和易陷入局部极值的问题,提出一种基于多元宇宙优化算法(multi-verse optimizer, MVO)的BP神经网络优化方法(MVO-BP),利用MVO全局寻优的特性求取BP神经网络各层之间可靠的神经元阈值与连接权,从而使神经网络预测模型具备更高的预测精度。建立基于MVO-BP算法的GNSS高程异常拟合预测模型,并采用实际工程中少量高程异常数据进行算法可行性检验。结果表明,相较于常规的BP神经网络法及多面函数法,MVO-BP法精度更高、适用性更强,可为实际工程测量中正常高的求取提供参考。     

一种基于人工免疫网络聚类的入侵检测方法

提出了一种基于自适应半径免疫算法(ARIA)的入侵检测方法.ARIA训练得到的抗体网络充分保留了原始数据的密度分布信息,具有准确的空间形态;再用最小生成树算法和zahn划分标准对抗体网络细胞聚类,聚类得到的簇被标记为正常或异常并用于网络异常检测中.对KDD CUP 99数据集的实验结果表明:相对于基于aiNet的入侵检测方法,新的算法检测率高、误报率低,能够有效识别KDD中的已知攻击和未知攻击.     

基于DIA的GNSS坐标时间序列异常值探测

为解决GNSS坐标时间序列中存在异常值导致地壳形变分析受到影响的问题,首先将经典数据探测法DIA(detection, identification, adaptation)引入GNSS坐标时间序列分析中,基于谐波模型构造相应的统计量;然后采用计算效率更高的改进DIA算法进行异常值探测;最后采用模拟数据和中国大陆地壳运动观测网络(陆态网络)CMONOC实测数据对DIA算法和传统3σ法进行比较。结果表明,DIA算法能够有效探测出GNSS坐标时间序列中的异常值,准确率高于传统3σ法。相较于传统DIA算法,改进后的DIA算法计算效率显著提高。     

基于广义高斯模型的机载测深LiDAR波形拟合算法

针对传统LiDAR测深波形拟合算法受噪声干扰严重、对微弱回波信号及复杂波形拟合不准确的问题,提出一种基于广义高斯模型的波形拟合算法。首先通过计算滤波前后尾段波形的差异估计波形的噪声;然后利用广义高斯模型提取海面与海底反射信号分量,并对剩余信号进行迭代拟合;最后利用LM算法对参数进行优化,并对优化后的参数进行约束,避免冗余分量。采用南海实测数据进行验证,该算法拟合微弱回波及复杂波形能力强,不论在浅水(回波发生叠加)还是深水,其拟合精度均优于传统算法,具有良好的鲁棒性。     

基于非开挖随钻检测系统与随机森林的地层岩性识别

通过自主研发设计的非开挖随钻检测系统,采集非开挖钻进参数,进行非开挖钻进实时地层岩性识别,为非开挖施工提供安全信息保证。针对非开挖工程工勘资料缺乏,掘进地层岩性难以判断的问题,提出了一种基于非开挖随钻检测系统实时采集数据,利用随机森林算法建立地层识别模型,通过模型去识别未知地层,并将识别结果可视化展示。通过非开挖随钻检测系统在工程现场的实际应用,获得了包括钻速、扭矩、转速、拉力、泵压、泵量等钻进敏感参数作为训练样本,利用随机森林算法对采集的钻进参数进行训练,构造决策树与随机森林,对钻进参数进行分类,建立了以典型非开挖地层岩性分类为目标的分类模型,分别确定了杂填土、黏土、粉细砂、砾石和淤泥的地层分类标签。进一步,基于机器学习的分类结果,利用PCA主成分分析将地层识别特征降维至三维,实现了地层岩性识别结果的三维展示。将预测模型应用于实际工程,以验证其有效性。结果表明,该方法能在非开挖实时钻进条件下快速识别钻进地层,识别正确率高达92%。该研究成果通过采集导向随钻参数,识别非开挖掘进段地层岩性,为非开挖扩孔阶段钻具选型、泥浆设计等提供了重要信息。      

基于滑动窗口的手机定位数据个体停留区域识别算法

手机的普及使手机定位数据成为分析个体时空行为特征的新兴重要数据源之一,并被逐渐应用到人口管理、城市规划、交通分析和流行病防控等众多领域的研究中。从手机定位数据中识别个体的停留区域是众多基于手机定位数据研究的重要基础环节。然而,当前常用的手机定位数据定位精度相对较低,且往往存在定位震荡和定位漂移导致的数据噪声,这些因素增加了从手机定位数据中识别停留区域的难度。为了提高从手机定位数据中识别个体停留区域的准确性,本研究结合个体行为的时空连续性,提出了一种基于滑动窗口的增长聚类算法。实验结果显示,相较常用的ST-DBSCAN算法和SMoT算法,对于采样时间间隔稀疏的手机定位数据,本研究提出的滑动窗口聚类算法在准确率方面的提升幅度最大可以达到35%。由于隐私问题,当前研究和应用中使用的大规模手机定位数据集中的时间分辨率往往较低,因此,本研究提出的滑动窗口聚类算法具有较为广泛的应用场景,可增强基于手机用户停留区域的众多研究结果的可靠性,为手机定位数据的广泛合理应用提供关键技术支撑。     

基于MST聚类的空间数据离群挖掘算法

空间离群是指空间邻域中属性特征值明显不同于其他对象的空间对象,空间数据离群挖掘能为人们提供很多有趣的信息,但空间数据具有复杂的拓扑关系、方位关系和度量关系等空间特征,传统的面向事务型数据库的离群挖掘算法并不适用于空间数据库。本文提出了基于MST(Minimum Spanning Tree,最小生成树)聚类的空间数据离群挖掘算法(SOM);有机结合了最小生成树理论与密度的方法,既体现了空间离群的局部特性,又体现了空间离群的孤立程度。该算法通过MST维护空间数据的基本空间结构特征,通过打断MST中最不一致的边形成MST聚类,不仅具有密度的聚类方法能够聚集非球状簇和分布不均的数据集的特点,而且聚类结果不依赖于用户参数的选择,因此,离群挖掘结果更合理。最后,通过实例数据,验证了该算法的有效性,它适用于大规模空间数据集的离群挖掘。     

基于非开挖泥浆性能检测系统与弱监督学习的地层岩性识别

针对非开挖工程工勘资料缺乏,掘进地层岩性难以判别的问题,提出一种基于非开挖泥浆性能检测与弱监督机器学习结合的典型非开挖地层岩性识别方法。结合自主设计研发的非开挖泥浆性能检测系统工程现场应用,获取非开挖掘进导向段泥浆流变性能参数和密度等敏感参数的训练样本。利用部分有标签数据与K近邻（K Nearest Neighbors,KNN）算法对所有泥浆参数训练样本进行特征标签,采用核函数映射到高维空间支持向量机（Support Vector Machines,SVM）进行分类处理,建立了以上海地区典型非开挖地层分类为目标的分类模型。将该地层识别模型应用于上海地区非开挖工程,验证其有效性。结果表明,该方法能在非开挖实时钻进条件下快速识别钻进地层,识别正确率高达96%。研究成果通过采集导向段泥浆性能参数,识别非开挖掘进段地层岩性,为非开挖扩孔阶段钻具选型、泥浆设计等提供了重要地质信息保障。      

一种灰度体素结构分割模型下的机载LiDAR 3D滤波算法

针对现有的基于机载LiDAR数据的滤波算法未能充分利用数据提供的所有信息及其所采用的数据结构表达复杂、存在信息损失等缺陷,提出了一种灰度体素结构分割模型下的机载LiDAR 3D滤波算法。算法首先以综合利用机载LiDAR数据的高程及强度信息为目的将点云数据规则化为灰度（体素内激光点的平均强度的离散化表示）体素结构,然后基于各体素间的空间连通性和灰度相似性准则,将灰度体素结构分割并标记为若干个3D连通区域,最后依据地面与其它目标的高差特性提取与其对应的3D连通区域。算法优势在于:基于体素结构设计,为3D滤波算法;综合利用了地面目标的几何及辐射特征,对比传统滤波算法可应用于更复杂的场景;滤波结果为3D地面体素形式,可直接用于创建地面3D模型。实验采用国际摄影测量与遥感协会（International Society for Photogrammetry and Remote Sensing, ISPRS）提供的不同密度的机载LiDAR基准测试数据测试了邻域尺度参数的敏感性及提出的算法的有效性,并和其他经典滤波算法做对比。定量评价的结果表明,51邻域为最佳空间邻域尺度;点云密度为0.67点/m²的数据集1的滤波平均完整率、正确率及质量分别为0.9611、0.9248及0.8934;点云密度为4点/m²的数据集2的滤波平均完整率、正确率及质量分别为0.8490、0.8531及0.7404;对比其全经典滤波算法本文算法在高密度点云数据滤波时表现更佳。     

Application of isolation forest to extract multivariate anomalies from geochemical exploration data

Constructing a statistical model that best fits the background is a key step in geochemical anomaly identification.But the model is hard to be constructed in situations where the sample population has unknown and/or complex distribution.Isolation forest is an outlier detection approach that explicitly isolates anomaly samples rather than models the population distribution.It can extract multivariate anomalies from huge-sized high-dimensional data with unknown population distribution.For this reason, we tentatively applied the method to identify multivariate anomalies from the stream sediment survey data of the Lalingzaohuo district, an area with a complex geological setting, in Qinghai Province in China.The performance of the isolation forest algorithm in anomaly identification was compared with that of a continuous restricted Boltzmann machine.The results show that the isolation forest model performs superiorly to the continuous restricted Boltzmann machine in multivariate anomaly identification in terms of receiver operating characteristic curve, area under the curve, and data-pro-cessing efficiency.The anomalies identified by the isolation forest model occupy 19％of the study area and con-tain 82％of the known mineral deposits, whereas the anomalies identified by the continuous restricted Boltz-mann machine occupy 35％of the study area and contain 88％ of the known mineral deposits.It takes 4.07 and 279.36 seconds respectively handling the dataset using the two models.Therefore, isolation forest is a use-ful anomaly detection method that can quickly extract multivariate anomalies from geochemical exploration data.     

多值体素连通区域构建下的机载LIDAR数据三维平面提取

针对现有的面向机载LIDAR数据的三维平面提取算法存在的基于离散激光点设计导致算法设计困难、仅利用几何特征的一致性导致的在平面平滑过渡区域易产生错误提取的问题,本文提出了一种多值体素连通区域构建下的机载LIDAR三维平面提取方法.该算法基于体素结构设计且综合利用了机载LIDAR数据的几何、激光反射强度信息,将传统的平面...     

顾及坡度和高程的多波束测深数据抽稀算法

海底地形数据是进行海洋科学研究、工程建设的重要数据源,水深信息作为海底地形数据的基础信息,反映了海底地形的起伏变化。因此,如何有效地处理水深数据成为海洋测绘的重点研究内容。为解决海量多波束测深数据的数据冗余问题,提出了一种顾及坡度和高程的多波束测深数据抽稀算法,能够兼顾数据抽稀的精度和地形特征点的保留。考虑到存在含有空洞、凹边界等局部空白区域的多波束测深数据,首先利用Alpha Shape算法提取测深数据局部空白区域的边界点;然后采用坡度和高程相结合的抽稀算法删除冗余点,得到抽稀结果。在实验区内,通过与基于坡度抽稀、顾及地形复杂度抽稀和基于系统抽稀算法进行对比实验,结果表明：(1)本文抽稀算法在测深数据局部空白区域生成的等深线较上述抽稀算法更贴近原始测深数据等深线的形态,可以有效保持地形形态完整性;(2)对不同地形的测深数据进行抽稀,本文算法的精度较上述抽稀算法均有不同程度的提升,尤其抽稀率较低时,本文算法较上述算法在MSE分别提升了16%、27%、14%和10%、36%、2%,RMSE分别提升了7%、12%、7%和5%、17%、3%,体现了本文算法对不同地形多波束测深数据抽稀的有效性...     

基于Item2Vec负采样优化的专题地图产品个性化推荐方法研究

建立适用于专题地图产品检索的用户偏好推荐模型是提高专题地图质量的有效方式之一,在专题地图产品推荐场景中,存在严重的内容冷启动和评论数据稀疏问题,现有的推荐算法无法为特定类用户推荐不同特征的专题地图产品,导致用户从专题地图中获取偏好信息受到限制。因此,本文构建基于负采样的连续词袋模型和基于Word2Vec的Item2Vec相结合的用户偏好推荐方法,用于专题地图产品推荐。① 计算用户行为日志文件中交互行为数据的隐性评分,以代替专题地图推荐信息流场景中稀疏的用户评论数据;② 基于负采样的连续词袋模型提取目标专题地图的前后地图序列感知特征信息,通过控制正负样本比例为1:2,提升目标专题地图潜在评分的预测精度;③ 通过Item2Vec将带有用户行为特征信息的专题地图映射到向量空间,计算用户对专题地图的相似度矩阵,根据用户偏好程度完成推荐。在构建的专题地图评分实验数据集Thematic CMaps和4个公开验证数据集MovieLens上的测试结果表明:与LFM、Personal Rank、Content Based和SVD 4种传统推荐算法相比,本文所提方法可有效提高潜在评分的预测精度,推荐性能最高达到27.85%;与以霍夫曼采样方式的Item2Vec基础方法和YouTubeNet 2种神经网络推荐算法相比,评分预测精度有一定提高,且推荐性能不断提升,最高达到2.97%和5.78%。以经典算法奇异值分解（SVD）为例,将MovieLens-20M数据集切分后,在数据量不断增大的数据子集中,本文所用方法的评分预测精度和性能均优于SVD方法。     

Response of fuzzy clustering on different threshold determination algorithms in spectral change vector analysis over Western Himalaya,India

Change detection is a standard tool to extract and analyze the earth's surface features from remotely sensed data. Among the different change detection techniques, change vector analysis(CVA) have an exceptional advantage of discriminating change in terms of change magnitude and vector direction from multispectral bands. The estimation of precise threshold is one of the most crucial task in CVA to separate the change pixels from unchanged pixels because overall assessment of change detection method is highly dependent on selected threshold value. In recent years, integration of fuzzy clustering and remotely sensed data have become appropriate and realistic choice for change detection applications. The novelty of the proposed model lies within use of fuzzy maximum likelihood classification(FMLC) as fuzzy clustering in CVA. The FMLC based CVA is implemented using diverse threshold determination algorithms such as double-window flexible pace search(DFPS), interactive trial and error(TE), and 3×3-pixel kernel window(PKW). Unlike existing CVA techniques, addition of fuzzy clustering in CVA permits each pixel to have multiple class categories and offers ease in threshold determination process. In present work, the comparative analysis has highlighted the performance of FMLC based CVA overimproved SCVA both in terms of accuracy assessment and operational complexity. Among all the examined threshold searching algorithms, FMLC based CVA using DFPS algorithm is found to be the most efficient method.