基于自适应时序剖分与KNN的短时交通流量预测

在智能交通系统中,准确和高效的短时交通流量预测是交通诱导、管理和控制的前提。由于交通流量动态变化中表现出的时变性和非平稳性特征,其预测难度较大,是交通领域中亟待解决的难题。为提高短时交通流量的预测精度,本文设计与实现了基于自适应时序剖分与KNN（A-TS-KNN）的短时交通流量预测算法。① 基于动态时间规整（Dynamic Time Warping,DTW）动态剖分单日时序为不同的交通模式;② 在不同交通模式,采用互信息法求解每个预测时刻时间延迟的最大阈值,构造不同时间延迟的状态向量,生成交通流量历史数据库;③ 采用十次十折交叉验证的方法求解每个时刻不同时间延迟与不同K值的正交误差结果分布,提取误差最小的正交结果,得到自适应时间延迟与K值的参数组合;④ 采用K个最相似的近邻的距离倒数加权值作为预测结果。对比K近邻（K-nearest neighbors, KNN）、支持向量回归（Support vector regression,SVR）、长短期记忆神经网络（Long-short term memory neural network,LSTM）以及门控递归单元神经网络（Gate recurrent unit neural network,GRU）共4种主流预测模型,A-TS-KNN算法预测精度显著提升;将A-TS-KNN算法用于福州市城市路网中其他交叉路口的短时交通流量预测,结果表现出良好的泛化能力。     

基于DCT-PLS算法的MODIS LST缺值填补方法研究

受云层、传感器误差等因素影响,中分辨率成像光谱仪（MODIS）获取的地表温度产品（LST）在时间和空间上存在大量缺失数据,严重影响了基于时间序列数据的分析与应用。本文引进一种基于离散余弦变换与惩罚最小二乘的多维数据快速平滑方法（DCT-PLS）,利用数据集自身的时间和空间信息填补缺值。本文在粤港澳大湾区开展实证研究,将DCT-PLS算法用于填补该地区2001年1月—2017年12月的月值MODIS LST数据缺值,并引入人工模拟缺值对算法进行误差分析与精度验证。算法误差分析结果表明,填补误差主要来源于三维算法对数据集中有偏LST时间信息的使用,并因此产生显著高估或低估的填补结果。基于此,本文提出了利用MODIS LST数据集自身时间序列信息自动计算获取有效辅助LST信息的优化策略,从而实现填补算法计算效率和精度的提升：平均计算时间从12.0 s提高至1.7 s,平均R从0.94提高至0.97,平均RMSE从1.94 K提高至0.74 K（相较于三维算法）。在大湾区的填补结果表明（日间结果：R=0.98、RMSE=0.79 K;夜间结果：R=0.99、RMSE=0.56 K）,优化后的DCT-PLS算法可以快速鲁棒地填补MODIS LST月值数据产品中的缺值,并且具有稳定性强、不依赖外部数据集的计算特性,能够适应长时间序列MODIS LST缺值填补。     

基于Item2Vec负采样优化的专题地图产品个性化推荐方法研究

建立适用于专题地图产品检索的用户偏好推荐模型是提高专题地图质量的有效方式之一,在专题地图产品推荐场景中,存在严重的内容冷启动和评论数据稀疏问题,现有的推荐算法无法为特定类用户推荐不同特征的专题地图产品,导致用户从专题地图中获取偏好信息受到限制。因此,本文构建基于负采样的连续词袋模型和基于Word2Vec的Item2Vec相结合的用户偏好推荐方法,用于专题地图产品推荐。① 计算用户行为日志文件中交互行为数据的隐性评分,以代替专题地图推荐信息流场景中稀疏的用户评论数据;② 基于负采样的连续词袋模型提取目标专题地图的前后地图序列感知特征信息,通过控制正负样本比例为1:2,提升目标专题地图潜在评分的预测精度;③ 通过Item2Vec将带有用户行为特征信息的专题地图映射到向量空间,计算用户对专题地图的相似度矩阵,根据用户偏好程度完成推荐。在构建的专题地图评分实验数据集Thematic CMaps和4个公开验证数据集MovieLens上的测试结果表明:与LFM、Personal Rank、Content Based和SVD 4种传统推荐算法相比,本文所提方法可有效提高潜在评分的预测精度,推荐性能最高达到27.85%;与以霍夫曼采样方式的Item2Vec基础方法和YouTubeNet 2种神经网络推荐算法相比,评分预测精度有一定提高,且推荐性能不断提升,最高达到2.97%和5.78%。以经典算法奇异值分解（SVD）为例,将MovieLens-20M数据集切分后,在数据量不断增大的数据子集中,本文所用方法的评分预测精度和性能均优于SVD方法。     

基于注意力机制的城市轨道交通网络级多步短时客流时空综合预测模型

准确、可靠的短时客流预测可为城市轨道交通提供运营决策支持。本研究以基于Transformer机制的LSTM网络、深度注意力模块和CNN网络为基础,提出了城市轨道交通网络级多步短时客流预测模型（STIPM）。该预测模型由3个分支组成,分支一以时间序列进站客流为输入,提出了基于Transformer机制的LSTM网络提取该数据中的时间相关性;分支二以基于时间步的OD数据为输入,提出了深度注意力模块挖掘数据中大量的时间、空间相关性,利用基于时间步的OD数据能够更好地展现站间联系紧密程度和全局信息,从而完成了拓扑网络信息提取;分支三的输入为POI数据,使用CNN网络获取其时空相关性,并作为时间与空间特征之间的纽带。为了保证在预测精度足够高的条件下,获得更长的预测时间和更详细的预测信息,本文采用“神经网络多输出”策略,完成了多步预测任务。本文在2个大规模城市轨道交通真实数据集中对该模型进行测试,并将预测结果与10个基准模型和4个消融实验模型进行对比,在RMSE、MAE与WMAPE评估指标中,STIPM模型均得到最高的预测精度,结果表明该模型具有一定的优越性与鲁棒性。     

面实体匹配的集成学习CatBoost方法

现有的面实体多指标几何匹配方法在计算综合相似度和确定最终匹配实体时面临着指标权重和阈值难以科学量化的难题,集成学习算法通过构建并结合多个机器学习器来完成学习任务,在解决分类问题时体现出了较为明显的性能优势。为此,本文提出了一种基于集成学习算法CatBoost的面实体匹配方法,将匹配问题转化为分类问题。选取形状、面积、方向和位置4个几何特征作为模型分类特征;利用过采样与欠采样相结合的混合重采样技术减轻原始训练样本的类别不平衡度;借助贝叶斯优化算法确定CatBoost模型的最优超参数;引入可解释人工智能领域的SHAP解释框架从全局和局部两个角度解释各输入特征对匹配结果的影响。在青藏高原的面状湖泊数据上对本文提出的方法进行了验证,实验结果表明：对模型预测影响最大的特征是位置,然后依次是面积、形状,影响最小的特征是方向。CatBoost匹配方法在实验数据集上的查准率、查全率和F1-score分别达到0.9937、0.9753和0.9844,相比于直接使用样本不均衡的原始样本进行模型训练,分别提高了约5.8%、0.6%和3.3%。与传统的面实体多指标双向匹配方法和逻辑回归、K近邻、决策树、神经网络等常规机器学习分类算法相比,集成学习算法CatBoost性能表现更加优异,在避免指标权重和阈值设置难题的同时取得了较好的匹配结果。     

基于深度学习的钨钼找矿靶区预测方法研究

随着矿产勘查工作由浅部矿向深部隐伏矿、由易识别矿向难识别矿发展,找矿难度日益增大,地质专家越来越重视新理论、新方法、新技术的应用。深度学习作为人工智能的前沿领域/技术,对于实现矿产资源预测“智能化预测评价”具有得天独厚的优势。本文以陕西省镇安县西部钨钼矿集区单元素化探异常原始数据为基础,提出了基于深度学习的钨钼矿产评价方法。该方法以归一化地球化学数据作为模型训练数据,通过深度学习中深度自编码网络方法实现异常值提取进而识别重点成矿有利地段,实现矿产资源找矿远景区定性预测。研究结果表明,在对957条单元素化探异常原始数据分类且做好模型标签后,整个过程在计算机的“黑盒子”中自动完成学习和预测,相较于传统预测研究方法,本文方法具有自动化程度高和客观性强的特征。此外,本文利用已知矿点构建训练数据集,采用随机森林方法对预测区进行矿产资源找矿靶区预测圈定,为进一步缩小找矿靶区范围提供科学依据。     

利用MapReduce的异常轨迹检测并行算法

异常轨迹检测是移动对象数据挖掘的一个重要研究领域。TRAOD(TRAjectory Outlier Dectection Algorithm)算法是一种经典的异常轨迹检测算法,但它对于海量轨迹数据的异常检测效率低。为提高海量轨迹数据集的异常检测效率,本文提出了一种利用MapReduce 的异常轨迹检测并行算法(Parallel algorithm for TRAjectory Outlier Detection, PTRAOD),并在此基础上提出了网格索引的异常轨迹检测并行算法(Grid-based Parallel algorithmfor TRAjectory Outlier Dectection, GPTRAOD)。GPTRAOD算法在PTRAOD算法的基础上,利用网格索引实现区域查询,进一步提高算法效率。将PTRAOD算法和GPTRAOD算法在Hadoop 平台上加以实现,结果表明:本文提出的2 个并行检测算法,能实现异常轨迹的检测;GPTRAOD算法的效率优于PTRAOD算法;GPTRAOD算法具有较高的可扩展性和较好的加速比。     

基于LDA和优化蚁群的OD流向时空语义聚类算法

针对OD流向聚类中语义信息考虑不足和流向语义提取困难的问题,本文提出了一种基于隐含狄利克雷分布模型（Latent Dirichlet Allocation,LDA）和优化蚁群的OD流向语义聚类算法。算法首先以流向终点的POI类别为词汇构建流向文档,采用LDA主题模型提取流向语义,量化OD流向间的语义相似度,融合时间、空间和语义相似度构建流向时空语义相似度;接着以流向为节点,以流向时空语义相似度为边构建流向图,利用高斯函数映射以及图连通分量,剔除不相似的流向,实现数据精简;之后借鉴了密度峰值聚类算法思想,利用节点的介数中心性优化蚁群初始位置选取;最后基于多路切图准则（Multiway Normalized Cut, MNCUT）强化蚁群搜索的目的性,优化蚁群搜索的聚类效果,实现OD流向的时空语义聚类。以厦门市出租车公开数据集与厦门市高德地图POI数据为例进行分析与验证,结果表明本文基于LDA模型的语义提取方法可以有效提取流向的语义信息,构建有效的流向相似度度量;基于高斯函数和图连通分量特性的映射策略可以有效剔除了流向数据中的噪音,有效节省无向图构建的计算开支,大约节省了88.5%~88.8%的运行时间;基于介数中心性和多路切图准则优化的蚁群搜索聚类算法,可以有效进行流向语义聚类。相比已有方法本文方法能够更好地衡量流向间的语义相似程度,可实现按主题进行聚类划分,划分更加精细,更方便有效地进行流向语义的相关分析。     

自动预测通勤高峰期交通流量的方法

通勤高峰期的交通拥堵在中国很多城市越来越严重。通勤高峰期城市道路交通流量的准确预测是缓解交通拥堵和建设智能交通的关键基础问题之一。针对现有道路交通流量主要依靠ORIGIN-DESTINATION调查法,成本高、效率低且结果准确性有限等难题,本文提出一种低成本高效率的方法。综合利用全市域范围内的交通、社保、参保、人口等数字城市数据,依据交通工具的服务半径和出行距离,将居民的出行方式归结为步行、公汽、轨道交通和自驾4种类型,利用轨道交通优先原则和最短路径算法分析统计私家车出行数量和轨道交通人流量,并在此基础上预测通勤高峰期内的道路交通流量。以武汉市典型数据为例,证明了该方法的有效性和可靠性。     

顾及单木三维形态的无人机立体影像单木识别算法

单木参数对当前的森林资源管理、生态研究以及生物多样性保护等具有重要意义。无人机立体影像数据与单木识别算法为单木参数的低成本、自动化获取提供了基础。现有研究表明,常用的基于局部最大值搜索的单木识别算法面对密集林分时存在严重的漏识别问题,影响了参数提取的精度,因此本文提出了顾及单木三维形态的无人机立体影像单木识别新算法。算法首先综合利用无人机立体影像的高程与RGB光谱信息,通过随机森林分类进行林冠区的提取;然后利用形态学的多层腐蚀、膨胀与连通区标记进行树冠相连单木的分离与树冠中心点的提取,从而实现单木自动化识别。本文选取内蒙古大兴安岭林区和四川王朗林区的4块样地进行验证,以目视解译数据为参考,分别与基于高程值的局部最大值搜索算法（算法A）、基于RGB光谱亮度值的局部最大值搜索算法（算法B）进行比较。结果显示：本文提出的算法在4个样地的平均F1-score为94.17%,与算法A和算法B相比分别提高了15.85%和9.37%;而对于密集样地,本文提出的算法在查全率上相比算法A和算法B分别提高51.79%和35.64%。结果表明本文提出的算法在不同林区均能够实现较好的单木识别效果,特别是能够有效避免密集林分下的漏识别问题,为基于无人机立体影像的单木识别研究提供了一种新的思路。     

基于厦门港的海上交通事故地理空间分布及风险预测研究

利用海上交通事故空间分布特征进行安全分析是海上交通安全管理的重要组成部分。本文使用厦门港2008—2020年的海上交通事故数据,经过事故数据空间分布特征提取、分析及预测等流程,最终得到厦门水域海上交通事故潜在危险区域。本文首先使用原始事故数据在GIS软件中进行空间定位,形成事故点的可视化空间分布图,然后使用核密度分析法鉴别海上交通事故多发区域,再利用空间自相关分析法,得到该区域事故空间的分布特征和具体的聚集点,最后使用该分布特征、对目标水域数据进行标准化网格切分,并利用机器学习算法对潜在事故风险区域进行预测。本文在核密度分析结果中发现：就事故频度而言,厦门湾和西海域交通事故频度较高。在空间自相关分析的结果中表明：就空间分布特征而言,厦门港的空间分布出现聚集特征且为空间正相关模式,且就事故具体的空间聚集点而言,厦门湾和西海域仍是事故高发的中心区域。而最后的厦门湾及周边水域风险预测模型显示：潜在事故风险区域多位于沿海和河口交汇区域。本文研究结果表明在基于地理空间数据分布特征提取和网格化分析的基础上,结合机器学习方法（随机森林）,对于海上交通事故的预测具有良好的效果。     

GPU加速的改进PAM聚类算法研究与应用

空间聚类是空间数据挖掘的重要方法,而K-Medoids是一种常用的空间聚类算法。K-Medoids聚类算法存在初始点选择问题,而且计算复杂。为了提高算法的有效性和时间效率,本文结合模拟退火算法思想,改进了传统的K-Medoids算法PAM,提出一种基于GPU计算的并行模拟退火PAM算法。类比矩阵乘法运算,定义了一种新的矩阵计算方法,可以有效减少数据在GPU全局内存和共享内存之间的传输,提高了算法在GPU中的执行效率。利用模拟退火算法搜索聚类中心点,保证了聚类结果的全局最优性。基于不同的数据集,将串行和并行模拟退火PAM算法以及已有的遗传PAM算法进行比较,结果表明并行模拟退火PAM算法聚类结果正确,且时间效率高。最后,应用本文改进算法对贵州省安监系统的安全监管隐患数据进行聚类分析,发现了隐患聚集中心,相关结果对政府的决策具有一定的实际应用价值。     

基于DBI和稀疏轨迹数据的交通状态精细划分与识别

浮动车轨迹数据已逐渐成为城市交通状态识别的主要数据源之一,但是现有基于浮动车轨迹数据的交通状态识别中多数是应用高精度或是多源轨迹数据。针对稀疏轨迹数据在城市交通状态识别中存在识别精度不高的问题,本文提出一种结合戴维森堡丁指数（DBI）和轨迹相似性度量的动态交通状态划分方法。首先,对轨迹数据和路网数据进行预处理并且建立不同时间片的路段轨迹集合;接着,依据轨迹速度-空间相似性,利用戴维森堡丁指数动态地扩展轨迹的空间维度,并根据轨迹相似性度量方法构建最佳车辆队列;然后,将前后不同的车辆队列进行二次处理,连接组成交通流簇;最后,基于模糊C均值聚类方法将交通流进行划分,实现路段交通状态的识别。采用厦门市厦禾路、湖滨西路和湖滨南路交叉路段上的真实出租车轨迹数据进行测试,结果表明,本文所提方法保证了车辆队列速度分布与原始轨迹速度分布基本一致,相比对比方法Kmeans++和ST-DBSCAN,本文方法均方根误差平均下降了18.77%和21.22%,并且在不同的实验路段表现更加稳定,可有效、可靠地运用稀疏轨迹数据识别城市交通状态,进而实现城市交通状态的精细分析。     

匿名集序列规则与转移概率矩阵的空间预测和实验

随着位置服务（Location Based Service,LBS）的广泛应用,隐私保护成为LBS进一步深入发展亟待解决的问题,时空K-匿名成为一个主流方向。LBS应用服务器存储用户执行连续查询生成的历史匿名数据集,分析大时空尺度历史的匿名数据集,空间预测可以实现LBS应用的个性化服务。本文提出了一种融合概率统计与数据挖掘2种典型技术——马尔科夫链与序列规则,对匿名数据集中包含的特定空间区域进行预测的方法。方法包括4个过程：（1）分析序列规则、马尔科夫过程进行预测的特点;（2）以匿名数据集序列规则的均一化置信度为初始转移概率,构建n步转移概率矩阵;（3）设计以n步转移概率矩阵进行概略空间预测的方法,以及改进的指定精确路径的空间预测方法;（4）实验验证方法的性能。结果证明,该方法具有模型结构建立速度快、精确空间预测概率与真实概率的近似度可灵活调节等优点,具有可用性。     

适于城市交通时序空间数据预测的层叠泛化模型

受地理过程的动态随机性影响,时序空间数据建模普遍存在先验知识缺乏与模型参数设置问题,导致单一模型难以有效地反映地理系统的整体运行状态。本文提出了一个普适性的集成学习框架,设计了基于异态集成学习的层叠泛化模型,按照组合模型最大化减小原始预测误差原则改进了层叠泛化模型平均输出的混合策略,并基于error-ambiguity decomposition对提出的层叠泛化模型的有效性进行了数学证明。基于北京市交通路网通行状态数据的实验结果表明,层叠泛化模型的均方根误差与平均绝对误差均小于单一模型;平均绝对误差方差均小于基于数理统计的混合模型,验证了层叠泛化模型在时序空间数据预测方面的优越性。     

基于混沌加权一阶局域法的IGS超快星历钟差预报

为提高IGS超快星历钟差预报产品的精度,针对卫星钟差数据具有确定项和随机项成分的特点,在采用多项式模型对钟差确定项建模的基础上,提出采用混沌加权一阶局域法对钟差随机项进行建模预报。仿真结果表明,采用混沌加权一阶局域法的预报精度优于超快星历钟差预报产品。     

顾及地理-语义动态的城市热点预测框架

城市热点时空预测是城市管理和智慧城市建设的一项长期而富有挑战性的任务。准确地进行城市热点时空预测可以提高城市规划、调度和安全保障能力并降低资源消耗。现有的区域级深度时空预测方法主要利用基于地理网格的图像、给定的网络结构或额外的数据来获取时空动态。通过从原始数据中挖掘出潜在的自语义信息,并将其与基于地理空间的网格图像融合,也可以提高时空预测的性能,基于此,本文提出了一种新的深度学习方法地理语义集成神经网络(GSEN),将地理预测神经网络和语义预测神经网络相叠加。GSEN模型综合了预测递归神经网络（PredRNN）、图卷积预测递归神经网络（GC-PredRNN）和集成层的结构,从不同的角度捕捉时空动态。并且该模型还可以与现实世界中一些潜在的高层动态进行关联,而不需要任何额外的数据。最终在3个不同领域的实际数据集上对本文提出的模型进行了评估,均取得了很好的预测效果,实验结果表明GSEN模型在不同城市热点时空预测任务中的推广性和有效性,利用该模型可以更好地进行城市热点时空预测,解决一系列如犯罪、火灾、网约车预订等等现代城市发展中亟需解决的相关问题。     

arcPycor: an open-source automated GIS tool to co-register elevation datasets

Subtraction of elevation datasets(e.g. digital elevation models(DEMs) and non-continuous elevation points) acquired at different times is a useful method to monitor landform surface change. Due to heavy post-processing of these elevation datasets, multi-source errors are introduced into the resulting elevation data products. To improve the estimation of elevation change, co-registration of elevation datasets is a prerequisite. This paper presents an open-source automated GIS tool(arc Pycor) for co-registering elevation datasets. arc Pycor is coded in Python 2.7 and is run via Arc GIS for Desktop. The performances of arc Pycor have been evaluated using a series of experiments. In benchmark tests, the resolved co-registration vectors of arc Pycor are compared to the predefined shift vectors obtained by artificially misaligning the slave DEMs from the master elevation datasets. Results show that arc Pycor is able to co-register DEMs with relative high accuracy and can well align slave DEMs to non-continuous elevation points, which indicates its robustness in co-registering of elevation datasets. arc Pycor is also able to co-register multi-sourced DEMs of different resolutions in mountain areas.     

基于拓扑与形态特征的城市道路交通状态空间自相关分析

城市道路交通状态具有空间自相关特征。某一道路交通状态的变化会对其周边道路产生影响,故把握道路交通状态的空间自相关性是提高交通规划、交通预测水平的基础。然而,城市道路交通状态又具有空间异质性,即道路交通状态的影响扩散并非各向同性,其使得道路交通状态空间自相关性的度量更为复杂,因此仅从地理空间下道路之间的邻近关系出发进行分析有失偏颇。同时,城市道路具有拓扑结构特征和几何形态特征,二者对于交通状态自相关性的影响和制约,却未引起足够重视。本文从城市道路的拓扑结构特征和几何形态特征出发,提出了一种新的交通状态空间自相关路段识别规则,即基于交通状态变化的路段空间识别规则,通过拓扑社区发现方法刻画路段在空间上的聚集特征,同时,基于Stroke跟踪的几何形态概化来描述道路交通状态变化影响的空间异质性。结果表明,利用本文提出的识别规则产生的交通状态自相关路段集合,较仅考虑地理空间邻近或拓扑结构的识别规则更为合理,更好地揭示了城市道路交通状态的空间自相关特征。