可视化空间聚类挖掘算法及系统实现

空间聚类与传统聚类方法的区别之一在于空间聚类是对空间实体的集群性进行分析,在聚类过程中需考虑模式在空间分布上的一种或几种结构特征,如模式间的远近关系、拓扑关系、方位关系、疏密关系等。然而,传统聚类算法大多忽略空间结构特征对聚类结果的影响。同时,传统数据挖掘过程往往是“黑箱”作业,用户不论感兴趣与否都只能被动地接受挖掘结果,而且结果往往是抽象的、不易理解的。本文对基于MST的可视化空间数据聚类挖掘算法进行了研究,利用Delaunav三角网和MST最小生成树使得地理实体的邻接度与其他属性数据一起参与了空间聚类处理,同时用J2EE技术开发可视化空间聚类挖掘工具,为此类应用系统的建立提供了一种实用的可行方案。     

基于C-SOM和Spark的并行空间离群挖掘方法及应用

空间离群挖掘可以发现空间数据集中非空间属性值与邻域中其他空间对象明显不同的空间对象。随着空间数据量的快速增加,传统集中式处理模式面临单机性能瓶颈、难以扩展等问题,已逐渐不能满足应用需要。因此,本文根据Spark并行计算框架,充分利用Spark快速内存计算和扩展性的优势,提出了一种基于考虑约束条件的空间离群挖掘算法（C-SOM）和Spark的并行空间离群挖掘算法和原型系统。该并行算法以C-SOM为核心,并行地在多个计算节点对全局数据集和各局部数据集执行C-SOM算法,得到全局离群和局部离群。轻量级的原型系统基于Spark实现了该并行算法,采用Browser/Server架构,提供给用户可视化的操作界面,简洁实用。最后,通过福建省东南沿海土壤化学元素调查数据和人工合成数据的离群分析,验证了该并行算法和原型系统的合理性、有效性和高效性。     

改进的最小生成树自适应空间点聚类算法

针对传统的最小生成树聚类算法存在使用全局不变阈值确定噪声边,聚类需要用户根据经验确定初始化聚类参数,如“边权值倍数容差”,“边长变化因子”等,聚类不能发现局部噪声的问题,本文提出了一种改进的最小生成树自适应空间点聚类算法。该算法在无需用户输入参数的前提下,克服主观因素的影响,根据最小生成树边长的数理统计特征定义裁剪因子。算法首先从宏观层面对最小生成树进行首轮删枝操作,消除全局环境下的噪声边,进而根据各子树的边长统计情况,自适应设定局部裁剪因子,进行第二轮删枝操作,消除局部环境下的噪声边。最后,采用1个模拟数据和1个实际应用验证算法的有效性,结果表明本文提出的改进算法在无需人为提供经验参数的环境下能够发现任意形状、不同密度的簇,能够准确的识别出空间点中的噪声数据,从而能够实现空间点数据背后隐藏信息的自动挖掘。     

浮动车轨迹数据聚类的有向密度方法

为了充分挖掘浮动车轨迹数据的潜在特性,本文在OPTICS空间密度聚类算法基础上,提出了一种有向密度的快速聚类方法(D-OPTICS)。该方法通过扇形空间邻域计算其有向密度信息,并基于方向信息约束其密度可连通性,通过有向可达距离曲线生成数据基本簇,最后,通过空间网格及类簇聚合等优化方法,实现其大规模浮动车轨迹数据的快速聚类处理。通过有向时空数据的聚类分析,发现浮动车轨迹的时空分布特性,以提取复杂路网的结构信息。本文以福州市大规模浮动车轨迹数据,对D-OPTICS进行了系统实验,分析表明,该算法可实现浮动车轨迹数据的快速有向密度聚类分析,有助于挖掘发现时空轨迹数据的分布规律,且基于聚类结果提取了福州市区复杂路网的有向拓扑结构图。同时,与DBSCAN及OPTICS等传统的密度聚类算法进行性能对比,实验表明,D-OPTICS算法能更好地支持大规模浮动车轨迹数据的处理要求。     

一种基于人工免疫网络聚类的入侵检测方法

提出了一种基于自适应半径免疫算法(ARIA)的入侵检测方法.ARIA训练得到的抗体网络充分保留了原始数据的密度分布信息,具有准确的空间形态;再用最小生成树算法和zahn划分标准对抗体网络细胞聚类,聚类得到的簇被标记为正常或异常并用于网络异常检测中.对KDD CUP 99数据集的实验结果表明:相对于基于aiNet的入侵检测方法,新的算法检测率高、误报率低,能够有效识别KDD中的已知攻击和未知攻击.     

空间聚类有效性评价方法对比与研究

空间聚类是当前地球信息科学与计算机科学领域共同关注的热点问题之一,常用来揭示空间数据分布规律以及发现空间数据异常。空间聚类有效性评价即对空间聚类结果进行定量、客观的评判,对于在实际应用中针对不同数据集选取最优的空间聚类算法以及确定最佳的聚类参数具有重要意义。首先选取并编程实现了数种空间聚类有效性评价方法,包括聚类中心的距离矩阵、距离方差、改进Hubert's统计、Davies-Bouldin、Calinski-Harabasz和基于信息论的空间聚类有效性评价方法等,同时提出了顾及簇间分离度和簇内紧凑度的空间聚类有效性评价方法,并通过试验分析验证了其可行性及有效性。然后在K-Means法对数据集进行聚类的基础上,对比研究了前述聚类有效性评价方法的特性及优缺点。     

网格环境下分布式空间离群挖掘体系的设计与应用

空间离群是指空间数据集中那些非空间属性值与邻域中其他空间对象明显不同的空间对象。空间数据一般按地理分布存储具有海量特性,传统的集中式处理模式不能满足海量数据处理的效率和空间数据本身的安全性等要求。因此,在研究小组开发的地理知识服务网格平台GeoKS-Grid的基础上,本文针对分布式空间离群挖掘,提出了一个基于网格的分布...     

融合多特征的轨迹数据自适应聚类方法

轨迹聚类是空间数据挖掘领域的一个研究热点，对城市交通规划、路网结构提取与更新等具有重要意义。轨迹聚类包括轨迹相似性度量和聚类参数设置2个核心问题。然而，由于轨迹的形态结构特征复杂，现有轨迹相似性度量指标存在对噪声敏感或未充分考虑轨迹运动方向一致性的问题，且大多数聚类算法仍需人为设置参数，聚类挖掘结果的质量受到用户主观经验的影响。针对上述问题，本文提出了一种融合多特征的移动轨迹自适应聚类方法。首先，通过融合轨迹的空间邻近性和运动方向特征定义了一种对噪声鲁棒的轨迹相似性度量指标—DSPD距离；在此基础上，通过扩展Ward层次聚类方法提出了一种基于中心轨迹概念的空间层次聚类算法，该算法使用DSPD距离作为相似性度量指标，利用聚类特征曲线自动确定最佳聚类参数。以11组模拟轨迹数据和武汉市真实轨迹数据为例进行实验与分析，结果表明，本文方法在顾及空间邻近性的基础上，可以有效区分不同移动方向的轨迹簇，同时，利用轨迹数据特征自动确定聚类参数，降低了挖掘结果的主观性。     

基于人工免疫网络的在线核聚类算法

针对核聚类算法与免疫网络聚类算法的不足,将免疫网络机制与核理沦相结合,通过用核距离函数代替欧拉距离函数,设置反映抗体识别抗原数量的权重和引入人工免疫网络机制等解决样本类边界模糊和类间数据密度分布不均匀问题.最后通过人工数据集和lRIS数据集上的仿真试验,验证了算法的有效性.     

基于MapReduce的网格化优化CURE算法的实现

针对CURE算法处理大量数据时聚类速度较慢的问题,一方面采用网格聚类方法对初始聚类对象进行网格预聚类处理,缩短初始化族聚类时间;另一方面采用MapReduce框架对算法进行并行性扩展,使其能够充分利用集群的计算和存储能力,从而加速海量数据的处理。以联合程序开发网站的数据集和MATLAB人工数据集作为测试数据集,对改进算法Grid-CURE进行实验分析。实验结果表明:方法可有效提升处理大数据的效率以及提升其抗噪声能力。     

利用MapReduce的异常轨迹检测并行算法

异常轨迹检测是移动对象数据挖掘的一个重要研究领域。TRAOD(TRAjectory Outlier Dectection Algorithm)算法是一种经典的异常轨迹检测算法,但它对于海量轨迹数据的异常检测效率低。为提高海量轨迹数据集的异常检测效率,本文提出了一种利用MapReduce 的异常轨迹检测并行算法(Parallel algorithm for TRAjectory Outlier Detection, PTRAOD),并在此基础上提出了网格索引的异常轨迹检测并行算法(Grid-based Parallel algorithmfor TRAjectory Outlier Dectection, GPTRAOD)。GPTRAOD算法在PTRAOD算法的基础上,利用网格索引实现区域查询,进一步提高算法效率。将PTRAOD算法和GPTRAOD算法在Hadoop 平台上加以实现,结果表明:本文提出的2 个并行检测算法,能实现异常轨迹的检测;GPTRAOD算法的效率优于PTRAOD算法;GPTRAOD算法具有较高的可扩展性和较好的加速比。     

卫星重力梯度数据粗差探测方法的比较研究

比较研究了卫星重力梯度数据粗差探测的阈值法、Grubbs检验、Dixon检验和小波分析法及组合方法。基于卫星重力梯度测量粗差的来源和特征,模拟生成了重力梯度数据的粗差,利用上述粗差探测方法模拟计算的结果表明：联合Dixon检验和小波分析的组合法最有效。     

一种适合于科学数据的聚类算法

聚类是科学数据挖掘中的核心问题.在已提出的聚类算法中大都是基于＂距离＂的概念,这类算法的缺点在于处理数据量大和维数高的科学数据时不够有效,因此提出迭代网格算法.这个算法与基于距离的损法有根本不同,它抛弃了距离的概念,而采取一种新的思路.它不仅能够自动发现包含有趣知识的子空间,并将里面存在的所有聚类挖掘出来;而且它能很好的处理维数高和数据量大的科学数据.     

基于房屋轮廓与纹理的三维建筑模型分层次聚类研究

目前三维建筑模型已广泛应用于城市规划,导航和虚拟地理环境等领域.不同细节的模型是LOD( Level of detail )技术的基础,由于三维模型的生产成本高昂,模型自动化简逐渐引起了学者的关注.三维模型化简包括单模型化简和多模型综合2方面,目前单个模型的化简研究比较多,而模型群组综合的研究仍然处于起步阶段.本文主要研究模型群组的聚类综合,提出一种基于房屋轮廓与纹理的分层次聚类算法:首先,基于房屋的底面轮廓构建约束Delaunay三角网,以道路为基准对三角网进行划分,通过可视分析构建初始的邻接图,使建筑群组分类符合城市形态学;其次,将房屋纹理引入三维模型群聚类的过程,使用SOM( Self-organizing Map )智能分类算法对纹理进行分析,然后分割邻接图;最后,以最邻近距离对邻接图构造最小生成树,并进行线性检测,将离散的建筑合并到已聚类的群组中,最终完成模型的合并.本文利用纹理辅助轮廓特征,实现三维建筑模型的聚类,符合人类的视觉习惯,实验结果证明了本文方法的有效性.     

多模态地理大数据时空分析方法

多模态地理大数据时空分析旨在融合地理大数据的多模态信息发现有价值的时空分布规律、异常表现、关联模式与变化趋势,是全空间信息系统的核心研究内容,并有望成为推进地理学人地关系研究的重要突破口。为应对地理大数据时代的新机遇与挑战,本文围绕4类核心的时空分析方法（时空聚类分析、时空异常分析、时空关联分析与时空预测分析）,系统归纳了国内外研究现状,探讨了时空分析中多尺度建模、多视角协同、多特征认知与多特性表达的研究难点。进而,介绍了多模态地理大数据时空聚类、异常、关联与预测分析模型,更加全面、客观、精准地认知与理解时空大数据中潜在的地理知识,并且能够在气象环境监测、公共安全管理、城市设施规划等多个应用领域发挥关键作用。