粒子群优化的半监督入侵检测算法

为解决无监督入侵检测算法检测率低,有监督的入侵检测不能有效的检测未知攻击的问题,提出了一种粒子群优化的半监督入侵检测算法,算法对少量的约束信息进行基于密度的扩展获得潜在约束得到聚类模型,以此指导未标记数据聚类,对仍没有确定类别的未标示数据使用粒子群优化的K均值算法进行聚类实现对异常的检测。改进的算法检测率达到83.7%,误报率减少至3.13%,总体效果优于无监督和有监督学习的入侵检测算法。     

一种基于人工免疫网络聚类的入侵检测方法

提出了一种基于自适应半径免疫算法(ARIA)的入侵检测方法.ARIA训练得到的抗体网络充分保留了原始数据的密度分布信息,具有准确的空间形态;再用最小生成树算法和zahn划分标准对抗体网络细胞聚类,聚类得到的簇被标记为正常或异常并用于网络异常检测中.对KDD CUP 99数据集的实验结果表明:相对于基于aiNet的入侵检测方法,新的算法检测率高、误报率低,能够有效识别KDD中的已知攻击和未知攻击.     

基于MapReduce的网格化优化CURE算法的实现

针对CURE算法处理大量数据时聚类速度较慢的问题,一方面采用网格聚类方法对初始聚类对象进行网格预聚类处理,缩短初始化族聚类时间;另一方面采用MapReduce框架对算法进行并行性扩展,使其能够充分利用集群的计算和存储能力,从而加速海量数据的处理。以联合程序开发网站的数据集和MATLAB人工数据集作为测试数据集,对改进算法Grid-CURE进行实验分析。实验结果表明:方法可有效提升处理大数据的效率以及提升其抗噪声能力。     

GPU加速的改进PAM聚类算法研究与应用

空间聚类是空间数据挖掘的重要方法,而K-Medoids是一种常用的空间聚类算法。K-Medoids聚类算法存在初始点选择问题,而且计算复杂。为了提高算法的有效性和时间效率,本文结合模拟退火算法思想,改进了传统的K-Medoids算法PAM,提出一种基于GPU计算的并行模拟退火PAM算法。类比矩阵乘法运算,定义了一种新的矩阵计算方法,可以有效减少数据在GPU全局内存和共享内存之间的传输,提高了算法在GPU中的执行效率。利用模拟退火算法搜索聚类中心点,保证了聚类结果的全局最优性。基于不同的数据集,将串行和并行模拟退火PAM算法以及已有的遗传PAM算法进行比较,结果表明并行模拟退火PAM算法聚类结果正确,且时间效率高。最后,应用本文改进算法对贵州省安监系统的安全监管隐患数据进行聚类分析,发现了隐患聚集中心,相关结果对政府的决策具有一定的实际应用价值。     

改进型的K-mediods算法

挖掘科学数据是当今数据库系统研究和应用领域内的一个热点问题。聚类是数据挖掘中的核心问题。K-中心算法的执行结果受到初始选择的中心点的影响，而且常常只能终止于局部最优，按照基于密度聚类算法的思想，聚类分析最终的中心点都是很“密的（dense）”点，结合这两种算法，如果初始选择的中心点就是“密的（dense）”点，并且这几个初始的中心点彼此相异度比较大，那就会减少算法执行的时间，并且提高聚类结果的准确度。     

基于MetaOD模型选择的岩土工程数据异常检测方法

岩土工程现场及室内参数测试数据是工程施工、设计、评价的基础。异常数据的存在往往会误导施工、设计等参数的确定, 数据异常检测是确保工程安全可靠的最基本但极为重要的工作。针对传统异常检测算法没有模型选择这一过程而导致检测的盲目性, 提出了基于元学习的异常检测算法(meta-learning outlier detection, MetaOD)和数据挖掘算法相结合的异常检测模型体系。该体系首先根据数据的特点选择适合不同数据类型的初始模型类型及其参数, 并对选择出的同类型算法的参数进行求均值处理; 然后再采用遴选出的算法进行数据异常诊断, 进而提高异常检测的准确性。为了评估模型的有效性, 采用加州大学欧文分校提出的机器学习检验数据集(glass数据集)进行检验分析。结果显示, 采用该模型体系进行异常检测时查准率达到96.41%, 远高于其他检测算法。最后, 应用该模型体系对澳门花岗岩单轴抗压强度数据集和均昌隧道的地下水位监测数据进行了异常检测分析, 并分别识别出9个和10个异常点。      

基于改进FCM聚类算法的三维重力反演

在重力反演中,传统的反演方法通常会生成平滑的反演结果,即不同的地质单元之间没有明显的边界。为了提高反演结果的空间分辨率和反演精度,采用模糊C均值聚类算法(fuzzy C-means,简称FCM)解决上述问题。但当异常体体积远小于围岩体积以及目标函数FCM聚类项权重系数选择不当时,该算法容易造成异常体反演结果均匀收缩,导致反演精度降低,甚至反演失败。反演失败的主要原因通常是因为异常体体积比围岩体积小很多。为此在反演的目标函数FCM聚类项中引入了缩放因子,用以平衡模型参数对每个聚类的隶属度,减小异常体体积远小于围岩体积的影响。通过建立缩放指数e_k与归一化的聚类中心与实际聚类中心间距离S_normal的简单正相关关系,使得缩放因子ρ_k随反演过程不断更新,从而显著降低了目标函数FCM聚类项权重系数的选择难度,避免了异常体反演结果均匀收缩的问题,增强了反演的稳定性。理论重力异常数据反演数值试验和实际数据反演表明,相比于此前的FCM方法,改进算法有更高的反演稳定性和反演精度。     

空间聚类有效性评价方法对比与研究

空间聚类是当前地球信息科学与计算机科学领域共同关注的热点问题之一,常用来揭示空间数据分布规律以及发现空间数据异常。空间聚类有效性评价即对空间聚类结果进行定量、客观的评判,对于在实际应用中针对不同数据集选取最优的空间聚类算法以及确定最佳的聚类参数具有重要意义。首先选取并编程实现了数种空间聚类有效性评价方法,包括聚类中心的距离矩阵、距离方差、改进Hubert's统计、Davies-Bouldin、Calinski-Harabasz和基于信息论的空间聚类有效性评价方法等,同时提出了顾及簇间分离度和簇内紧凑度的空间聚类有效性评价方法,并通过试验分析验证了其可行性及有效性。然后在K-Means法对数据集进行聚类的基础上,对比研究了前述聚类有效性评价方法的特性及优缺点。     

一种改进的人工鱼群聚类算法

为了克服K-Means算法对初始类簇中心、噪声点、孤立点敏感缺点,将K-Means算法和人工鱼群算法结合,提出了改进的人工鱼群聚类算法。在该算法中将类簇中心看作一条人工鱼,让每条人工鱼执行随机、觅食、聚群、追尾行为中的一种,并将更新后的位置作为K-Means算法的初始值,不断重复人工鱼的位置更新和K-Means操作,直到算法结束。由于在算法中加入了动态移动步长和全局人最优人工鱼位置,聚类的收敛精度和速度都得到提高。使用iris和glass数据集进行聚类时,与其他算法相比,文中的收敛时间缩短2.6%,精度提高1.36%。     

浮动车轨迹数据聚类的有向密度方法

为了充分挖掘浮动车轨迹数据的潜在特性,本文在OPTICS空间密度聚类算法基础上,提出了一种有向密度的快速聚类方法(D-OPTICS)。该方法通过扇形空间邻域计算其有向密度信息,并基于方向信息约束其密度可连通性,通过有向可达距离曲线生成数据基本簇,最后,通过空间网格及类簇聚合等优化方法,实现其大规模浮动车轨迹数据的快速聚类处理。通过有向时空数据的聚类分析,发现浮动车轨迹的时空分布特性,以提取复杂路网的结构信息。本文以福州市大规模浮动车轨迹数据,对D-OPTICS进行了系统实验,分析表明,该算法可实现浮动车轨迹数据的快速有向密度聚类分析,有助于挖掘发现时空轨迹数据的分布规律,且基于聚类结果提取了福州市区复杂路网的有向拓扑结构图。同时,与DBSCAN及OPTICS等传统的密度聚类算法进行性能对比,实验表明,D-OPTICS算法能更好地支持大规模浮动车轨迹数据的处理要求。