基于C-SOM和Spark的并行空间离群挖掘方法及应用

空间离群挖掘可以发现空间数据集中非空间属性值与邻域中其他空间对象明显不同的空间对象。随着空间数据量的快速增加,传统集中式处理模式面临单机性能瓶颈、难以扩展等问题,已逐渐不能满足应用需要。因此,本文根据Spark并行计算框架,充分利用Spark快速内存计算和扩展性的优势,提出了一种基于考虑约束条件的空间离群挖掘算法（C-SOM）和Spark的并行空间离群挖掘算法和原型系统。该并行算法以C-SOM为核心,并行地在多个计算节点对全局数据集和各局部数据集执行C-SOM算法,得到全局离群和局部离群。轻量级的原型系统基于Spark实现了该并行算法,采用Browser/Server架构,提供给用户可视化的操作界面,简洁实用。最后,通过福建省东南沿海土壤化学元素调查数据和人工合成数据的离群分析,验证了该并行算法和原型系统的合理性、有效性和高效性。     

“民国清流”名人文化主题数据的组织和可视化方法

历史名人是我国几千年优秀文化的创造者之一,因此传播历史名人文化具有重要的教育意义和文化传承价值。以“民国清流”为对象的历史名人文化是我国文化体系中优秀的组成部分,有关内涵记述多存在于泛文学化的叙述逸闻等文学作品中,缺乏对名人遗存旧址、生平行迹、社交关系等名人文化主题数据的系统化梳理。本文基于异构名人文化数据,构建名人文化数字化框架,并以“民国清流”为例,着重解决名人文化数据的组织与可视化问题。基于名人文化数字化框架,利用文本挖掘提取群体传记中关键信息,动态地展示名人的二维生平行迹、三维故居点位和名人知识图谱,以实现相关信息的智能化查询分析。可视化分析结果揭示了名人群体的中心人物和活动聚集地变化、名人社会关系、名人间交往的亲疏程度及产生交集的原因。因此,本文所提出的方法不仅能让普通民众直观且多维度地了解民国人物特质,还能帮助文学研究者深入梳理和分析人物的生平及社交关系,为传承和宣传名人主题文化开创新模式。