地学数据共享网用户Web行为预测及数据推荐方法

网络环境下,如何让用户快速发现所需数据是地学数据共享平台长期面临的挑战之一。本文基于国家地球系统科学数据共享平台网站服务器日志数据获取用户搜索行为及数据集访问行为,使用聚类算法挖掘用户行为模式,并基于会话聚类 模式开发在线搜索和访问预测算法。在数据预处理阶段,对原始服务器日志数据进行清洗、用户识别、用户会话识别、搜索词提取。在模式挖掘阶段,采用DBSCAN算法对会话进行聚类。考虑到会话向量值的二元性,聚类算法中的距离采用Jaccard距离函数计算。视每个会话聚类包含的搜索词集合为一个文本,所有用户历史搜索词集合为语料库,统计各聚类中搜索词的TF-IDF值。在线搜索推荐,以搜索词检索各聚类中TF-IDF值,返回TF-IDF值最高的搜索词所属聚类,并给出该聚类的高频项目作为推荐。在线访问推荐,则以用户实时访问向量为查询向量,计算该向量与聚类中心的聚类。根据聚类排序,给出距离最近的聚类,并产生该聚类中高频项目作为推荐。实验结果表明基于TF-IDF和聚类的搜索推荐有较高的准确率和召回率,访问推荐效果基于高频统计的推荐有较大提高。研究可得出以下结论：① 地学共享网用户访问和搜索行为体现了专业性的特点,其行为较普通网站用户可预测性更好;② 对于地学数据共享用户行为预测,需明确定义用户行为,并采用合适的距离函数描述行为相似性;③ 通过搜索词TF-IDF值来预测用户数据需求的方法可行,以此产生的推荐可作为搜索结果的补充。本研究可服务于地学领域数据共享平台建设,提高共享服务质量,也可为其他领域科学数据共享提供技术方法借鉴。     

空间数据挖掘技术与发展趋势

试从空间数据挖掘方法的角度,探讨了空间关联规则的挖掘方法以及它与传统的关联规则挖掘方法之间的区别,介绍了空间聚类挖掘方法的分类和几种典型算法,概述了空间数据挖掘的发展趋势。     

基于数据挖掘的高校学生成绩预警系统

为充分利用高校教务管理信息、提高高校教学质量、加强学生学习成绩管理,以学生综合数据库为基础,开发基于数据挖掘的高校学生学习成绩预警系统;引入数据挖掘关联规则方法,根据数据类型特点,对学生成绩进行离散化处理;利用Apriori算法对学生课程成绩数据进行关联规则挖掘,预设一定的支持度的条件下,由数据库找出具有一定内在联系和...     

基于复杂网络的鼓浪屿旅游街区关联规则识别与特征分析

基于复杂网络分析游客空间行为并挖掘旅游街区之间的关联特征,可以发现用地与功能之间显性和隐性的关联规则,精准识别旅游区用地空间结构,深入掌握旅游区发展现状,为智慧旅游与土地精细化转型提供支撑。本研究以世界文化遗产鼓浪屿为例,基于LBS大数据,使用复杂网络构建游客空间行为网络,利用关联规则分析重要节点的关联特征,进而使用用户画像数据,分析基于不同性别、年龄和客源地游客空间行为的街区关联规则。研究发现,“复杂网络+关联规则”算法可以挖掘游客随机行为中的隐藏规律,有效剖析旅游街区之间显性和隐性的关联规则。在游客空间行为轨迹网络中,各街区兼具“中心”与“枢纽”作用。既服务于本地游客又服务于外地游客的热门旅游街区表现出强关联规则。对外地游客具有较强吸引力的热门景点表现出较高的支持度,具有特色的旅游设施用地表现出较高的提升度。具有同质性的旅游街区之间关联性较强,人口特征差异对旅游街区关联规则影响显著。本研究可为城市更新背景下的旅游区用地整合、结构优化和游览线路调整提供决策参考,对于构建智慧旅游体系具有现实意义。     

数据空间自相关性对关联规则的挖掘与实验分析

传统的空间关联规则挖掘,一般足使用属性关联规则的挖掘算法,对空间数据进行泛化处理,不考虑空间数据的空间自相关性,也没有考虑空间自相关与空间关联规则的关系.本文运用改进的Apriori算法对某一数据进行空间关联规则挖掘,并对同一数据进行空间自相关分析,比较两种方法反映的属性的相关性,探讨了数据的空间自相关性对空间关联规则...     

基于概念分析的空间数据挖掘研究进展

空间数据挖掘的过程与空间概念形成和分析的过程密切相关.本文以空间数据中抽取出各层次、各粒度的概念为主线,以概念形成和分析的形式化理论--概念格和云模型为理论基础,总结了基于概念分析的空间数据挖掘方法及应用,包括概念格的空间关联规则挖掘方法及应用、概念格的概念聚类挖掘方法及应用、云模型的空间关联规则挖掘方法及应用、云模型的空间聚类/分类挖掘方法及应用等.概念格提供了一种形式化的概念描述和概念结构分析的理论和方法,云模型提供了一种综合处理模糊性、随机性以及二者之间关联性的不确定性理论和方法,利用概念格、云模型等形式化的理论和方法分析和描述空间数据挖掘过程中空间概念的形成、空间概念的结构关系、空间概念之间以及空间概念层次之间的不确定性是概念分析的空间数据挖掘研究的进一步的研究方向.     

基于Weka的地震数据挖掘系统的设计与实现

基于开源的数据挖掘系统Weka，使用Java语言及面向对象的思想，设计并实现了地震数据挖掘系统。根据地震数据资料的特点，将数据挖掘的核心技术（聚类分析、关联规则分析等）引入到该系统中，其中聚类分析选用DBSCAN作为核心算法，关联规则分析选用Apriori作为核心算法。用户使用该系统只需在交互界面选择相关参数，即可实现调用数据挖掘算法来分析地震数据，发现探索其隐含规律。     

全国极端气温事件的空间关联模式挖掘研究

根据全国739个气象台站1961年1月至2005年12月的逐日气象数据记录建立时空序列数据集,提取极端高温事件和极端低温事件。结合传统关联规则挖掘技术和地理空间数据分析方法,对极端气温事件数据集进行了空间关联模式的分析。实验结果显示,所得空间关联模式中涉及的区域在空间上具有明显的聚集性;在东北、华中两个局部地区的台站中,极端气温事件的发生存在较强的关联规则(支持度阈值6%,置信度阈值95%),而在其他区域的台站中,极端气温事件不存在类似的关联规则,且极端高温事件的关联规则数量要明显高于极端低温事件。对存在关联规则的台站进行空间分析发现,同一关联规则内的各台站具有空间邻近性,其邻近范围约为200 km。以上空间关联模式的挖掘分析,可以为我国极端气温事件的预警和防控提供有价值的参考。     

基于手机信令数据的城市就业空间特征研究——以沈阳市为例

以沈阳市为研究实例,基于手机信令数据,对城市居民个体时空行为活动信息进行深入分析,建立识别用户居住地和就业地的数据清洗规则,提取就业空间分布与职住联系数据。以Mc Millen(2001)提出的就业中心概念为理论依据,建立分析模型,应用核密度、空间自相关、自然间断分级、等值线等方法对就业分布数据进行深度挖掘,识别就业中心,并分析其空间布局特征;从就业规模和功能联系两个维度综合测度就业中心服务效能,构建就业中心等级体系;最后尝试基于就业功能划分城市空间单元,以此探索城市就业空间结构,揭示城市运行的内部机制。     

轨迹数据挖掘城市应用研究综述

轨迹数据作为泛在地理信息环境中社会遥感数据的主要表现形式之一,为从个体的视角研究群体的空间移动规律,提供了新的数据支撑和研究思路。特别是在当前的大数据背景下,通过轨迹数据发掘人类的移动规律和活动模式,进而探求蕴含的深层次知识,是解决城市问题的重要途径,轨迹数据挖掘也由此成为地理信息科学及相关学科的研究热点。本文首先阐述了人类移动规律研究常用的轨迹数据集及在该数据集上开展的相关研究和典型应用;然后从城市空间结构功能单元的识别及城市韵律分析、人类活动模式的发现与空间移动行为预测、智能交通的时间估算与异常探测、城市计算的其他4个方面,综述了轨迹数据挖掘在城市中的应用;最后,指出了轨迹数据挖掘面临的挑战和进一步的发展方向。     

利用导航大数据挖掘城市热点区域关联性

导航大数据是大量与导航相关且具有泛在导航、定位、授时特征的数据集合。城市环境的特性影响居民的出行活动,而居民出行活动中产生的导航大数据则蕴含了城市环境的时空信息。热点区域空间分布以及热点区域之间的关联性特征是城市环境时空特性的重要组成部分,由客观的环境现状和主观的人为活动造成。通过挖掘导航大数据可以揭示这些特征。本文提出了利用导航大数据的城市热点区域关联性挖掘方法。首先,通过对居民出行的起点和终点坐标进行空间聚类,挖掘城市中的热点区域,并依据点的分布特点对城市热点区域进行离散化;然后,利用基于谱聚类和蚁群算法的方法分析居民出行特征,揭示城市中热点区域之间存在的关联性。本文提出的方法能够充分利用导航大数据对城市动态的感知能力。以上海市2007年2月20日的出租车轨迹数据为例进行分析,结果表明：利用导航大数据分析城市热点区域之间的关联性,可以得到具有紧密关联性的热点区域的空间分布特征;上海市居民出行活动频繁的热点区域被划分为15个内部紧密关联的子图,形成该分布特征的内在机制以及居民流通规律与上海市的土地资源利用及道路交通建设现状密切相关。分析方法和结果可为合理的城市功能区域规划,智慧城市建设等提供决策支持和参考信息。     

加权关联规则的改进算法

关联规则挖掘在许多领域已有广泛的应用,目前存在许多发现关联规则的算法,但这些算法都认为项目对规则的重要性相同.然而在现实中各个项目的重要性往往不同,决策者往往优先考虑利润较高的项目,而忽略利润较低的项目.分析现有的加权关联规则存在的问题,提出了一种新的加权关联规则模型.     

基于资源环境数据格网化表达的关联模式发现

传统空间关联模式以空间谓词作为发现逻辑进行知识发现,会导致关联模式侧重空间位置关联,并且挖掘结果受所建立谓词表的限制,存在所发现模式固定、解释自由度差等问题。本文提出一种不依赖于空间谓词的关联模式发现方法,该方法将空间数据进行格网化表达,对格网化结果以平滑移动的N×N掩膜进行多约束事务化,将传统Apriori算法去除属性自连接,然后对所构建的空间事务化数据库进行关联模式探索,抽取有价值的关联模式。最后,以山西省晋城市长河流域为实证研究区,建立煤、地、水空间事务数据库,给出格网化表达的定量误差,探索其隐含空间关联模式,并以同位模式验证了事务化结果的精度。格网化生成覆盖研究区的64 m格网28 434个,各数据层格网化误差均在5%以内,以耕地为主因子事务化结果共有记录38 310条记录。对抽取的部分关联模式分析表明：发现结果符合长河流域矿农复合区背景下耕地相关的先验知识;该方法能有效提取空间数据及其属性信息中潜在的关联模式,提高了挖掘过程自由度和结果的兴趣度。     

基于云计算的地球系统科学数据共享研究与实践

数据密集型的地学研究离不开数据资源和信息平台的支撑,因此,实施地球系统科学数据共享具有重大意义。早期地球系统科学数据共享服务主要以政府行为为主,集中数据汇交,存在数据服务负载不均衡、数据整合模式单一、数据服务效果不明显等突出问题。随着Web 2.0理念的提出,以及云计算等技术的出现,数据共享模式发生了巨大的变化。本文提出基于云计算的地球系统科学数据共享概念模型。通过提供基础设施即服务（IaaS）、数据资源即服务（DaaS）,以及数据功能即服务（SaaS）实现共享服务模式的转变,将死板的数据转为灵活的服务。在“数据云”中,用户既是数据的使用者也是数据资源的提供者,通过提供数据发布、数据需求发布、数据发现与共享、需求发现与反馈等功能,解决数据共享中“用户-数据”之间的矛盾,并激励普通科研工作者贡献自己的数据,保障数据资源有效、可持续整合。最后,构建了原型系统用于验证该框架,形成了一个“人人都是数据的提供者,人人都是数据的使用者”的数据共享服务环境。     

基于SOA的税收征管网络GIS平台

 为了能直观、形象和动态地反映不同区域税收状况的空间分布规律和变化趋势,提高异构税收征管GIS系统的数据共享和互操作性能,采用GIS企业级中间件与开放地理信息联盟(OGC)规范的GIS Web服务(GIServices)相互集成的方式,构建一种面向服务架构(SOA)的税收征管WebGIS系统(STAXGIS)。STAXGIS是一致性的业务模型和信息模型,通过GIS企业级中间件提供空间数据转换、税收业务处理与税收空间分析等高级服务功能,并采用GIServices提供税源查询与定位、税收专题分析、税务查询与申报等方面的信息服务。STAXGIS采用J2EE 4层框架(即数据层、应用服务层、Web服务层和客户层)实现其部署与分层管理,这与传统税收征管GIS系统相比,STAXGIS的征管效率和可扩展性大大提高。以福建省福州市为例的研究表明,STAXGIS可增强现有分散管理的异构税收征管GIS系统在分布式环境下的信息共享能力和互操作性,提高异构环境下税收征管空间分析的整体效率,并向各级税务管理部门提供直接或间接的决策支持。     

关联规则挖掘在卷烟市场研究中的应用

应用基于Apriori算法的关联规则挖掘技术对一次卷烟市场调查得到的数据进行分析，找出其中的关联规则，作为正确决策的基础。