时空大数据背景下并行数据处理分析挖掘的进展及趋势

随着互联网、物联网和云计算的高速发展,与时间、空间相关的数据呈现出“爆炸式”增长的趋势,时空大数据时代已经来临。时空大数据除具备大数据典型的“4V”特性外,还具备丰富的语义特征和时空动态关联特性,已经成为地理学者分析自然地理环境、感知人类社会活动规律的重要资源。然而在具体研究应用中,传统数据处理和分析方法已无法满足时空大数据高效存取、实时处理、智能挖掘的性能需求。因此,时空大数据与高性能计算/云计算融合是必然的发展趋势。在此背景下,本文首先从大数据的起源出发,回顾了大数据概念的发展历程,以及时空大数据的特有特征;然后分析了时空大数据研究应用产生的性能需求,总结了底层平台软硬件的发展现状;进而重点从时空大数据的存储管理、时空分析和领域挖掘3个角度对并行化现状进行了总结,阐述了其中存在的问题;最后指出了时空大数据研究发展趋势。     

基于大数据的文化遗产认知分析方法——以北京旧城中轴线为例

以北京旧城中轴文化遗产为例,利用2012、2015年的相关微博、报刊新闻、学术文献数据,通过提取关键词,抽取词频、tf-idf权重、互信息、后验概率等特征,从群体、时间、空间多个维度分析文化遗产的认知。在人群维度上,通过具有特征性人群的传媒信息,发现不同人群对文化遗产的认识存在异同：对于中轴文化遗产核心单元故宫、天安门、天坛的认知相对一致,而对于钟楼鼓楼、太庙、地安门的认识,官方偏向于行政管理,学者偏向于历史价值,大众则偏向于生活化。在时间维度上,提取文化遗产关注程度和认知变化。如相对于2015年,大众对故宫、天安门的关注程度相对提高,对太庙的历史价值认识更为丰富。大众相对于官方和学者对文化遗产的认知更容易发生变化,且对热点事件敏感。在空间维度上,挖掘文化遗产单元之间的认知转移和关联模式,一方面,空间上相连的天安门—正阳门—正阳门大街具有较高的双向认知;另一方面,中轴文化遗产中,故宫、天安门、天坛的后验概率较高,表现出跨空间的认知汇聚模式。基于大数据的认知分析方法,是问卷调查、文献调研、访谈分析等传统方法的重要补充方式,能够降低数据收集者的主观影响,增加分析维度和效率,有助于发现隐含的知识和模式。本文结论可为文化遗产价值挖掘、保护提供决策支持。     

基于IP的数据挖掘初探

现有IP的查询、统计和报表，其处理方式大都是对指定的数据进行简单的数字处理，而不能对这些数据所包含的内在信息进行提取。要想挖掘深层次的信息就需要数据挖掘技术。研究了如何增加用户上网时长的问题。提出了研究的框架和步骤，首先收集数据，接着把和用户上网时长相关的因子提取出来，通过多种数据统计分析方法，发现这些因子之间的内在相关性，并通过一定渠道检验模型的正确性。     

大陆板内玄武岩数据挖掘:成分多样性及在判别图中的表现

通常认为,大陆溢流玄武岩(CFB)、裂谷玄武岩(CRB)、板内玄武岩(WPB)均产于板内构造环境,其地球化学特征与OIB类似,源于富集的下地幔,与地幔柱的活动有关。本文利用GEOROC数据库对全球CFB、CRB和WPB数据进行挖掘,发现上述三类玄武岩判别图投图几乎落入了全部的构造环境域,有些甚至主要落入MORB和IAB区,而不是落入WPB区。结果表明原先的玄武岩判别图的判别功能值得商榷,尤其对大陆玄武岩来说,许多判别图都存在问题。全体CFB、CRB和WPB的地球化学成分变化巨大,暗示其源区具有强烈的不均一性:部分CFB、CRB和WPB来自富集的地幔柱,仍然具有经典的OIB的特征;部分来自MORB的源区,与MORB的再循环作用有关;部分来自岛弧岩石圈之下的亏损地幔源区,以强烈亏损Nb-Ta为特征,类似岛弧玄武岩的地球化学特征。许多地区的大陆玄武岩可分为低钛和高钛两类,低钛玄武岩大多是亏损或强烈亏损的,而高钛玄武岩通常是富集型的。本文的研究表明,富集型大陆玄武岩可能来自富集的下地幔,而亏损的和强烈亏损的玄武岩可能来自具有MORB或岛弧特征的软流圈地幔。进一步指出,源区性质可能是大陆玄武岩多样性的主控因素,其次为部分熔融程度、熔融深度、结晶分离、陆壳混染以及AFC过程。     

银行客户定期存款认购的统计决策研究

当今银行之间的竞争日益加剧,能有效地挖掘潜在客户并为之提供差异化服务,对提高银行竞争力尤为重要.用决策树算法对可能影响银行客户是否认购定期存款的21个影响因素进行数据挖掘分析,构建了银行客户认购定期存款业务影响因素的决策树模型.研究结果表明显著影响客户认购定期存款的3个因素为员工指标人数、持续时间和月份,这可以大大缩小银行推送认购定期存款的客户范围,有利于提高银行效率.     

点集数据不规则形状时空异常聚类模式挖掘研究

传统扫描统计方法在进行时空异常聚类模式挖掘时,受扫描窗口形状的限制,不能准确地获取聚类区域形状。提出一种改进的不规则形状时空异常聚类模式挖掘方法stAntScan。新方法基于26方位时空邻近单元格构建时空邻接矩阵,再对蚁群最优化扫描统计方法进行改进,使其能适应三维大数据量的时空区域扫描。模拟数据和真实微博签到数据的实验证明,stAntScan能有效地识别时空范围内的不规则形状异常聚类,并且准确性较经典的SaTScan方法高。     

大数据时代的农情监测与预警

农情信息是世界粮农组织、各国政府、粮食贸易企业以及农场管理迫切需要掌握的信息。大数据时代的农情监测与预警正在由模型驱动向数据驱动转变,大数据正逐渐成为监测与预警的核心驱动力。伴随着农情监测与预警大数据的爆炸式增长,大数据与云计算技术的发展为农情监测与预警提供了全新的技术手段。2013年以来,全球农情遥感速报系统(CropWatch)已逐步引入聚类分析、时间序列分析、关联分析、时空变化异常诊断等大数据分析方法,并应用于业务化运行的农情监测与预警中。大数据技术提升了CropWatch的数据挖掘能力,对CropWatch农情监测与预警时空尺度的拓展以及农情监测内容的精细化起到推动作用,促进了面向需求的CropWatch农情信息与预警精准云服务的发展,促成了大数据时代CropWatch农情监测与预警技术体系的升级。未来,大数据时代的农情监测与预警将逐渐向全自动化监测、实时化精准农业管理与智能化信息服务方向发展;通过众源采集技术高效低廉的获取农情观测大数据将成为未来的发展趋势;大数据技术跨领域数据挖掘的能力,使得丰富多元化的跨界信息服务将成为大数据时代农情监测与预警的主流发展方向。大数据时代的CropWatch正在向基于大数据的农情监测与预警系统全速迈进。     

海洋资料基础数据库模式设计技术

本文结合“地球学科数据库系统(WDC—D)——海洋学科数据库群建设”项目的研究工作,对海洋资料基础数据库模式的设计技术进行了阐述。分别从海洋资料特性、用户需求、系统功能、数据库应用四个途径,详细描述了基础数据库模式设计依据的获取方法;结合关系数据库规范理论,归纳了海洋资料实体及其属性之间存在的四种依赖现象;并提出了在基础数据库模式设计时对不同程度依赖关系的处理技术。为建立业务化运行的海洋资料基础数据库奠定了基础。     

地质科学大数据统合应用的基本问题

进行地质科学大数据统合利用,涉及一系列理论、方法和技术问题,包括:多源多类异质异构地质数据的采集、存储和管理问题;数据汇聚、集成和结构化、可视化转换问题;数据同化、融合问题和深度挖掘、广度聚联问题;地质大数据有效利用的方式、方法和途径问题,以及云服务的模式和系统架构问题。所面对的挑战是实现结构化-半结构化-非结构化数据、静态勘查数据与动态监测数据的一体化存储、管理、处理和应用,以及大数据与小数据、混杂性数据与精确性数据、模型与数据、有模型与无模型、关联关系和因果关系的矛盾与统一问题。      

时空大数据在城市群建设与管理中的应用研究进展

伴随新型城镇化进程的不断推进,城市群已经成为地区社会经济发展的重要核心。大数据时代的到来促使新兴时空大数据在城市/城市群建设与管理中发挥着重要作用,并成为当前学术界的研究热点。大数据挖掘技术与融合分析技术将成为未来研究城市群的重要方法。本研究总结归纳了时空大数据在城市群建设与管理中的应用研究进展,对常见城市群时空大数据类型、获取方法和分析技术进行分类整理,并对基于资源调查和多源时空数据分析的城市/城市群研究进展进行分析,特别是对时空大数据及其技术在城市群建设与管理中的主要研究展开归类分析,认为目前时空大数据在城市群建设与管理应用领域主要涉及5大方向：城市群空间界定与发展监测、交通网络监测、关联性分析与功能布局评价、产业协同分析和环境监测与评估。最后,本文分析了现阶段时空大数据在城市群建设与管理应用中的发展瓶颈,提出了相关对策建议,并对未来研究发展趋势提出了展望。