数据预处理技术在地学大数据中应用

大数据时代随着数据的爆发式增长,在带来可供研究的海量数据的同时,也带来巨量的噪声和冗余数据。在地学领域,由于研究方向和技术方法手段的多样化,产生了数据量巨大和类型众多的地学数据集合。在地学信息的研究过程中,经常碰到地学信息孤岛,分图幅地学数据边界系统误差和地学文档的非结构化问题。在对地学数据进行信息的提取和挖掘之前,必须根据研究目的对地学大数据进行预处理,使冗余、复杂的大数据转为结构化、准确、可用的数据。本文以地学大数据的预处理技术为切入点,从地学数据交互标准与语义、数据调平、地质图接边和文本结构化等四个研究方面,分析阐述目前地学大数据挖掘方面存在的问题及主要的解决手段,同时也对多元数据融合在大数据中的应用进行了阐述。希望通过本文对地学大数据预处理技术的探讨,能对地学大数据的挖掘有所帮助。     

机器学习方法在矿产资源定量预测应用研究进展

回顾了国内外在矿产资源定量预测研究领域的发展历程,对近十年来国外相关方向的文献进行了统计对比分析,结果显示机器学习方法已经成为矿产资源定量预测研究领域的热点方向,并主要在如下3个方面发挥了积极的作用:(1)提取和挖掘复杂数据中隐藏的难以识别的矿化信息;(2)致矿异常信息关联与转换;(3)多源地学数据的致矿异常信息融合、预测和发现矿床。对逻辑回归、人工神经网络、随机森林与支持向量机等主要机器学习算法与模型在矿产资源定量预测实践中的应用效果进行了评述,并探讨了在实际应用过程中存在的样本选择、错分代价、不确定性评价以及模型性能评价等主要问题及目前的解决方案。最后提出基于大数据与机器学习的矿产资源定量预测是未来发展的重要趋势。     

偏最小二乘降维法在粤西层控型铅锌矿床发育区水系沉积物地球化学测量数据分析中的应用

在当今信息时代,以地球科学数据为基础,数据挖掘技术及方法逐渐成为地球科学领域研究的重要方向。本文以粤西丰村–园垌层控型铅锌矿床发育区水系沉积物微量元素测量数据为研究对象,首先对原始数据进行清洗、变换和规约算法等数据处理,其次应用主成分分析法、聚类分析法及偏最小二乘降维(PLSR)算法挖掘地球化学元素组合异常信息。分析结果表明,基于等距对数比变换的PLSR建模,可以在不损失数据完整性的前提下,充分挖掘元素内部的相关性,并提取组合元素异常。PLSR法与主成分分析和聚类分析的结果对比分析显示,PLSR法提取出的元素组合与研究区铅锌矿床地球化学特征接近,可以充分挖掘地球化学数据的潜在信息,其分析结果与研究区地质条件耦合度高,可以为粤西地区层控型铅锌矿床下一步找矿提供可靠的数据支撑。     

机器学习算法在地球物理测井中的适用性及应用

机器学习，特别是深度神经网络学习算法的发展，正在改变人们发现知识的方式。目前油气工业正在向转向非常规和深海的油气勘探和开发。基于有限岩石物理参数建立的评价解释模型难以满足反映非常规储层复杂的岩性和结构，这使传统测井评价技术受到了很大的挑战。以油气大数据为基础、机器学习算法为核心、油气大数据云计算为动力以及油气应用场景为源泉的油气人工智能（Oil&Gas AI）极大地改变传统的油气工业各个领域。笔者以地球物理测井为研究对象，依据数据驱动的地球物理知识发现原理和机器学习属性，按照“数据–算法–平台–知识–应用场景”研究思路，开展机器学习算法在测井技术中的适用性研究。对机器算法的内在特性、原理、质量控制、硬件要求，学习模型选择、测试以及性能评价实现过程进行分析。笔者梳理和总结了机器学习算法在测井中适用性的树状图，尤其是在油气测井的方法研究、数据处理以及地层评价中的应用潜力与机器学习算法对应关系，其中包括数据校正的模拟方法、数据标定的岩石物理分析、测井数据质量控制、综合评价以及油藏评价监测。研究表明，机器学习算法在岩性识别与储层分类、力学评价、以及油藏评价等方面应用有明显的优势，贯穿于...     

多源异构地质数据集成方法应用研究

大数据技术的高速发展为地质数据挖掘与分析带来了新的机遇。借鉴大数据技术的思想,提出了一种多源异构的地质数据集成方法,为数据挖掘、地质数据信息化服务提供了技术基础。针对北京周口店研究区,建立了其野外地质三维综合信息平台,将各类地表、地质体、地质信息等结构、半结构、非结构数据集成到统一的平台系统中,实现了研究区域相关地质数据的集成管理、可视化浏览、查询与分析,为大数据方法在地质领域的应用提供了新的思路。     

面向矿产资源信息的空间关联性分析

关联性分析是综合多源、多类数据,发现和挖掘数据中潜在的相关关系,提取和挖掘数据之间的关联性。该方法对于充分利用地质大数据、发现地质要素之间的共生组合规律具有重要的意义。本文首先基于数据的空间位置,将不同类型的地质空间数据建立联系,形成空间属性数据库;其次应用统计方法,对不同来源数据中的属性特征进行分析,发现热液型金矿的形成与火山作用存在明显相关性;最后基于Apriori算法提取热液型金矿的伴生矿与侵入岩的频繁项集,发现伴生矿与侵入岩酸碱性二者密切相关。因此,在今后的工作中,有望应用空间关联性的方法对地球物理、地球化学、遥感等多源地质数据开展深入的研究分析。     

大数据背景下的水利行业档案信息化建设思考

基于大数据研究背景,针对水利行业档案信息化管理存在的问题,探讨水利行业档案信息化管理与建设的方法,通过调研分析提出要构建完善档案信息化建设管理制度,搭建档案信息网络平台,加强档案信息化管理人才队伍建设等措施及建议。可进一步提高水利档案资源管理水平,发挥水利档案资源的利用率和拓宽水利档案利用价值。     

岩相古地理知识图谱构建及应用

大数据为岩相古地理研究带来了新的思路和挑战，但由于存在数据类型复杂、语义关系丰富、共享机制不明等问题，难以对岩相古地理数据进行深层次的挖掘分析及有效利用，使得大数据的众多优势在该领域得不到充分发挥。知识图谱强大的语义处理能力与开放互联能力，对于解决大数据中文本分析和图像理解等问题发挥着重要作用，具有广阔的应用前景。文章从岩相古地理知识图谱的构建与应用角度，综述了岩相古地理知识图谱的研究背景；系统归纳了岩相古地理知识图谱的构建思路、技术与流程，同时列举出知识图谱在岩相古地理学方面的相关应用；指出了岩相古地理知识图谱存在的主要问题，并对其未来的研究方向提出了展望。     

城市地质大数据组织及应用研究

近年来对城市地质大数据的应用和管理主要体现在云平台的建设方面,本文主要从虚拟设备层、云计算层和应用层所构成的城市地质大数据云平台阐述了对地质大数据的管理、分析和应用,其中虚拟设备层可以对不同数据的格式进行统一化管理以及数据之间的互相访问;云计算层能够对虚拟设备层中的各种数据进行数据分析和功能服务,同时可通过预留服务接口的方式可实现信息的交换和数据共享;应用层主要目的是对筛选出来的有价值数据进行分析及应用。通过构建的城市地质大数据云平台可对城市进行智能化管理,其主要应用体现在三个方面:城市空间规划与管理、智慧医疗和缓解城市交通。研究和利用城市地质大数据的组织结构,不仅能够提高城市的管理效率,还能够避免城市地质工作的重复投入,避免"数据孤岛"现象,使各种城市地质数据之间进行有效碰撞。     

城市地质大数据组织及应用研究

近年来对城市地质大数据的应用和管理主要体现在云平台的建设方面,本文主要从虚拟设备层、云计算层和应用层所构成的城市地质大数据云平台阐述了对地质大数据的管理、分析和应用,其中虚拟设备层可以对不同数据的格式进行统一化管理以及数据之间的互相访问;云计算层能够对虚拟设备层中的各种数据进行数据分析和功能服务,同时可通过预留服务接口的方式可实现信息的交换和数据共享;应用层主要目的是对筛选出来的有价值数据进行分析及应用。通过构建的城市地质大数据云平台可对城市进行智能化管理,其主要应用体现在三个方面:城市空间规划与管理、智慧医疗和缓解城市交通。研究和利用城市地质大数据的组织结构,不仅能够提高城市的管理效率,还能够避免城市地质工作的重复投入,避免"数据孤岛"现象,使各种城市地质数据之间进行有效碰撞。     

社会水文学研究进展

为了推动新兴学科——社会水文学的发展及其在流域水资源管理中的应用,有必要对有关社会水文学的研究工作进行阶段性总结,并对未来的研究方向进行展望。回顾了水文学的发展历程,理解社会水文学产生的背景,阐述社会水文学的概念及其内涵;辨析其与传统水文学、生态水文学和水文经济学等学科在研究内容、方法和理论等方面的异同点;介绍社会水文学的研究进展:本阶段着重于制度、政策和文化等社会因子在水文研究中的表达以及流域示范研究的开展,但大多数研究仍基于传统水文学背景、共进化背景或者水资源管理背景,社会水文学的理论和方法还不够成熟。未来应从以下方面加强社会水文学研究:① 深入开展社会水文学社会部分的定量研究、综合历史分析和水文重建方法、充分利用现有不同流域案例促进过程社会水文学、历史社会水文学和比较社会水文学研究;② 开展社会水文系统社会驱动力的研究,探寻社会水文学的动力机制;③ 引入非线性动力学理论刻画人-水耦合系统的复杂反馈机制,提高社会水文学的普适化数学表述;④ 积极推进“大数据”和知识挖掘技术在社会水文学研究中的应用。     

矿区水文地质研究进展及中长期发展方向

矿区水资源保护和矿山防治水这两个互相矛盾又紧密联系的问题给传统的矿山水文地质学带来了更多的挑战和机遇,迫切需要新理论、新技术的发展。为了更好的实现矿区未来地下水资源的开采、利用与保护以及采煤安全和区域水资源可持续利用,本文选择长治盆地为重点研究区,从采动引起的覆岩移动入手,在资料分析的基础上,采用相似材料模拟、综合物探、野外监测、现场注(压)水试验的方法,运用水文地质学原理研究了采煤引起含水层结构变异厚度及其渗透性变化特征;在此基础上,以长治盆地集中开采区水文地质条件和野外监测数据为基础,建立了区域地下水流场三维动态模拟试验台,为研究含水层结构变异后的地下水循环机理和水资源重新分布提供技术支撑;本文同时指出了我国矿山水文地质研究目前存在的问题和面临的挑战,分析了矿山水文地质学科的发展趋势,展望了未来相关分支学科和关键核心技术的发展方向与前景。     

空间数据挖掘系统及其应用

近年来，空间数据挖掘系统的开发及应用已取得了极大的进展。文章在介绍已有空间数据挖掘系统的基础上，简述了空间数据挖掘与空间数据仓库、空间数据挖掘与地理信息系统的关系，阐述了空间数据挖掘的智能分析及其应用，探讨了目前空间数据挖掘系统开发及应用中存在的主要问题及未来的主要研究方向。     

大数据开创地学研究新途径:查明相关关系,增强研究可行性

人类已经进入大数据时代,大数据研究的思想、方法在地学领域也备受关注。笔者认为,大数据研究的对象是数据,研究的工具是计算机,研究的方法、手段是查明数据间相关关系,研究的特点是取向高概率做出决策。大数据是通过对大量数据的挖掘,查明数据间的相关关系,研究问题并做出正确决策的思想、方法。本文提出大数据是应用“归纳法”开展科学研究的思想、方法,以及高性能计算机和大数据计算技术使“归纳法”得以升华的观点。文章通过对统计学、机器学习算法的深入探讨,得出大数据将改变人们对自然的理解和认知方式,改变科学研究的思想和方法,改变长期以来人们通过查找因果关系开展科学研究的习惯。大数据必将开创一条跨越复杂的因果关系、直接获得研究结果的全新的科学研究途径。随着数据爆发式增长,随着高性能计算机的普及和计算技术的迅猛发展,统计分析方法将很大程度地突破数据体量的限制,统计分析预测模型以其真实可靠的处理结果、对条件和结果良好的解释能力、结合机器学习算法对半结构化与非结构化数据的处理优势,将推动地质科学进入定量化研究的新高度。     

国内外岩浆岩数据库现状与应用前景

超过三分之二的地壳岩石是由来自深部的岩浆作用形成,岩浆岩记录的信息是深时数字地球(Deep-time Digital Earth,DDE)特别是深部过程研究的重要载体。岩浆岩分布范围广,样品众多,分析、定年相对方便和精确,易于数据累积。在过去的十多年,全球科学家建立了EarthChem、GEOROC、DataView等多个优秀的岩浆岩数据库。随着大数据时代的到来,地球科学也在经历向地球系统科学的重大转变。如何进一步整合分散在研究机构和个人手中的越来越多的数据,建立能服务大数据和人工智能方法的数据平台,推动地球科学研究由理论驱动的传统因果推理方法向数据驱动的大数据方法转变,是新的很有希望的突破点。文章系统介绍了目前国内外已有的岩浆岩相关数据库及其运行情况,为未来DDE计划整合全球海量岩浆岩数据,建设开放、共享、统一的大数据平台提供经验和基础。同时,也列举了以岩浆岩大数据驱动的科学研究的典型实例,并结合DDE相关任务,对利用岩浆岩大数据和人工智能进一步解决四维地球深部圈层物质构成、交换与动力学这一关键科学问题提出新的展望。     

基于数据仓库的数据挖掘技术

从数据挖掘的产生出发，到发展的各个分支，讨论了各种数据挖掘方法的特点和应用对象。介绍典型的算法、它们的优化改进和变形，并分析数据挖掘技术将来面临的问题及发展方向。     

大数据背景下地质云的构建与应用

地质学属于数据密集型科学,并与地球科学面临的问题息息相关。已经收集的和将要收集的大量数字国土相关数据,由于科学研究的需要,正在不断加以检验和扩充。大数据时代背景下,中国国土资源数字化、信息化的战略行动具有深远意义,大数据的相关技术应用为实现地质工作的现代化和信息化提供了有效的支撑。重点介绍大数据背景下的"地质云"构建理念与方法,以及大数据在地学领域的应用。大数据为非结构化、半结构化的地质数据带来了新的处理方法与理念。地质云的构建旨在探索以需求带动的地质核心数据的应用,挖掘非结构化数据的新数据信息,以支撑国土资源管理决策。     

基于大数据的成因矿物学研究思考

在国际地科联启动深时数字地球大科学计划背景下,开展成因矿物学大数据平台建设和数据深度挖掘和研究,具有十分重要的意义。建议优先考虑矿物系统发生史、矿物标型和矿物成因分类3个方面的数据平台建设,开展3个方面的大数据模型、大数据处理的方法研究和大数据结果的信息提取。部署开展基于大数据的若干国家战略性关键金属元素矿物(如锂矿物、铀矿物、镓矿物、铈矿物、铂矿物等)的系统发生史和矿物类的系统发生史研究,分析其在不同地质历史时期和地球不同构造单元中的聚散规律,为战略性关键金属找矿预测提供思路。根据矿物大数据库的深度挖掘和矿物系统发生史研究所提供的有关矿物演化的规律,揭示地球历史中重要地球物理、地球化学和地球生物事件的性质、分布、规模及辐射效应。借助矿物成因分类的大数据平台,完善“显性”成因矿物族分类和区划图编制,在此基础上,开展基于大数据的“隐性”成因矿物族和找矿矿物族的分类和区划图研制。要重视矿物学和地质大数据研究的复合型人才培养,在开设地质大数据本科专业基础上,在研究生层次开设“成因矿物学大数据”研究方向。     

Development and future prospects of quantitative mineral assessment in China

Mineral potential assessment at the Earth’s surface has been an important research for geoscientists around the world in the past five decades. The fundamental aspects of mineral assessment at different scales can be associated with the following tasks, e.g., mineral potential mapping and estimation of mineral resources. This paper summarized the history and development in terms of theories, methods technologies and software platforms for quantitative assessment of mineral resources in China, e.g. comprehensive information methodology, geological anomaly, three-component quantitative prediction method, 5P ore-finding area, integrated information assessment method, nonlinear process modeling and fractals, three dimensional mineral potential mapping, etc. At last, to discuss the future of quantitative mineral assessment in an era of big data including platform for 3D visualization, analysis and sharing, new methods and protocols for data cleaning, information enhancement, information integration, and uncertainties and multiple explanations of multi-information.© 2019 China Geology Editorial Office.