大数据背景下地质云的构建与应用

地质学属于数据密集型科学,并与地球科学面临的问题息息相关。已经收集的和将要收集的大量数字国土相关数据,由于科学研究的需要,正在不断加以检验和扩充。大数据时代背景下,中国国土资源数字化、信息化的战略行动具有深远意义,大数据的相关技术应用为实现地质工作的现代化和信息化提供了有效的支撑。重点介绍大数据背景下的“地质云”构建理念与方法,以及大数据在地学领域的应用。大数据为非结构化、半结构化的地质数据带来了新的处理方法与理念。地质云的构建旨在探索以需求带动的地质核心数据的应用,挖掘非结构化数据的新数据信息,以支撑国土资源管理决策。     

地质科学大数据统合应用的基本问题

进行地质科学大数据统合利用,涉及一系列理论、方法和技术问题,包括:多源多类异质异构地质数据的采集、存储和管理问题;数据汇聚、集成和结构化、可视化转换问题;数据同化、融合问题和深度挖掘、广度聚联问题;地质大数据有效利用的方式、方法和途径问题,以及云服务的模式和系统架构问题。所面对的挑战是实现结构化-半结构化-非结构化数据、静态勘查数据与动态监测数据的一体化存储、管理、处理和应用,以及大数据与小数据、混杂性数据与精确性数据、模型与数据、有模型与无模型、关联关系和因果关系的矛盾与统一问题。     

地质大数据存储技术

在大数据时代背景下,地质大数据的研究及大数据相关技术为实现地质工作的现代化发展和信息化提供了有效的支撑。而当代大数据发展趋势,就是海量数据的存储及越来越多的事物的数据存在形式。通过梳理大数据处理的关键技术,总结归纳了大数据背景下现有存储技术及数据库的类型。在地质大数据和地质云架构的基础上,讨论适合当前地质大数据的存储技术,地质数据具有多源、多元、异构、时空性、方向性、相关性、随机性、模糊性、非线性等特征。因此,对于存储与管理方式的选择应该是具体问题具体分析,建立多技术支持下的大数据架构,才能满足地质大数据的应用需求。     

地质大数据存储技术

在大数据时代背景下,地质大数据的研究及大数据相关技术为实现地质工作的现代化发展和信息化提供了有效的支撑。而当代大数据发展趋势,就是海量数据的存储及越来越多的事物的数据存在形式。通过梳理大数据处理的关键技术,总结归纳了大数据背景下现有存储技术及数据库的类型。在地质大数据和地质云架构的基础上,讨论适合当前地质大数据的存储技术,地质数据具有多源、多元、异构、时空性、方向性、相关性、随机性、模糊性、非线性等特征。因此,对于存储与管理方式的选择应该是具体问题具体分析,建立多技术支持下的大数据架构,才能满足地质大数据的应用需求。     

智能地质调查大数据应用体系架构与关键技术

地质调查数据主要由结构化和非结构化多样性的数据构成。由非结构化多样性数据文件组成的报告,由于技术原因,长期以来一直以传统的目录文件方式进行存储。这种存储方式导致数据的查询、统计、更新等操作不但低效,而且非常不利于检索、查询、挖掘等应用,使得数据服务能力极低。通过把Hadoop生态体系融入中国地质调查云平台架构,基于Hadoop HDFS和HBase存储架构,建立非结构化地质数据基础内容库存储组织模式,采用Lucene全文搜索引擎架和地质领域本体词库构建快速随机访问的索引文件机制,改变了多样化、碎片化的复杂地质调查非结构化数据的存储、阅读、搜索和应用模式,为智能地质调查提供精确、快速服务奠定基础。     

智能地质调查大数据应用体系架构与关键技术

地质调查数据主要由结构化和非结构化多样性的数据构成。由非结构化多样性数据文件组成的报告,由于技术原因,长期以来一直以传统的目录文件方式进行存储。这种存储方式导致数据的查询、统计、更新等操作不但低效,而且非常不利于检索、查询、挖掘等应用,使得数据服务能力极低。通过把Hadoop生态体系融入中国地质调查云平台架构,基于Hadoop HDFS和HBase存储架构,建立非结构化地质数据基础内容库存储组织模式,采用Lucene全文搜索引擎架和地质领域本体词库构建快速随机访问的索引文件机制,改变了多样化、碎片化的复杂地质调查非结构化数据的存储、阅读、搜索和应用模式,为智能地质调查提供精确、快速服务奠定基础。     

基于BERT—BiLSTM—CRF模型的中文岩石描述文本命名实体与关系联合提取

地质调查正在从"数字化"走向"智能化",需要在大数据思维的指导下,面向非结构化数据开展机器阅读和地质知识的自动提取.地学命名实体和关系联合提取是当前研究的难点和核心.本文采用基于大规模预训练中文语言模型的BERT—BiLSTM—CRF方法开展岩石描述文本命名实体与关系联合提取.首先,通过收集数字地质填图工作中的剖面测量...     

基于云架构的中国地质调查信息网格平台关键技术研究与实现

目前中国地质调查网格结点体系已基本形成,初步实现门户的自治,结点资源与门户资源的共享与协同。随着信息技术的发展,以及云GIS、大数据、北斗等技术在网格平台中的开展、应用,从网格平台基于云架构体系升级入手,阐述了基于云架构非结构化地质数据存储与管理、快速搭建地质调查业务系统中间件和野外地质调查工作管理与安全保障服务等一系列关键技术的研究与实现,为网格平台的下一步发展提供了研究基础。     

基于云架构的中国地质调查信息网格平台关键技术研究与实现

目前中国地质调查网格结点体系已基本形成,初步实现门户的自治,结点资源与门户资源的共享与协同。随着信息技术的发展,以及云GIS、大数据、北斗等技术在网格平台中的开展、应用,从网格平台基于云架构体系升级入手,阐述了基于云架构非结构化地质数据存储与管理、快速搭建地质调查业务系统中间件和野外地质调查工作管理与安全保障服务等一系列关键技术的研究与实现,为网格平台的下一步发展提供了研究基础。     

大数据时代铀矿资源预测评价的技术方法探讨

文章介绍了大数据的概念及特点,从大数据采集、预处理、存储与管理、分析与挖掘、可视化与应用5个方面分析了大数据的分析与处理关键技术,结合铀矿资源预测评价现状,提出了大数据时代铀矿地质云的构建,探讨了大数据时代铀矿资源预测评价技术方法,对如何应用大数据理念和技术,科学挖掘铀矿资源预测的有效信息,以实现铀矿资源的定量预测,具有十分重要的意义。     

自然资源时期:大数据与地球系统科学——再论全面发展时期的勘查地球化学

中国勘查地球化学全面发展的重要标志和本质特征是大数据信息与地球系统科学。勘查地球化学的全面发展坚持资源与环境并重方针,真实生动地反映国家经济社会发展的历史轨迹,在科学技术领域具有典型意义。自然资源时期地质工作关于资源内涵从矿产资源、国土资源到一切自然资源,关于环境内涵从地质环境、国土环境到包括山水林田湖草生命共同体在内的一切自然环境。本文继2008年对此有所评述后,在国家自然资源部成立之际,地质工作面临深刻转型之时,从大数据信息科学与自然资源地球化学调查、建立地球系统科学指导的自然资源地球化学理论体系与自然资源地球化学评价体系,以及针对自然资源领域重大科学问题,深化地球化学应用研究与理论研究,构建完善的科学体系等若干值得注意的方面再次就此议题加以评论。勘查地球化学的长期目标是通过大数据信息与地球系统科学研究揭示自然资源与自然环境状况,实现对地球资源的科学开发、合理利用和整体保护,创造人类与地球和谐共处的生存环境。由此,转型和升级贯穿中国勘查地球化学发展的全过程。地球化学将以形态和内涵的系统性、综合性、整体性作用,以及应用实践的多目标全方位面貌出现在国家行业部门与科技领域,极大地拓展和深入经济社会发展各个方面。勘查地球化学以方法技术优势实行大调查、大数据、大应用战略,建立大环境、大生态、大地球观,向大地质、大资源、大科学转变,为解决自然资源与生态环境问题提供地球化学方案,将全面发展时期的勘查地球化学从大数据信息应用优势和地球系统科学理论高度提升到"大地球化学"境界。     

基于地质大数据理念的模型驱动矿产资源定量预测

在大数据科学成为新的科学范式的背景下,基于地质大数据理念,提出了模型驱动的矿产资源定量预测评价的新方法,以及模型流程建模技术贯穿整个矿产资源预测评价过程的新思路,以地质理论指导地质大数据分析和计算机技术实现地质大数据挖掘2条主线展开研究,实现了面向地质大数据的数据挖掘与矿产资源的定量预测评价。结合青海祁漫塔格铁铜多金属矿床、山东焦家金矿床、云南个旧锡铜多金属矿床等不同地区、不同成矿类型和矿种开展了应用研究,完成了找矿模型工作流的设计与实现,进行了有利成矿信息的挖掘,取得了较好的效果,为大数据时代数字地质研究提供了新的思路。     

基于地质大数据理念的模型驱动矿产资源定量预测

在大数据科学成为新的科学范式的背景下,基于地质大数据理念,提出了模型驱动的矿产资源定量预测评价的新方法,以及模型流程建模技术贯穿整个矿产资源预测评价过程的新思路,以地质理论指导地质大数据分析和计算机技术实现地质大数据挖掘2条主线展开研究,实现了面向地质大数据的数据挖掘与矿产资源的定量预测评价。结合青海祁漫塔格铁铜多金属矿床、山东焦家金矿床、云南个旧锡铜多金属矿床等不同地区、不同成矿类型和矿种开展了应用研究,完成了找矿模型工作流的设计与实现,进行了有利成矿信息的挖掘,取得了较好的效果,为大数据时代数字地质研究提供了新的思路。     

大数据环境下数字填图数据集成服务技术

应用数字填图技术形成了大量地质填图图幅数据,这些数据空间结构化和非结构化特征并存,如何在网络环境下提供高效的数据服务是急需解决的一个难题。大数据技术的发展为数字填图、数据集成服务提供了一种新的途径。通过对数字填图数据特征的分析,在研究地质调查信息网格大数据处理框架的基础上,提出了结构化和非结构化数据相结合的有序化组织管理、发布与服务方法,并对关键技术进行了研究与试验,取得了良好的效果。     

大数据环境下数字填图数据集成服务技术

应用数字填图技术形成了大量地质填图图幅数据,这些数据空间结构化和非结构化特征并存,如何在网络环境下提供高效的数据服务是急需解决的一个难题。大数据技术的发展为数字填图、数据集成服务提供了一种新的途径。通过对数字填图数据特征的分析,在研究地质调查信息网格大数据处理框架的基础上,提出了结构化和非结构化数据相结合的有序化组织管理、发布与服务方法,并对关键技术进行了研究与试验,取得了良好的效果。     

多源异构地质数据集成方法应用研究

大数据技术的高速发展为地质数据挖掘与分析带来了新的机遇。借鉴大数据技术的思想,提出了一种多源异构的地质数据集成方法,为数据挖掘、地质数据信息化服务提供了技术基础。针对北京周口店研究区,建立了其野外地质三维综合信息平台,将各类地表、地质体、地质信息等结构、半结构、非结构数据集成到统一的平台系统中,实现了研究区域相关地质数据的集成管理、可视化浏览、查询与分析,为大数据方法在地质领域的应用提供了新的思路。     

Quantitative Geoscience and Geological Big Data Development: A Review

After long-term development, mathematical geology has today become an independent discipline. Big Data science, which has become a new scientific paradigm in the 21 st century, gives rise to the geological Big Data, i.e. mathematical geology and quantitative geoscience. Thanks to a robust macro strategy for big data, China’s quantitative geoscience and geological big data’s rapid development meets present requirements and has kept up with international levels. This paper presents China’s decade-long achievements in quantitative prediction and assessment of mineral resources, geoscience information and software systems, geological information platform development, etc., with an emphasis on application of geological big data in informatics, quantitative mineral prediction, geological environment and disaster management, digital land survey, digital city, etc. Looking ahead, mathematical geology is moving towards "Digital Geology", "Digital Land" and "Geological Cloud", eventually realizing China’s grand "Digital China" blueprint, and these valuable results will be showcased on the international academic arena.