大数据在地质资料管理与服务中“落地”问题分析

大数据已成为继云计算、物联网之后新的IT热词。大数据与每个人的生活息息相关。地质资料数据包括了基础地质、矿产、地球物理、地球化学等丰富的信息,对国家、社会具有巨大的潜在应用价值和保存价值。地质资料管理与服务如何与大数据技术更好地结合,产生更大的价值,值得研究。以基层地质资料馆为例,分析地质资料管理与服务的现状及需求,探索如何借鉴大数据思维,改进地质资料管理与服务工作,实现地质数据高效管理,有效地挖掘,使宝贵的地质资料数据发挥出更大的社会使用价值。     

从第34届国际地质大会看地学信息技术发展趋势

当前世界进入基于大数据进行数据密集型科学研究的时代,协同操作的数据、信息、系统、空间基础设施对整个地球科学研究和应对巨大社会挑战至关重要.2012年8月在澳大利亚布里斯班召开的第34届国际地质大会,吸引了世界范围内的行业领军科学家交流讨论了地学信息领域取得的进展、成果和发展趋势.从本届地质大会来看,计算机技术、数据库技术、网络技术、虚拟技术等现代化的技术深入应用到了地学众多专业领域,地学信息产品服务成为了信息化时代各国为公众提供公益性服务的主流渠道,地学信息逐步突破孤立的专题、地区、国家的限制,跨专业、跨学科、跨国乃至跨大洲级别的数据共享将逐步达成共识.当前,全球的地学信息科学家都在朝着这同一方向努力,让地学知识能够快速、便捷、高效的为变化的地球服务.     

国内外基础地质数据更新现状与思考

在大数据、云计算、移动互联网等信息技术的推动下,地质科研范式正由过去的经验范式、理论范式向数据密集型范式转变。基础地质数据是国家基础性、战略性、公益性地质调查工作成果,反映了地质调查的精度和质量,是地质调查工作创新、服务和可持续发展的基点与源泉,决定了地质调查事业发展的战略制高点和竞争力。在以密集数据为基础的科学研究第四范式即将来临之际,基础地质数据的数量、质量和更新时效已成为衡量一个国家地质调查工作水准的基础标准之一。大部分国家按照严格的技术标准实现了基础地质数据库的实时更新和基础地质数据与图件的一体化表达,并面向社会需求研发出类别丰富的地质数据衍生产品。我国虽然建成了地质云平台,实现了一批数据库的汇聚和共享,但基础地质数据更新机制尚不健全,影响了宏观尺度的地质认知水平;基础地质数据更新标准与技术刚刚提上日程,制约了地质调查工作的支撑服务能力;基础地质数据研发服务能力不足,限制了数据更新的外在需求。基于此,本文提出了依托地质云平台构建基础地质数据更新体系的建议:一是建立“地质云节点一盘棋”的数据更新工作机制;二是构建全国统一的基础地质数据更新标准体系;三是构建“大数据、智能化和在线化”三位一体的数据更新技术体系;四是打造多方稳定协同的数据更新队伍体系。     

基于混合架构的地学信息数据库管理系统的实现

文章在已经建设完成的高放废物地质处置地学信息数据库的基础上,采用B/S和C/S混合架构,基于.NET平台和JAVA Web等编程技术,在完成基础GIS系统、多源数据集成技术和数据应用表述功能等基础开发工作的前提下,实现了地学信息数据库管理系统所有功能模块的集成,尤其是专业数据管理服务和全文检索服务两大重要服务功能的实现,为高放废物地质处置领域科研数据管理与二次利用提供了便利的基础支撑。     

探讨基于CitusDB的地质资料集群和大数据架构

地质资料是地质工作形成的重要成果资料,具有可被重复开发利用、能够长期提供服务的功能。然而,因地质资料的分散式管理,使得地质资料信息存储分散,“孤岛”式服务的现象普遍存在,缺乏资料信息共享、综合利用的机制和手段,制约着地质资料信息潜在价值的有效发挥。地质资料信息服务集群化旨在通过信息领域前沿技术,对地质资料进行集成集群和深度开发,将分散、孤立的地质资料进行分布式汇集,全方位多角度解读、展现、挖掘地质资料信息,充分发挥地质资料服务于经济社会发展的作用。长期的地质调查工作,已经形成了多专业、数据格式多样的海量地质资料,信息服务的集群化必将面临地质大数据相关的技术问题。介绍了地质资料信息服务集群化模式,分析了CitusDB软件的分布式大数据运行机理,探讨了基于CitusDB软件的地质资料集群和大数据服务架构,可为地质大数据与信息服务提供一定的参考。     

大数据背景下的国家地质信息服务系统建设

探讨大数据背景下建设国家地质信息服务系统的相关问题。结合典型的云计算构架给出国家地质信息服务系统的概念模型。从地质信息特点角度讨论了地质数据资源整合的相关问题。结合中国地质调查局系统、地质相关行业、地质相关单位部门现状,讨论系统节点建设与节点对接问题。对比发达国家地质调查局提供信息服务的新特点,提出基于大数据的国家地质信息服务系统如何助推地质信息共享,资料数据服务与信息知识服务并重,服务于国家建设与社会经济发展的问题。     

多源异构地质数据集成方法应用研究

大数据技术的高速发展为地质数据挖掘与分析带来了新的机遇。借鉴大数据技术的思想,提出了一种多源异构的地质数据集成方法,为数据挖掘、地质数据信息化服务提供了技术基础。针对北京周口店研究区,建立了其野外地质三维综合信息平台,将各类地表、地质体、地质信息等结构、半结构、非结构数据集成到统一的平台系统中,实现了研究区域相关地质数据的集成管理、可视化浏览、查询与分析,为大数据方法在地质领域的应用提供了新的思路。     

地质图数据库现状与地质制图发展趋势

地质图是地质信息最重要的载体之一,凝聚了人们对地质理论的研究成果和对地质过程的理解。随着大数据时代的到来,地质制图的指导理论和方法手段发生了翻天覆地的变化,全球的科学家运用新方法新技术建立了OneGeology、OpenGeoscience、NGMDB、地质云等一系列地质图相关的优秀数据库,这些数据库的有效运行为全球的地质工作者提供了海量的地学数据和便捷的信息服务。此次研究重点调研了国内外已有的地质图相关数据库及运行情况,为Deep-Time Digital Earth(DDE)计划整合全球地质图相关数据库、建设相关数据平台提供经验和基础;同时,回顾了地质制图的发展历史,介绍了与地质制图相关的技术手段和常用软件;最后,为了满足大数据时代经济社会对地质图信息资料服务的需求,结合DDE相关任务,对深化国际合作编图、创新计算机智能地质制图及网络共享服务等核心技术提出了新的展望。     

大数据时代城市地质信息的集群与产业化发展

以城市地质调查成果为依托,深化城市地质信息的集群化与产业化,是顺应大数据时代发展的必然要求。阐述了大数据的基本特征、城市地质信息集群化与产业化的工作准则与技术途径;结合上海地区实践,探讨城市地质信息集群化与产业化的社会应用及服务领域开拓。     

基于大数据发现技术的国外地质信息服务跟踪

近年来,大数据越来越受到计算机、地质、生物、医学等诸多领域的关注且得到了广泛的应用。以世界主要发达国家地质信息服务跟踪为例,针对美、加、英、澳4国的主要地质调查网站及中国知网,运用地质大数据发现技术的网络爬虫方法,获取需求文本数据,进而分析文本内容,总结国外地质信息社会化服务现状。大数据发现技术在地质领域的合理运用,对快速、高效获取图片、文档等数据及降低信息获取成本具有一定的意义。     

全球矿床数据库建设现状、应用与展望

基于大数据和人工智能技术的数据驱动科学范式推动地球科学研究发生了变革。作为地球科学的重要分支,现代矿床学经历了百余年的发展,已经积累了海量的数据资料,这些数据的流通和共享是发挥其资源价值的关键。文章介绍了中国“地质云”与全球矿产资源储量动态评估数据库、澳大利亚深部地球探测计划AuScope、美国矿产资源在线空间数据库、国际经济地质学家学会(SEG)Geofacets数据库、美国标准普尔公司SNL Metals&Mining数据库等国际主要矿床数据库的情况;同时,列举了应用大数据思维和人工智能方法在区域成矿规律、矿床成因机制、矿床类型判别、资源潜力评价、战略咨询等方面取得的若干重要进展。文章提出,未来在深时数字地球国际大科学计划的平台下,整合全球海量矿床数据,建设开放、共享、统一的矿床大数据平台势在必行。     

基于云架构的中国地质调查信息网格平台关键技术研究与实现

目前中国地质调查网格结点体系已基本形成,初步实现门户的自治,结点资源与门户资源的共享与协同。随着信息技术的发展,以及云GIS、大数据、北斗等技术在网格平台中的开展、应用,从网格平台基于云架构体系升级入手,阐述了基于云架构非结构化地质数据存储与管理、快速搭建地质调查业务系统中间件和野外地质调查工作管理与安全保障服务等一系列关键技术的研究与实现,为网格平台的下一步发展提供了研究基础。     

地质大数据体系建设的总体框架研究

基于大数据、云计算等现代信息技术与理念,结合地质调查工作实际,系统论述了建设地质大数据体系的总体框架和实现的技术途径。提出了地质大数据体系建设的5项任务组成: 建设地质数据采集体系,推进地质数据快速规范采集; 建设地质大数据汇聚体系,实现地质数据快速有效汇聚; 建设地质数据与信息服务产品体系,丰富地质数据与信息社会化服务产品; 建设地质数据与信息服务体系,推进地质数据与信息协同服务; 建设地质大数据支撑平台(“地质云”),提升地质数据与信息服务的能力和水平。论述了5项任务的主要内容及其面临的关键技术问题,并简要提出了建设地质大数据体系对其他相关工作的影响和要求。     

地质调查大数据研究的主要问题分析

地质调查大数据包含地质调查工作中产生的多来源、多模态地质数据,以及公共服务与支撑管理产生的数据。一些与数据和计算有关的地质问题,限于当时的信息技术条件,没有得到很好的解决,解决这类地质问题及信息数据共享问题是地质调查大数据处理技术的基本目标。在地质调查大数据处理技术中,应当积极开展多类型地质数据采集器、新型非易失性存储技术、分布式计算、内存计算技术产品开发与应用,然后集中开展、深度分析与挖掘、可视分析技术产品开发与应用,最终形成地质调查大数据处理技术体系与产品线,以产品应用推动资源共享,提升地质调查信息化服务品质。     

大数据环境下数字填图数据集成服务技术

应用数字填图技术形成了大量地质填图图幅数据,这些数据空间结构化和非结构化特征并存,如何在网络环境下提供高效的数据服务是急需解决的一个难题。大数据技术的发展为数字填图、数据集成服务提供了一种新的途径。通过对数字填图数据特征的分析,在研究地质调查信息网格大数据处理框架的基础上,提出了结构化和非结构化数据相结合的有序化组织管理、发布与服务方法,并对关键技术进行了研究与试验,取得了良好的效果。     

基于NAS的地质资料信息化服务解决方案

馆藏地质资料的网络化、多元化、社会化是未来地质资料信息化发展的重要方向。在地质资料信息化服务过程中,既要保证提供服务,又要确保安全是资料管理工作中需要解决的问题。基于NAS的地质资料信息化解决方案针对地质资料的图文数字化、管理与复用、提取与存储等常用地质服务,使用Java语言及平台构建的C/S与B/S两套应用系统相辅相成,支持在线检索、预览与实地借阅、打印等功能,集成了用户统一管理、全局统一控制、日志统一查询,同时确保了地质资料的易用性与安全性,为地质资料信息网络化、社会化、集群化管理提供了新的技术支撑。     

浅谈地质资料集群化产业化上海模式在湖北黄石市的应用

地质资料是地质工作形成的重要基础信息源,是国民经济和社会发展的重要信息支撑。但是,地质资料的分散保管、各自利用的现状难以满足国民经济发展对地质资料信息共享服务的需求。上海市地质资料汇交机制具有以下特点:(1)将城市勘察地质资料纳入了地质资料汇交管理主流程,从机制和制度上保证了城市勘察地质资料的正常汇交;(2)建立了城市地质建模和三维可视化方法;(3)建立了地质资料信息共享机制;(4)建立了地质资料信息服务机制,上海市地质调查院以地质需求为导向,加强地质资料集群和深度开发服务。同上海市相比,黄石市地质资料信息服务集群化具有独自特点:将地质数据分为11类,计100多个数据类型;建立了矿业城市和地级市地质资料信息服务集群化技术路线、技术方法和标准体系,在城市地质模型的基础上,建立了矿业城市矿政管理与服务模型;对地质资料进行了分步集群化,即地质资料目录收集齐全→地质资料收集、汇交齐全→建全试点数据库→建好地质三维模型→地质资料、数据、图形、模型的管理和分析评价;建立了黄石市地质资料管理服务系统,还有待完善。黄石市地质资料管理服务系统的建立及地质资料信息服务集群化技术方法,对全国矿业城市和地级市城市地质资料信息服务集群化产业化工作的开展具有示范作用。