非结构化地质数据内容存储方法研究

地质工作已迈入大数据时代,但地学信息被记录成的报告、图件等非结构化数据,仍按照较为简单的方式组织归类到一起并存储在文件系统中,形成很多个内部构成复杂的数据集。这种方式不能很好的表达非结构化数据承载的丰富地学信息,也不便表达信息之间的复杂关系,更不利于发现跨数据集存在的深层知识。为尝试解决这个问题,笔者提出了多粒度级别内容树模型和支持演化的数据建模方式。这些特性使得通过模型可以对数据内容进行不同尺度的拆分,对信息的精确定位,还可以使模型根据数据主体需要,拓展主体特征描述的维度,逐步发现数据包含的信息和建立信息与信息之间的关系。考虑到地质大数据的特点,设计了以HBase为核心的数据模型持久化方式,以达到使用大数据技术体系下技术分析处理数据的目的;最后给出了对成果地质数据进行建模的实例,将文档、图件等非结构化数据以内容实体为最小单元进行拆分和重构,达到了较好的内容组织和信息表达效果。     

全球地质数据出版模式探索与研究

科学数据是科技创新的基础,也是人类宝贵的科技信息资源。兼顾保护数据知识产权和推动数据广泛共享是科学数据界长期存在的难题。数据出版（元数据、实体数据、数据论文关联出版）是解决这个难题的有效机制。“全球地质数据出版系统”（中英文）将实现元数据、实体数据、数据论文关联一体出版,通过互联网实现科学传播和公益性共享机制,在保护数据知识产权和促进数据共享方面起着重要作用。该系统将推动全世界地质学家共享科学数据,为地质领域科技创新提供数据基础。本文基于数据出版的概念,全面介绍了全球地质数据出版,并探讨其数据共享的意义价值。     

地质大数据存储技术

在大数据时代背景下,地质大数据的研究及大数据相关技术为实现地质工作的现代化发展和信息化提供了有效的支撑。而当代大数据发展趋势,就是海量数据的存储及越来越多的事物的数据存在形式。通过梳理大数据处理的关键技术,总结归纳了大数据背景下现有存储技术及数据库的类型。在地质大数据和地质云架构的基础上,讨论适合当前地质大数据的存储技术,地质数据具有多源、多元、异构、时空性、方向性、相关性、随机性、模糊性、非线性等特征。因此,对于存储与管理方式的选择应该是具体问题具体分析,建立多技术支持下的大数据架构,才能满足地质大数据的应用需求。     

地质大数据存储技术

在大数据时代背景下,地质大数据的研究及大数据相关技术为实现地质工作的现代化发展和信息化提供了有效的支撑。而当代大数据发展趋势,就是海量数据的存储及越来越多的事物的数据存在形式。通过梳理大数据处理的关键技术,总结归纳了大数据背景下现有存储技术及数据库的类型。在地质大数据和地质云架构的基础上,讨论适合当前地质大数据的存储技术,地质数据具有多源、多元、异构、时空性、方向性、相关性、随机性、模糊性、非线性等特征。因此,对于存储与管理方式的选择应该是具体问题具体分析,建立多技术支持下的大数据架构,才能满足地质大数据的应用需求。     

美国“全国地质和地球物理数据保管计划”实施方案

地学数据保管方案 地学数据保管包括几个步骤：（1）制定规程以评估哪些地质实物资料和数据应加以保存、获取、吸收或注销;（2）建立一个系统来编排实物样品、数据和元数据;（3）为这些资料提供适当的保管设施;（4）使用户知晓这些地学数据和标本并提供使用途径;（5）确保样品和数据始终有用和可靠。     

大数据环境下地质资料的存储策略与文本化导入技术

在分析地质资料文档内容与形式特征的基础上,提出Hadoop大数据环境下的地质资料一体化耦合数据模型与存储策略,分析确定HDFS下地质资料文本化目标格式,并对地质资料原始格式、转换后的文本格式及地质信息的存储方式与模式进行设计;研究常见地质资料格式的文本化实现方式,并构建文本转换技术流程。为大数据环境下地质资料的文本导入提供技术路径,以及大数据环境下文本化地质资料的信息抽取、融合等智能化处理提供统一数据基础,对地质资料大数据分析具有实际意义。     

中国地质大数据研究现状

地质大数据应用研究是国家大数据战略的组成部分。地质学属于数据密集型学科,与地球科学面临的问题息息相关。已经收集的和将要收集的大量数字国土相关数据,由于科学研究的需要,正在不断加以检验和扩充,并已更好地应用与服务于人类活动。重点介绍了国内外大数据研究现状及国家大数据战略,并从地质大数据的定义、特点、产生途径、技术架构等方面剖析国内外地质大数据的研究现状。将目前及未来地质大数据的发展研究方向分为地质大数据发现、地质大数据梳理、地质大数据存储、地质大数据分析、地质大数据应用5个方面。     

Development of Geological Data Warehouse

Data warehouse (DW), a new technology invented in 1990s, is more useful for integrating and analyzing massive data than traditional database. Its application in geology field can be divided into 3 phrases: 1992-1996, commercial data warehouse (CDW) appeared; 1996-1999, geological data warehouse (GDW) appeared and the geologists or geographers realized the importance of DW and began the studies on it, but the practical DW still followed the framework of DB; 2000 to present, geological data warehouse grows, and the theory of geo-spatial data warehouse (GSDW) has been developed but the research in geological area is still deficient except that in geography. Although some developments of GDW have been made, its core still follows the CDW-organizing data by time and brings about 3 problems: difficult to integrate the geological data, for the data feature more space than time; hard to store the massive data in fifferent levels due to the same reason; hardly support the spatial analysis if the data are organized by time as CDW does. So the GDW should be redesigned by organizing data by scale in order to store mass data in different levels and synthesize the data in different granularities, and choosing space control points to replace the former time control points so as to integrate different types of data by the method of storing one type data as one layer and then to superpose the layers. In addition, data cube, a wide used technology in CDW, will be no use in GDW, for the causality among the geological data is not so obvious as commercial data, as the data are the mixed result of many complex rules, and their analysis needs the special geological methods and software; on the other hand, data cube for mass and complex geo-data will devour too much store space to be practical. On this point, the main purpose of GDW may be fit for data integration unlike CDW for data analysis.     

基于GDW的空间数据融合

空间数据融合是目前地学信息领域面临的难题。通过介绍Oracle数据仓库系统架构和其在地学信息存储和分析方面的优点,深入分析ArcInfo中的Geodatabase的空间数据组织模型,重点研究了Oracle Spatial的空间数据存储模型、空间数据和空间索引组织模式,并给出了空间数据融合的具体实现过程。针对具体项目,结合GIS二次开发,能非常高效地实现空间数据的融合。     

城市地质信息数据安全管理研究

随着国家对城市地质工作的不断重视以及力度的加强,城市地质信息系统在经历着不断的发展和更新换代,同时有关地质体状况的基础地质数据、地质环境数据（如地面沉降监测）等也在随着技术的不断发展而逐渐增长。所有的数据集群在一起,通过各种应用平台为城市规划、建设、管理服务。但是,日益庞大的数据将面临数据存储、备份、保护等问题。经过对网络运营状况,现有网络设备、软件系统、数据库规模以及未来网络发展的分析研究,本文结合自身网络特性、通过相应技术手段,为配合未来发展需求,建立了一套城市地质信息数据安全管理体系。     

空间数据仓库元数据的结构体系

给出了空间数据仓库元数据的基本概念，说明了空间数据仓库元数据的相关技术．重点论述了空间数据仓库元数据的结构体系是由11类信息组成，它们分别是空间数据标识信息、区域范围信息、邻接信息、表示信息、数学基础信息、数据集内容信息、质量信息、分发信息、安全信息、联系信息和时间信息，并设计出了空间数据仓库元数据的组织结构。     

浅谈地质资料在新形势下的利用

《地质资料管理条例》的实施,为搞好地质资料社会公开化提供了有利条件,发挥地质资料馆藏资源优势,实现信息资源共享是今后的工作方向。     

对地质资料归档汇交中若干问题的分析

地质资料是地质资源信息的宝库,它包含着巨大的社会经济价值。依法归档与汇交地质资料是地质工作者的责任与义务。本文通过阐述地质资料归档与汇交工作的意义与具体要求,剖析了归档与汇交工作中常出现的资料格式不符合规范、电子文档制作系统的使用不够熟练等问题,并提出了解决办法,对该项工作规范、高效的完成具有参考意义。     

成果地质资料汇交中存在的问题及建议

本文阐述了成果地质资料汇交中常出现的成果资料齐全性、纸介质资料和数据光盘质量、成果资料划分类别及汇交格式等问题,特别是纸介质文件和电子文件不一致及电子文件安全性等问题,通过梳理,为资料汇交验收工作提出了建议,对进一步做好成果地质资料汇交工作具有参考意义。     

地勘单位必须认真学习贯彻《地质资料管理条例》

《地质资料管理条例》的颁布是国家对地质资料管理所作的一项重大改革，也是国家为新时期地质资料管理所立的一部重要法律。依法管理并认真贯彻执行《地质资料管理条例》，是历史赋予地勘单位的法定职责。