数据预处理技术在地学大数据中应用

大数据时代随着数据的爆发式增长,在带来可供研究的海量数据的同时,也带来巨量的噪声和冗余数据。在地学领域,由于研究方向和技术方法手段的多样化,产生了数据量巨大和类型众多的地学数据集合。在地学信息的研究过程中,经常碰到地学信息孤岛,分图幅地学数据边界系统误差和地学文档的非结构化问题。在对地学数据进行信息的提取和挖掘之前,必须根据研究目的对地学大数据进行预处理,使冗余、复杂的大数据转为结构化、准确、可用的数据。本文以地学大数据的预处理技术为切入点,从地学数据交互标准与语义、数据调平、地质图接边和文本结构化等四个研究方面,分析阐述目前地学大数据挖掘方面存在的问题及主要的解决手段,同时也对多元数据融合在大数据中的应用进行了阐述。希望通过本文对地学大数据预处理技术的探讨,能对地学大数据的挖掘有所帮助。     

长江流域陆地水储量与多源水文数据对比分析

从趋势性、滞后性及相关性三方面,对2002—2013年间GRACE重力卫星反演的长江上游与中游陆地水储量与模型模拟土壤含水量、实测降水和实测径流数据进行了对比分析,并从干旱强度及发展时间两方面评估了标准化陆地水储量指数SWSI、标准化降水指数SPI、标准化径流指数SRI和标准化土壤含水量指数SSMI对区域性干旱的表征能力.结果表明:长江上游地区陆地水储量与降水、径流和土壤水蓄量均无显著变化,而中游地区陆地水储量则与水库蓄量同样具有显著性增加,反映人类活动对中游地区陆地水储量变化有很大影响;各指标指示的各等级干旱月份数量基本相当,但各指标反映的特旱具体月份有较大差别,基于GRACE数据构建的SWSI指标对特大干旱的指示性不好;对比各指标对上游与中游地区干旱事件发展时间,体现出水文干旱、农业干旱对气象干旱存在一定的迟滞关系.     

空间数据存储研究及其在岩石圈深部探测数据中的应用

深部地球物理探测数据是岩石圈结构研究的重要资料,然而由于地学数据本身的多来源、多学科、海量等特点阻碍了数据的共享,而GIS技术恰好以强大的多学科交叉和空间数据处理功能为数据发布提供了新的途径。在GIS中信息的显示和分析方法都取决于地理信息数据模型,因此在利用GIS技术建立数据共享平台时,建立一个符合数据体查询和分析要求的数据模型尤为重要。笔者对几种空间数据存储方式和主流的空间数据模型进行了深入研究,最终结合深部地球物理探测数据的特点,以Geodatabase为基础建立了一个数据模型,为数据发布奠定了基础。     

数据和曲线并存的台站日常数据处理软件

本文介绍一个台站日常的数据处理工作软件 ,它用于我局台站观测数据录入、检查及生成上报格式的文档文件。它具有可移植性 ,并适用于一些整点值数据处理 ,如地倾斜整点值、地磁的垂直分量整点值等等     

探讨基于CitusDB的地质资料集群和大数据架构

地质资料是地质工作形成的重要成果资料,具有可被重复开发利用、能够长期提供服务的功能。然而,因地质资料的分散式管理,使得地质资料信息存储分散,“孤岛”式服务的现象普遍存在,缺乏资料信息共享、综合利用的机制和手段,制约着地质资料信息潜在价值的有效发挥。地质资料信息服务集群化旨在通过信息领域前沿技术,对地质资料进行集成集群和深度开发,将分散、孤立的地质资料进行分布式汇集,全方位多角度解读、展现、挖掘地质资料信息,充分发挥地质资料服务于经济社会发展的作用。长期的地质调查工作,已经形成了多专业、数据格式多样的海量地质资料,信息服务的集群化必将面临地质大数据相关的技术问题。介绍了地质资料信息服务集群化模式,分析了CitusDB软件的分布式大数据运行机理,探讨了基于CitusDB软件的地质资料集群和大数据服务架构,可为地质大数据与信息服务提供一定的参考。     

Limitations of dimension and displacement data from single faults and the consequences for data analysis and interpretation

The relationship between the maximum cumulative displacement on a fault (D) and the maximum linear dimension of the fault surface (W) is given by the expression D = cWⁿ, where the value of c is determined by rock properties; proposed values for n range from 1.0 to 2.0. Published datasets of D vs W measurements, together with new data, are presented in a common format. Most datasets are derived from maps and so the measurements of displacement and length do not represent maximum values for each fault. This factor, together with more than an order of magnitude range of c, causes regression on D vs W plots to be unsafe unless the range of W values plotted is ca 5 orders of magnitude. This restriction means that individual datasets must be combined to achieve the required range of fault size. Data analysis shows that the value of n must exceed 1.0 but discrimination between values of 1.5 and 2.0 cannot be made on the basis of data analysis alone. A modified fault growth model in which the increase in dimension of a fault with each slip event is proportional to W^0.5 gives rise to a value for n of 1.5. As this model has a sound mechanical basis 1.5 is the preferred value for n. The value of n influences other aspects of fault geometry, including the displacement profile on a fault surface, the spacing of depth contours on faulted horizons and the displacement populations of single fault surfaces.     

重庆市实物地质资料管理工作中的难点与对策探讨

实物地质资料管理是自然资源主管部门和馆藏机构的一项法定工作职责。由于历史原因,重庆市自变为直辖市以来实物地质资料管理工作相对滞后,近年来实物地质资料筛选工作的分级开展,实物地质资料的种类和数量呈增长趋势,粗放式分散保管在地勘单位和野外工作现场的方式已不再适应新形势,亟需规范管理。本文主要论述了重庆市实物地质资料管理现状,阐述了在实物地质资料管理工作中急需解决的难点,提出了加强实物地质资料馆藏机构建设、理顺实物地质资料管理体系、落实实物地质资料管理专项资金以及编制重庆市实物地质资料收藏规划等相关对策,为推进重庆市实物地质资料管理工作提供参考。     

重庆市实物地质资料管理工作中的难点与对策探讨

实物地质资料管理是自然资源主管部门和馆藏机构的一项法定工作职责。由于历史原因,重庆市自变为直辖市以来实物地质资料管理工作相对滞后,近年来实物地质资料筛选工作的分级开展,实物地质资料的种类和数量呈增长趋势,粗放式分散保管在地勘单位和野外工作现场的方式已不再适应新形势,亟需规范管理。本文主要论述了重庆市实物地质资料管理现状,阐述了在实物地质资料管理工作中急需解决的难点,提出了加强实物地质资料馆藏机构建设、理顺实物地质资料管理体系、落实实物地质资料管理专项资金以及编制重庆市实物地质资料收藏规划等相关对策,为推进重庆市实物地质资料管理工作提供参考。     

地质云分布式数据中心数据建设成果

正我国国民经济和社会发展第十三个五年规划纲要提出实施国家大数据战略,要求加快建设国家政府数据统一开放平台,推动政府信息系统和公共数据互联开放共享;制定政府数据共享开放目录,依法推进数据资源向社会开放。中国地质调查局积极贯彻落实中央及自然资源部大数据与信息化建设总体部署,围绕世界一流的新型地质调查局建设目标,启动了"地质云"建设工作。旨在依托云计     

海陆过渡区空地重力数据融合及评价

海陆过渡区是海洋与陆地复合与交叉的地理单元,是资源与环境条件最为优越的地区,将航空重力与地面重力有效融合,形成连续的重力场资料,对海陆过渡区资源与环境评价具有重要意义。本文选择日照—连云港海陆过渡区为示范区,开展了航空重力数据与地面重力数据的融合研究。通过数据整理与对比分析,总结了数据间系统差的确定方法,提出了空地重力数据间一致性与差异性的评估方法,并分别采用剖面和平面两种形式对数据间的一致性和差异性进行了量化评估;在数据量化评估的基础上,采用平面均方根误差法分别对混合法与缝合法的数据拼接质量进行了定量评价,为数据融合方法的选择提供了定量依据。研究结果表明,日照—连云港海陆过渡区航空重力与地面重力数据间剖面上的一致系数为0. 81~0. 99,平面上的一致系数为0. 95,数据间一致性较高,具备较好的数据融合基础;对比试验表明,缝合法对于海陆过渡区空地重力数据融合效果更佳,采用缝合法融合后的重力数据与原始空地重力数据间的均方差分别为2. 63×10 -5 m/s 2 、0. 98×10 -5 m/s 2 ,取得了较好的融合效果。日照—连云港海陆过渡区空地重力数据的融合,为同类地区开展多源重力数据的融合提供了借鉴。     

Non-Gaussian data expansion in the Earth Sciences

A formalism is proposed to generate alternative equiprobable images of an underlying population spatial distribution. The resulting images honour data values at their locations and reflect important characteristics of the data such as patterns of spatial connectivity of extreme-values. The formalism capitalizes on a coding of all information available into bits (0-l), which are then processed all together accounting for their patterns of correlation in space. Such common coding allows accounting for qualitative information, possibly of an interpretative nature, to complement the usually sparse hard data available in Earth Sciences applications. The approach proposed, although of a probabilistic nature, does not call for any Gaussian-type modelling or hypothesis.     

Assimilation of IRS-P4 (MSMR) meteorological data in the NCMRWF global data assimilation system

Oceansat-1 was successfully launched by India in 1999, with two payloads, namely Multi-frequency Scanning Microwave Radiometer (MSMR) and Ocean Color Monitor (OCM) to study the biological and physical parameters of the ocean. The MSMR sensor is configured as an eight-channel radiometer using four frequencies with dual polarization. The MSMR data at 75 km resolution from the Oceansat-I have been assimilated in the National Centre for Medium Range Weather Forecasting (NCMRWF) data assimilation forecast system. The operational analysis and forecast system at NCMRWF is based on a T80L18 global spectral model and Spectral Statistical Interpolation (SSI) scheme for data analysis. The impact of the MSMR data is seen globally, however it is significant over the oceanic region where conventional data are rare. The dry-nature of the control analyses have been removed by utilizing the MSMR data. Therefore, the total precipitable water data from MSMR has been identified as a very crucial parameter in this study. The impact of surface wind speed from MSMR is to increase easterlies over the tropical Indian Ocean. Shifting of the positions of westerly troughs and ridges in the south Indian Ocean has contributed to reduction of temperature to around 30‡S.     

关于推进地质资料开发利用工作的思考

近20多年来,中国地质资料服务工作取得显著进展,但地质资料开发利用研究工作尚处于起步阶段,存在开发意识不强、规章制度和技术标准不完善、产业化进展迟缓、知识产权保护不到位、开发内容和方式方法不多、产品供给与需求不匹配等问题。基于地质资料属性特点,探讨了地质资料开发利用工作具有的科学、经济、文化、历史4方面的价值和作用;论述了地质资料开发利用工作将呈现出的选题市场化、资源共享化、方法信息化、载体多样化、产品商品化等特点,并要遵循一定的开发流程和方法;提出了在完善政策和标准规范、丰富信息资源、制定开发规划、加强资源信息化建设、拓宽开发内容、推进开发产业化、处理保密与利用关系、转变观念等方面的对策建议,可为下一步更好地推进中国地质资料开发利用工作提供一定的指导和借鉴。     

Normal and lognormal data distribution in geochemistry: death of a myth. Consequences for the statistical treatment of geochemical and environmental data

All variables of several large data sets from regional geochemical and environmental surveys were tested for a normal or lognormal data distribution. As a general rule, almost all variables (up to more than 50 analysed chemical elements per data set) show neither a normal or a lognormal data distribution. Even when different transformation methods are used more than 70 % of all variables in every single data set do not approach a normal distribution. Distributions are usually skewed, have outliers and originate from more than one process. When dealing with regional geochemical or environmental data normal and/or lognormal distributions are an exception and not the rule. This observation has serious consequences for the further statistical treatment of geochemical and environmental data. The most widely used statistical methods are all based on the assumption that the studied data show a normal or lognormal distribution. Neglecting that geochemcial and environmental data show neither a normal or lognormal distribution will lead to biased or faulty results when such techniques are used. Received: 21 June 1999 · Accepted: 14 August 1999