时序数据库在海量地震波形数据分布式存储与处理中的应用初探

通过分析时序数据库的技术特点和海量地震数据存储和处理的需求,设计和实现了基于时序数据库的地震波形数据存储和处理系统。经过开发、测试和应用比较,新的地震时序数据库系统具有高可用、实时存储吞吐量大、历史数据压缩率高、分布式处理速度快等优势,能够较好地解决地震波形数据体量激增带来的存储和处理困难问题。     

Optimization of sub-band coding method for seismic data compression

Seismic data volumes, which require huge transmission capacities and massive storage media, continue to increase rapidly due to acquisition of 3D and 4D multiple streamer surveys, multicomponent data sets, reprocessing of prestack seismic data, calculation of post‐stack seismic data attributes, etc. We consider lossy compression as an important tool for efficient handling of large seismic data sets. We present a 2D lossy seismic data compression algorithm, based on sub‐band coding, and we focus on adaptation and optimization of the method for common‐offset gathers. The sub‐band coding algorithm consists of five stages: first, a preprocessing phase using an automatic gain control to decrease the non‐stationary behaviour of seismic data; second, a decorrelation stage using a uniform analysis filter bank to concentrate the energy of seismic data into a minimum number of sub‐bands; third, an iterative classification algorithm, based on an estimation of variances of blocks of sub‐band samples, to classify the sub‐band samples into a fixed number of classes with approximately the same statistics; fourth, a quantization step using a uniform scalar quantizer, which gives an approximation of the sub‐band samples to allow for high compression ratios; and fifth, an entropy coding stage using a fixed number of arithmetic encoders matched to the corresponding statistics of the classified and quantized sub‐band samples to achieve compression. Decompression basically performs the opposite operations in reverse order. We compare the proposed algorithm with three other seismic data compression algorithms. The high performance of our optimized sub‐band coding method is supported by objective and subjective results.     

Efficient seismic response data storage and transmission using ARX model‐based sensor data compression algorithm

This paper presents a linear predictor (LP)‐based lossless sensor data compression algorithm for efficient transmission, storage and retrieval of seismic data. Auto‐Regressive with eXogenous input (ARX) model is selected as the model structure of LP. Since earthquake ground motion is typically measured at the base of monitored structures, the ARX model parameters are calculated in a system identification framework using sensor network data and measured input signals. In this way, sensor data compression takes advantage of structural system information to maximize the sensor data compression performance. Numerical simulation results show that several factors including LP order, measurement noise, input and limited sensor number affect the performance of the proposed lossless sensor data compression algorithm concerned. Generally, the lossless data compression algorithm is capable of reducing the size of raw sensor data while causing no information loss in the sensor data. Copyright © 2005 John Wiley & Sons, Ltd.     

Comparison of variable-length codes: Elias and Fibonacci codes as applied to problems of data compression

The analysis of the recorded geophysical information shows that there is a large spread in probability of instrument readings at the moment of seismic activity. In order to lower demands for computer data resources and decrease the power consumption when applying autonomous computer-based systems, the coding algorithms with minimal requirements for the involvement of the computer central processor and, as a consequence, its power consumption are used. These include the Huffman static algorithm and algorithms using Elias, Rice, Golomb, and Fibonacci codes. The application of Fibonacci codes for coding this information leads to a gain in compression ratio of 10–30% relative to other coding methods.     

Mallat算法在数字地震信号压缩中的应用

地震台站多、数据采集量大,日产出数据量庞大,研究数字地震信号的压缩方法成为行业热门课题。尝试将Mallat算法应用于数字地震波形数据压缩。选取不同的小波分解函数,对不同类型的数字地震信号进行3—5层的小波分解,将得到的小波系数进行分层硬阈值重构运算,对原始信号和处理信号进行压缩。分析可知,Mallat算法压缩比更高,与原始信号相比,重构信号不失真、能量保留系数高。     

人工地震数据管理平台

人工地震数据的存储管理及共享技术发展迅速,但是存储管理方式、资源利用率及服务水平等还有很大的提升空间。针对以上问题初步建立人工地震数据平台,利用Web和数据库技术,整合并存储已有人工地震数据资源,以便向公众及地震科研人员提供最新工作进展和研究成果。该平台的建立,利于科学研究工作的交流合作和观测资料的充分利用,从而为我国防震减灾事业做更大贡献。     

地震信息网络数据的动态存储方法研究

为了提高地震信息网络数据存储的效率和稳定性,本文提出一种地震信息网络数据的动态储存方法。首先,设计和分析地震信息网络数据的动态存储系统中的硬件部分,基于Hadoop的分布式集群大数据动态存储系统,整合多台存储服务器,为一个集群系统,并平衡存储服务器负载情况,获取性能指标的比例值,通过加权公式获取综合性能参数,根据综合负载指标和服务器综合指标参数获取最佳存储服务器。对本文系统、高速数据存储系统和网络编码云存储系统进行大数据动态存储对比实验。实验结果表明:地震信息网络数据的动态存储耗时最短,存储效率最快;具有较高存储稳定性,且不会出现过载问题。     

网络存储技术在地震数据存储中的应用

随着地震观测和地震科学研究水平的提高,大量宝贵的地震科学数据不断产出.安全有效地存储这些海量地震数据,是目前迫切需要解决的问题.本文简要介绍了网络存储技术的发展和应用,并通过分析地震数据对存储系统的要求,探讨了网络存储技术在地震数据存储中的应用.     

A real-time algorithm for broadband high-dynamic seismic data compression

Ａｒｅａｌ－ｔｉｍｅａｌｇｏｒｉｔｈｍｆｏｒｂｒｏａｄｂａｎｄｈｉｇｈｄｙｎａｍｉｃｓｅｉｓｍｉｃｄａｔａｃｏｍｐｒｅｓｓｉｏｎＳｈａ－ＢａｉＬＩ１）（李沙白）;Ｑｉ－ＹｕａｎＬＩＵ２）（刘启元）ａｎｄＬｉ－ＲｅｎＳＨＥＮ２）（沈立人）（Ｉｎｓｔｉｔ...     

适用于低延时实时数据传输的地震数据压缩方法

随着数字地震台站数量的增加、数据传输手段的多样化以及地震预警系统的发展,对地震数据实现有效的实时压缩对数据传输显得十分重要.本文提出一种支持低时间延迟(数据传输间隔小于1 s)数据传输要求的实时数据压缩算法.通过理论估算和实际地震数据检验,该方法高效、易实现,适用于地震预警等领域.     

单通道无线存储式地震仪关键技术

当前地震勘探装备多数价格昂贵、体积大、功耗高,导致大规模的地震勘探产生很大困难.新型的无缆存储式地震仪,省去了大线传输,解决了复杂环境下进行大道数地震数据采集的问题.但是由于缺乏有效的监测手段,无法对其进行现场实时质量监控,施工质量和效率难以保证,具有封闭性的技术缺陷.针对此问题,本文研制了一款基于无线网络通讯技术的低功耗、低成本、小体积、高精度的现场可实时质量监控型单通道无线存储式地震仪.地震仪以Cortex-M4型内核MCU为核心,构成系统的主控模块,负责管理系统运行.采用32位A/D采集模块、大容量SD卡存储模块、高效率DC-DC电源管理模块、低功耗无线WiFi模块以及有线以太网模块,完成地震数据的采集、存储、质量监控和回收.研制的基于无线通讯技术的单通道无线存储式地震仪以其便携性、低成本、可现场实时质量监控以及地震数据本地存储的特点,降低了勘探成本,提高了大规模勘探的可操作性,在大道数、高密度、宽方位的地震勘探中具有广泛的应用前景.     

区域地震台网历史震相数据整合与共享服务

区域地震台网震相数据是区域地震台网产出的重要成果,是开展地球科学研究的重要资料。整理全国31个省份1973-2008年区域地震台网纸质震相报告和地震卡片,按统一格式录入震相数据,建立数据共享服务系统。文中系统阐述区域地震台网的发展过程、历史震相数据的整合、地震观测报告的主要内容及震级的测定方法,并介绍了历史震相数据共享服务系统和快速索引下载方法,为科研人员提供共享服务。     

地震数据有损压缩与失真分析

文中提出了应用双正交小波变换有损压缩地震数据的方法,该方法具有实现简单、在高压缩比情况下失真小等特点。以信噪比、剩余能量作为评价指标,分析了压缩引起的信号失真。结果表明压缩比在0~31范围内取值时,信噪比较高,剩余能量在99%以上,原始信号与重构信号有很好的相关度。即使在不太理想的情况下,将重构信号用于地震参数快速测定,对震级的计算误差最大为8.6×10-3,震中距的最大计算误差为3.69 km。     

大型数据平台搭建技术在地震行业中的应用与研究

依据地震行业业务系统的数据处理和存储需求,提出了数据模型和数据平台建设思路。结合地震行业网中数据平台的建设,在国家中心、区域中心和台站节点分别采用了相应的数据库平台和数据存储平台技术,设计了各类节点的数据备份策略,实现了满足海量数据流高效运行的大型数据平台。     

多道联合压缩感知弱小反射地震信号提取处理方法

在讨论联合压缩感知稀疏重建的基础上,针对地震资料特点,利用小波分析方法,进行联合稀疏公共部分和特有部分分解建模.为了挖掘地震资料有效地质信息,考虑到分布式压缩感知算法和应用效果实际实现困难,提出了多道地震资料压缩重建方法.就研究提出的新方法、新理念,围绕决定稀疏重建质量的稀疏度、稀疏基等关键问题进行了深入研究,结合纵横向地震信号特点分析,分别研究纵横稀疏度的选取方法及指导准则.同时对稀疏基的类型和特性在揭示地质信息能力方面进行了分析讨论.集各种研究问题于一体,形成了多道联合压缩感知地震资料重建的新方法.通过实际资料测试,比较分析各类计算结果,得到了新的认识和结论,实际资料处理效果明显.     

基于Bregman迭代的复杂地震波场稀疏域插值方法

在地震勘探中,野外施工条件等因素使观测系统很难记录到完整的地震波场,因此,资料处理中的地震数据插值是一个重要的问题。尤其在复杂构造条件下,缺失的叠前地震数据给后续高精度处理带来严重的影响。压缩感知理论源于解决图像采集问题,主要包含信号的稀疏表征以及数学组合优化问题的求解,它为地震数据插值问题的求解提供了有效的解决方案。在应用压缩感知求解复杂地震波场的插值问题中,如何最佳化表征复杂地震波场以及快速准确的迭代算法是该理论应用的关键问题。Seislet变换是一个特殊针对地震波场表征的稀疏多尺度变换,该方法能有效地压缩地震波同相轴。同时,Bregman迭代算法在以稀疏表征为核心的压缩感知理论中,是一种有效的求解算法,通过选取适当的阈值参数,能够开发地震波动力学预测理论、图像处理变换方法和压缩感知反演算法相结合的地震数据插值方法。本文将地震数据插值问题纳入约束最优化问题,选取能够有效压缩复杂地震波场的OC-seislet稀疏变换,应用Bregman迭代方法求解压缩感知理论框架下的混合范数反问题,提出了Bregman迭代方法中固定阈值选取的H曲线方法,实现地震波场的快速、准确重建。理论模型和实际数据的处理结果验证了基于H曲线准则的Bregman迭代稀疏域插值方法可以有效地恢复复杂波场的缺失信息。     

云计算环境下地震数据管理与服务应用研究

本文通过对云计算环境下海量地震数据存储业务需求的分析,构建了一种可扩展的、具备一定负载均衡能力的高性能云存储体系,并针对地震数据存储质量问题进行了测试与分析,给出了相应的实现方法和实施策略,并在搭建的云存储平台上,验证了云存储体系可扩展性及负载均衡等问题的可行性。     

GM3磁通门磁力仪数据实时压缩方法的改进

研究了GM3磁通门磁力仪数据实时压缩方法,将国际通用的测震数据SEED格式中采用的Steim—1压缩算法引入到地磁数据的实时处理系统中,通过改进压缩算法,提高了压缩率,节省了仪器数据存储空间,减少了台站数据传输时间。     

SEED数据压缩率的比较

简要介绍了SEED交换文件格式中Steim2数据压缩算法的原理,并且分别对周期信号、随机信号、地脉动数据和实际地震数据进行压缩分析比较,得出Steim2压缩算法的特点,并进一步说明Steim2算法是一种效率高、优异的压缩算法,但对于大地震数据的压缩率较低甚至不能压缩,建议对于区域性台网,在通过Steim2算法进行压缩传输时,为了防止在大地震发生时的传输阻塞,系统应该保留一定的带宽裕量。     

SIGNAL-TO-NOISE RATIO ENHANCEMENT IN MULTICHANNEL SEISMIC DATA VIA THE KARHUNEN-LOÉVE TRANSFORM*

The Karhunen-Loéve transform, which optimally extracts coherent information from multichannel input data in a least-squares sense, is used for two specific problems in seismic data processing. The first is the enhancement of stacked seismic sections by a reconstruction procedure which increases the signal-to-noise ratio by removing from the data that information which is incoherent trace-to-trace. The technique is demonstrated on synthetic data examples and works well on real data. The Karhunen-Loéve transform is useful for data compression for the transmission and storage of stacked seismic data. The second problem is the suppression of multiples in CMP or CDP gathers. After moveout correction with the velocity associated with the multiples, the gather is reconstructed using the Karhunen-Loéve procedure, and the information associated with the multiples omitted. Examples of this technique for synthetic and real data are presented.