基于Hadoop的地质矿产大数据分布式存储方法

随着TB级乃至PB级地质矿产大数据时代的到来,地质大数据的存储难题一直困扰着地质界,传统的地质数据存储与服务模式面临诸多难题。结合Hadoop提出了一种新的基于云计算环境的地质矿产数据存储方法,将该方法与传统Oracle数据库存储方法进行了数据存储实验对比。实验结果表明,该存储方法比传统方法更高效,同时有效地解决了Hhadoop存储中出现的小文件存储问题。研究成果为地质矿产数据的存储与管理提供了一种新的管理方法。     

基于Oracle的航空物探测量数据存储方案

航空物探数据的数据量大,坐标数据和场值数据的采样率不一致.如何有效地存储这些数据,是航空物探数据库结构设计中的关键技术问题.常规的存储方式存取速度慢,采用大字段存储方式,不仅能够解决坐标数据和场值数据的采样率不一致问题,而且能够减少记录条数、提高存取速度.     

面向海量空间数据的分级存储模型研究

空间信息技术和遥感遥测等技术的飞速发展,产生了海量的遥感、地灾等行业空间信息数据。如何对海量空间数据进行合理的分级存储,以满足大数据时代下空间信息、地理信息等行业应用,这已成为日益紧迫的问题。海量空间数据分级存储作为一种全新的存储模式,为解决该问题提出了新的思路。结合海量空间数据的特点和日常数据应用的规律,提出了基于访问热度和聚类关联的海量空间数据分级存储模型,该模型主要包括热点数据分级、关联数据分级、数据的迁移三部分。最后通过嫦娥2号遥感数据模拟访问试验,优化了数据升级阀值,证明了分级存储模型用于海量空间数据的可行性。     

基于NoSQL的高分高光谱遥感影像存储模型设计与实现

如何高效存储、管理呈几何增长的高分辨率、高光谱遥感影像数据, 实现遥感数据的快速处理、检索和可视化是急需解决的问题.应用非关系型数据库技术, 设计了由遥感元数据库、遥感影像数据库以及影像金字塔3个部分组成的海量遥感影像存储模型; 建立了由硬件支撑层、数据层、数据服务层及应用层组成的遥感影像存储中间件.通过实验分析, 验证了基于非关系数据库的遥感影像数据存储模型及中间件对影像数据的读写、提取性能优于传统的关系数据库.研究成果可满足高分高光谱遥感探测与评价模型对海量影像高效存储、管理的需求, 具有重要的实用价值.      

海量影像云管理的探索与研究

目前影像存储与管理方式存在着诸多的不足,传统的文件系统对影像进行存储和管理的效率较低,难以适应海量影像数据存储管理的需求。同时传统方式的数据共享效率低,基本靠存储介质共享传递数据,共享过程中会带来额外的存储开销。而云计算技术的出现和发展克服了传统文件系统的不足,所以本文研究搭建基于开源云计算平台Hadoop的分布式集群,研究海量的遥感影像数据的存储和管理方式;并在此基础上开发了一套海量影像云管理系统,进一步提高海量影像数据存储性能与管理效率,推动影像数据在各行业的分发应用。     

智能地质调查大数据应用体系架构与关键技术

地质调查数据主要由结构化和非结构化多样性的数据构成。由非结构化多样性数据文件组成的报告,由于技术原因,长期以来一直以传统的目录文件方式进行存储。这种存储方式导致数据的查询、统计、更新等操作不但低效,而且非常不利于检索、查询、挖掘等应用,使得数据服务能力极低。通过把Hadoop生态体系融入中国地质调查云平台架构,基于Hadoop HDFS和HBase存储架构,建立非结构化地质数据基础内容库存储组织模式,采用Lucene全文搜索引擎架和地质领域本体词库构建快速随机访问的索引文件机制,改变了多样化、碎片化的复杂地质调查非结构化数据的存储、阅读、搜索和应用模式,为智能地质调查提供精确、快速服务奠定基础。     

地质数据仓库设计中的几个问题

提出并讨论了地质数据仓库系统设计中的几个问题：操作数据存储作 和数据仓库间的数据接口,借用地理信息系统来存储和表示空间数据,级联式更新、主题间复杂交系的表达,以及专用的数据抽取模型的设计。     

中国自然资源航空物探遥感中心

近年来,我国新增航磁测量数据在大规模持续增长,传统的关系型数据库难以有效地按采样点粒度存储“一点多值”的数据,对亿级数据量的读写存在效率瓶颈,并且存在分布式动态扩展的局限。通过对比分析多种非关系型数据库的特点,以MongoDB作为数据库载体,开展存储模式设计、索引构建和测试分析,结果表明,该存储模式高效、灵活、可扩展,在大数据量、多并发条件下的读写性能表现优异,能够支撑航磁测量大数据的存储管理和业务应用需求。针对其他传感器不同但组成特点类似的数据,如航空重力测量数据、航空伽马能谱测量数据、航空电磁测量数据等,亦可采用该存储模式,最终形成行业通用的解决方案。     

实现基于JDO的电子政务系统持久层

JDO为对象持久性提供了第一个标准化的、完全面向对象的方法。JDO不但实现了透明的对象存储，而且提供到任何数据底层的存储功能，使得应用可移植性更强。完备的数据存储功能，易于维护的程序代码及开放的规范标准，都使JDO成为一种优秀的对象持久性机制。     

地震仪与地质雷达的数据存储格式及其读取

近年来,我国从国外引进了不少浅层地震仪和地质雷达设备,但厂家一般都不提供其数据文件存储格式。根据SEG公布的SEG-2数据存储格式,笔者对它进行了认真的探讨,并在Matlab语言环境下编制了相应的数据读取软件。实际应用结果表明,该程序的读取方法是正确的;且对于以SEG-2方式存储的任何类型的仪器设备数据,只需对读取字符串部分的语句稍加修改,就可满足其数据读取的需要。