海洋大数据管理技术:架构、平台与存储策略

海洋大数据管理是数据共享利用、价值发挥的核心基础.大数据时代,海洋数据在数据量、时效性、数据类型等方面发生了翻天覆地的变化,传统海洋数据管理方式的不足之处日益凸显,亟待引进大数据管理技术理念和方式.本文通过分析梳理大数据生态架构和技术架构的优缺点和对海洋数据的适用性研究,提出了海洋大数据平台架构和海洋大数据资源池架构,...     

海洋地质数据库数据的存储结构

区域海洋地质数据库是利用ORACLE9I和ARCSDE8．2实现对海量数据和空间数据有效存储、管理的企业级数据库，用于管理我国所属海区海洋地质调查获取的基础地质资料和研究成果资料。根据ORACLE系统的体系结构，结合我国区域海洋地质数据的特点，提出了区域海洋地质数据库的存储结构和数据库的用户管理模式，以实现ORACLE中海洋地质数据的优化存储与有效管理。     

国际海洋观测计划数据规范化存储与管理的述评

基于世界大洋环流实验(World Ocean Circulation Experiment,WOCE)、全球联合海洋通量研究(Joint Global Ocean Flux Study,JGOFS)、全球海洋船基水文调查计划(Global Ocean Ship-based Hydro-graphic Investiga...     

SD卡在海洋数据存储中的应用

设计了一种新型海洋要素数据采集系统的SD卡存储方案.该方案选用与8051完全兼容的高性能单片机C8051F340作为主控制器,采用SPI总线与SD卡通信.介绍了SD卡以及C8051F340芯片中SPI接口的结构和工作原理,讨论了相关的设置、硬件连接和软件设计,实现了时SD卡的读写,解决了海洋数据采集过程中,数据存储量大、存储设备不易与PC机接口的问题.     

面向过程的海洋时空数据分布式存储与并行检索

海洋现象特征数据是一类带有过程性质的时空数据,具有多样性、多态性、海量性和时变性等特点,广泛服务于海洋灾害预报、船舶航行规划、台风路径追踪、海洋与大气环流等领域。本文根据海洋现象特征,建立海洋现象过程的对象表达和数据组织模型,设计三维空间海洋时空数据分片策略和R树空间数据索引方法,以提高海洋现象过程时空数据的查询效率。实验通过构建海洋现象过程时空数据分布式存储与并行检索系统测试算法的执行效率。实验结果表明,面向过程的海洋时空数据分布式并行检索算法能够实现数据的高效检索,验证了海洋现象过程对象数据组织模型的合理性,为研究海洋现象过程多要素的关联机制提供了有效的方法和理论基础。     

NetCDF物理海洋数据云存储技术研究

物理海洋数据具有多维、时空和海量等特征,主要以NetCDF结构化文件格式进行存储。然而,在分布式环境中,结构化文件存在数据块寻址困难、边界不易判定等问题,制约着大数据场景下的存储及应用。论文设计基于HDFS+Spark的NetCDF物理海洋数据云存储方案,首先采用HDFS分布式存储技术存储和管理物理海洋数据;并设计基于Spark并行计算框架的数据分片方案,复写读取接口获取分布式环境下的NetCDF文件数据块地址,实现了物理海洋数据的高效率存储与查询分析。选取中国海域100 a时长的物理海洋数据进行波高-周期散布图统计实验。结果表明:在数亿级记录数条件下,文中方法可将查询分析耗时由集中式文件存储方式的2 300 s缩短至50 s内,效率较集中式文件存储方式提升95%以上,验证了该方法的正确性和有效性。     

基于Hadoop的海洋数据存储平台设计与实现

海洋数据具有多来源、多尺度、多频度等复杂特性,传统事务型数据库无法满足海量非结构化数据在存储管理、关联查询、复杂分析等方面的需求。针对这一问题,本文采用HDFS+MapReduce+HBase的分布式数据存储架构,利用数据编码压缩存储技术,实现了数据分布式存储管理和处理,并提出了一种多级索引存储管理技术以实现数据快速关联查询;开发了基于WebService的数据查询接口、海洋环境数据信息共享接口、决策支持数据服务接口、智能分析数据服务接口等应用接口。实验表明,对比传统技术架构,该平台在非结构化海洋数据的数据存储管理、数据处理和业务应用等方面具有一定优势。     

USB接口在海洋数据存储中的应用

设计了一种新型海洋要素数据存储系统。该系统以USB接口进行数据存储,实现了对U盘的读写,解决了海洋数据采集过程中,数据存储量大、存储设备不易与PC机接口的问题。     

基于XML的海洋遥感卫星数据规范化研究

结合XML技术和海洋元数据标准,在分析遥感卫星地面站运行情况的基础上提出了一种基于XML的海洋遥感卫星数据格式,旨在为海洋遥感数据格式的规范化和为海洋遥感卫星数据的交换与集成奠定标准基础.     

数字海洋与海洋数据立法

1998年,美国副总统戈尔提出“数字地球”概念,引起中国科技界的高度重视,中科院和科技部等部门立即开展了“中国数字地球发展战略研究”,探讨中国“数字地球”建设问题,海洋界在此基础上提出了中国“数字海洋”问题。 一、中国“数字海洋”概念和现有条件 所谓“数字海洋”,就是将有关海洋的所有资料和数据按照地球表面的真三维(或四维)地理坐标,按时间序列输入计算机,利用海洋地理     

基于分布式数据库的海洋动力环境数据云存储

针对海洋动力环境数据的时空特征,提出了基于分布式数据库的云存储技术,设计了分布式管理方案以及相应的时空分片方案和索引机制,实现了数据存储的物理分布性、逻辑整体性和节点自治性,显著提高了数据的查询效率。以南海区域40 a海洋动力环境数据为例进行波高-周期散布图统计,耗时由集中式文件存储方式的2 min缩短至云存储方式的10 s以内。     

海洋信息组织与存储模型研究及其在"数字海洋"中的应用

基于中国数字海洋建设的经验和成果,制定了海洋数据要素的分类方案,将海洋信息分为5大类:海洋点要素、海洋线要素、海洋面要素、海洋网格要素、海洋动态要素.采用基于特征的方法和面向对象的技术设计了适合数字海洋大型信息系统工程建设的时空数据模型,探讨了海洋空间数据模型、海洋立体格网数据模型、关系数据模型在数字海洋数据仓库建设中...     

海洋信息组织与存储模型研究及其在“数字海洋”中的应用

基于中国数字海洋建设的经验和成果,制定了海洋数据要素的分类方案,将海洋信息分为5大类：海洋点要素、海洋线要素、海洋面要素、海洋网格要素、海洋动态要素。采用基于特征的方法和面向对象的技术设计了适合数字海洋大型信息系统工程建设的时空数据模型,探讨了海洋空间数据模型、海洋立体格网数据模型、关系数据模型在数字海洋数据仓库建设中...     

数字海洋数据体系结构研究

海洋数据的多源性、多态性和多样性以及数据量庞大等特点决定了其不同于其它数据,如何更加合理有效地存储和管理海洋数据,为海洋综合管理信息系统和＂数字海洋＂原型系统建设提供有力的数据支撑,是一个紧迫需要解决的问题。本文对各类海洋资源、海洋环境、海洋经济、海洋管理等数据进行统一的体系规划,构建统一标准的海洋数据体系框架,以实现国家、省（市）等各级海洋数据的有效管理,满足＂数字海洋＂海洋信息基础平台建设需要。     

数字海洋中数据体系结构研究

海洋数据的多源性、多态性和多样性以及数据量庞大等特点决定了其不同于其它数据,如何更加合理有效地存储和管理海洋数据,为海洋综合管理信息系统和"数字海洋"原型系统建设提供有力的数据支撑,是一个紧迫需要解决的问题.本文对各类海洋资源、海洋环境、海洋经济、海洋管理等数据进行统一的体系规划,构建统一标准的海洋数据体系框架,以实现国家、省 ( 市 ) 等各级海洋数据的有效管理,满足"数字海洋"海洋信息基础平台建设需要.     

海洋测深数据绘图接口装置研究

所研制的海洋测深数据绘图接口装置，采用ＭＣＳ８０３１单片微电脑管理本机的运行。它能把测量仪器测到的数据取出送往打印机打印出曲线；或把所测的数据输入接口装置的内存区，待具备打印条件时，再依次取出绘成曲线。该接口装置在研制成功后，曾用于连接ＣＳ－６０回声测深仪及九针打印机，并在一次海上测量海底地形的测深作业中使用，得到满意的效果。文章还讨论了该测深数据绘图方法结合其他类型的测量仪器和其他打印机应用的问     

海洋数据备份平台的设计和实现

随着海洋数据的日益增加(现数据总量已达PB级),长期积累的海洋数据类型越来越多,海洋数据的存储环境也越来越复杂。艰苦的海上作业条件以及昂贵的数据采集和分析设备,使得海洋数据的获取成本越来越高。为了有效地保存海洋数据,需要一套安全可靠的数据备份平台来加强对海洋数据的管理。本文根据海洋数据的多种数据类型和复杂存储环境,设计出了一套能涵盖所有海洋数据类型的备份平台,并针对海量小文件(字节级)和基于OpenStack架构云平台中虚拟机整机的备份流程进行了优化,有效地保障了海洋数据的存储安全。     

海洋磁场重力场数据建库技术研究

针对海洋磁场重力场资料的多源异构海量特征,并结合海洋磁场重力场空间数据库建设实践,阐述了数据整理与采集建库的目标与过程,并探讨了数据建库工作中涉及的基准统一、规格化整理、分析处理等若干关键技术问题的解决方案。     

海洋倾废航行数据记录仪

海洋倾废航行数据记录仪姜洪川，李林奇，王建忠（国家海洋局海洋技术研究所天津）１前言全球卫星定位系统（ＧＰＳ）的问世，是国际导航定位技术的一场革命，充分利用这一先进的导航定位技术资源，开拓和扩大ＧＰＳ应用领域，为发展经济和国防建设服务，是我国科技工作者...