海洋大数据管理技术:架构、平台与存储策略

海洋大数据管理是数据共享利用、价值发挥的核心基础.大数据时代,海洋数据在数据量、时效性、数据类型等方面发生了翻天覆地的变化,传统海洋数据管理方式的不足之处日益凸显,亟待引进大数据管理技术理念和方式.本文通过分析梳理大数据生态架构和技术架构的优缺点和对海洋数据的适用性研究,提出了海洋大数据平台架构和海洋大数据资源池架构,...     

基于云存储的海洋数据存储策略研究

研究发现由于海洋数据的传输频率及数据累积量较大,在数据接收及解析入库过程中可能会出现频繁调用及分配计算本机存储空间而导致后续数据接收及处理延迟等问题发生。针对海洋数据传输体系内计算机数量多但计算及存储性能得不到完全发挥的现状,提出利用海洋数据传输体系内的计算机构建云存储体系以达到整合存储资源实现负载均衡的目的。在利用现有设备节约空间和经费的前提下对优化海洋存储技术进行探索,为提高海洋数据传输业务效率提供支撑。     

海洋观测数据管理系统的设计与实现

针对我国目前海洋环境监测工作对海洋观测数据从人工到计算机智能化管理的实际需求,设计开发了一套切实可行的海洋观测数据管理系统。系统利用先进的计算机软件技术和数据库管理技术,整合了现有的观测设备数据,实现了海洋观测数据的智能化管理,有效降低了海洋观测系统的管理成本,同时系统为海洋信息动态发布网站提供了更多的数据信息和资源。系统在国家海洋局闽东海洋环境监测中心站试运行半年,稳定可靠,综合效益明显。现场应用表明,该系统较好的完成了预期任务,具有较大的推广价值和应用前景。     

面向过程的海洋时空数据分布式存储与并行检索

海洋现象特征数据是一类带有过程性质的时空数据,具有多样性、多态性、海量性和时变性等特点,广泛服务于海洋灾害预报、船舶航行规划、台风路径追踪、海洋与大气环流等领域。本文根据海洋现象特征,建立海洋现象过程的对象表达和数据组织模型,设计三维空间海洋时空数据分片策略和R树空间数据索引方法,以提高海洋现象过程时空数据的查询效率。实验通过构建海洋现象过程时空数据分布式存储与并行检索系统测试算法的执行效率。实验结果表明,面向过程的海洋时空数据分布式并行检索算法能够实现数据的高效检索,验证了海洋现象过程对象数据组织模型的合理性,为研究海洋现象过程多要素的关联机制提供了有效的方法和理论基础。     

海洋数据备份平台的设计和实现

随着海洋数据的日益增加(现数据总量已达PB级),长期积累的海洋数据类型越来越多,海洋数据的存储环境也越来越复杂。艰苦的海上作业条件以及昂贵的数据采集和分析设备,使得海洋数据的获取成本越来越高。为了有效地保存海洋数据,需要一套安全可靠的数据备份平台来加强对海洋数据的管理。本文根据海洋数据的多种数据类型和复杂存储环境,设计出了一套能涵盖所有海洋数据类型的备份平台,并针对海量小文件(字节级)和基于OpenStack架构云平台中虚拟机整机的备份流程进行了优化,有效地保障了海洋数据的存储安全。     

海洋XML数据集成系统原型的设计与实现

针对海洋学科中数据源的异构性，文中采用XML技术进行集成，实现了海洋数据的统一表示。本文以Java，XML和Web为支撑技术，提出并实现了1个多层B／S体系结构的海洋XML数据集成系统原型，其中利用了XML的新兴技术——可伸缩矢量图形(SVG)技术来实现基于XML的海洋数据的交互。作为国内海洋XML数据集成的第1个原型系统，旨在推动我国海洋XML的研究和开发工作。     

海洋地质数据库数据的存储结构

区域海洋地质数据库是利用ORACLE9I和ARCSDE8．2实现对海量数据和空间数据有效存储、管理的企业级数据库，用于管理我国所属海区海洋地质调查获取的基础地质资料和研究成果资料。根据ORACLE系统的体系结构，结合我国区域海洋地质数据的特点，提出了区域海洋地质数据库的存储结构和数据库的用户管理模式，以实现ORACLE中海洋地质数据的优化存储与有效管理。     

基于GIS的海洋地震数据管理系统的设计与实现

基于大型Oracle数据库管理系统和先进的空间数据引擎SDE技术,将SEG-Y格式海洋地震数据与地理信息系统相结合,并按照“航次—测线—点”的数据组织结构设计了海洋地震数据库.论文首先总结了当前流行的地震数据组织和访问方式,然后阐述了地震数据管理系统的设计方案,最后介绍了数据查询、数据库管理、SEG-Y地震数据查看和地...     

海洋数据信息共享平台关键技术研究与实现

根据国内外已有海洋信息共享技术和海洋专业数据格式的分析,对海洋数据信息共享平台设计中的元数据、web GIS、MarineXML等关键技术进行研究,提出1种海洋数据信息共享平台的设计架构,结合B/S模式的MapXtremeJava插件并采用webGIS的瘦客户端策略和JSP开发实现该平台.运行结果表明,该平台能够较好满足海洋领域用户的信息服务需求.     

数字海洋与海洋数据立法

1998年,美国副总统戈尔提出“数字地球”概念,引起中国科技界的高度重视,中科院和科技部等部门立即开展了“中国数字地球发展战略研究”,探讨中国“数字地球”建设问题,海洋界在此基础上提出了中国“数字海洋”问题。 一、中国“数字海洋”概念和现有条件 所谓“数字海洋”,就是将有关海洋的所有资料和数据按照地球表面的真三维(或四维)地理坐标,按时间序列输入计算机,利用海洋地理     

基于本体的海洋地球化学数据互操作系统设计与实现

国际深海资源的勘查和开发,积累了大量珍贵的大洋样品和分析测试数据。为完成多源异构海洋地质化学数据的自动集成和智能检索,设计了基于大洋样品本体模型的大洋样品地质化学数据互操作系统。系统为三层架构,分别是数据层、语义层和应用层。数据层完成了数据汇交模板定制;语义层完成了模式和语义互操作;应用层完成了基于语义的一站式数据检索。系统在ODP-ICP-AES、PetDB、GEOROC3个数据库模型上进行了实验,实验结果显示:该系统在确保数据源独立性、安全性、时效性的前提下,实现了海量大洋调查数据和模型的复用。     

基于Hadoop的海洋环境信息分布式架构设计

海洋环境信息建设是实现"认知海洋"、"透明海洋"、"智能海洋"的基础,从分散海洋环境信息海量数据采集、异构海洋环境信息的高效数据存储、基于节点动态性能的海量海洋环境信息数据处理与分析任务分配、基于人工智能的定向功能的辅助决策等四个方面,探讨了基于Hadoop技术的海洋环境信息分布式架构设计方法,实现将海量、多源、异构、多时空、动态的海洋环境信息进行高效、高质、及时、快速的采集、传输、存储、处理、分析及智能化应用,以全面提升海洋环境自主信息感知获取、融合处理和应急保障能力。     

海洋水文气象数据实时传输系统的设计与实现

针对目前我国海洋调查测量中水文气象数据传输实时性不强的现状,采用我国自主研发的"北斗"卫星导航系统作为无线信道单元,根据水文气象调查设备现状和调查模式,分别在指挥中心和测量终端搭建硬件平台,并研制专用测控软件,设计研制了海洋水文气象数据实时传输监控系统,实现了实时水文气象数据传输及指令交互,达到了提高调查测量数据的质量和调查测量作业效率的目的,为构建突击性强、反应迅速的海洋环境保障作业及实现高效率应急机动测量提供了有效技术手段。该系统的应用对水文气象调查数据的实时高效传输及实时调整调查测量计划任务都具有战略性的意义。     

基于大数据架构的国家海洋创新指标及其预测方法研究

基于国家创新体系理论和大数据思想,探讨国家海洋创新体系定义和范围;根据国家海洋创新体系的具体内容,选取对外海洋技术依存度、海洋仪器设备国有化率、海洋关键技术自主化率、海洋科技进步贡献率、海洋科技成果转化率等作为国家海洋创新预测指标;在Bigtable+MapReduce框架内讨论适用于海洋创新指标的预测方法,探索国家海洋创新指标预测技术思路,为建立支撑海洋创新战略制定的预测体系做了有益尝试。     

海洋水文气象数据管理系统的模块化设计与实现

文章针对我国目前海洋环境预报工作对海洋水文气象观测数据智能化管理的需求,提出了数据多重存储和分级管理相结合的技术方案。采用了基于面向对象的软件工程技术和基于结构化查询语言的数据库技术,实现了海洋水文气象数据管理系统的模块化设计与开发,该系统可整合现有的观测数据,实现海洋观测数据的智能化管理。     

智慧海洋多平台数据管理规范研究

我国未来智慧海洋观测系统将集成多种观测平台,获取全球范围、长时间和准实时的海洋数据。为更加科学而高效地管理数据,文章结合我国智慧海洋发展趋势,分析存在的问题,借鉴相对先进的数据管理规范,为建设智慧海洋国际共享应用平台提供参考。研究结果表明：与观测平台、传感器和通信技术的快速发展相比,我国海洋数据管理的发展十分缓慢,缺乏数据质量控制和存储等规范,严重制约海洋观测数据的有效管理和共享应用,不利于海洋大数据的融合和信息挖掘技术的发展;为各类观测平台制定科学而合理的数据管理规范,对于智慧海洋建设至关重要,亟须尽快组织专业人员成立工作组,落实和保障该项工作的有序开展,从而提升我国在海洋大数据信息处理方面的能力。     

国际海洋观测计划数据规范化存储与管理的述评

基于世界大洋环流实验(World Ocean Circulation Experiment,WOCE)、全球联合海洋通量研究(Joint Global Ocean Flux Study,JGOFS)、全球海洋船基水文调查计划(Global Ocean Ship-based Hydro-graphic Investiga...     

海洋大数据:内涵、应用及平台建设

信息技术的快速发展,带动海洋数据快速积累,海洋已经进入大数据时代。海洋大数据即是在当前大数据时代背景下,大数据技术在海洋领域的科学实践,具有大体量(Volume)、多样性(Variety)、快速流转(Velocity)和高价值(Value)的"4V"特征,是在大数据的理论指导和技术支撑下的价值实现,也是实施海洋强国战略、开发海洋资源、拉动海洋经济、维护国家海洋权益的重要基础。本文讨论了海洋大数据的内涵和外延,从数据特征、数据种类的角度对海洋大数据进行了全面的定义;并详细介绍了海洋大数据的应用领域;进一步阐述了海洋大数据平台建设的关键技术问题及其在海洋大数据服务平台实例中的应用;从数据共享、数据管理和数据安全的角度,探讨了海洋大数据面临的挑战和机遇;最后对未来海洋大数据的发展趋势和方向进行了展望。     

多源异构海量海洋数据综合管理平台构建研究

为满足海洋应用对数据管理的需求, 针对海洋数据的特点, 采用分层的思想提出了一个海洋数据综合管理平台的体系结构, 并对海洋数据的共享, 构建海洋元数据和海洋数据安全性管理等关键问题分别给出解决方案。通过一个基于B/S 的多源异构海量海洋数据综合管理平台的实现表明本文的方法是可行且有效的。