基于Hadoop的海洋数据存储平台设计与实现

海洋数据具有多来源、多尺度、多频度等复杂特性,传统事务型数据库无法满足海量非结构化数据在存储管理、关联查询、复杂分析等方面的需求。针对这一问题,本文采用HDFS+MapReduce+HBase的分布式数据存储架构,利用数据编码压缩存储技术,实现了数据分布式存储管理和处理,并提出了一种多级索引存储管理技术以实现数据快速关联查询;开发了基于WebService的数据查询接口、海洋环境数据信息共享接口、决策支持数据服务接口、智能分析数据服务接口等应用接口。实验表明,对比传统技术架构,该平台在非结构化海洋数据的数据存储管理、数据处理和业务应用等方面具有一定优势。