基于大数据的海洋环境监测数据集成与应用

面对多源异构的海量数据的集成,传统的集成方法和技术无法实现,直到大数据技术的出现才有了可能.应用大数据技术实现多源异构的海洋环境监测数据集成,有利于海洋环境监测数据的共享,避免信息孤岛的出现,同时为数据的分析、挖掘等提供了所需的数据.文中重点讨论了基于大数据和数据虚拟化平台技术,参照ODM2信息模型和MMI ORR本体语义框架来实现多源异构的海洋环境监测数据的集成问题,并在数据集成的基础上,探讨了多源异构数据查询、综合展示应用的实现方法.此研究有利于解决海量海洋环境监测数据管理难题、满足海洋环境科研工作者的大数据需求、实现数据驱动决策、提升海洋环境管理水平.     

基于Hadoop的海洋数据存储平台设计与实现

海洋数据具有多来源、多尺度、多频度等复杂特性,传统事务型数据库无法满足海量非结构化数据在存储管理、关联查询、复杂分析等方面的需求。针对这一问题,本文采用HDFS+MapReduce+HBase的分布式数据存储架构,利用数据编码压缩存储技术,实现了数据分布式存储管理和处理,并提出了一种多级索引存储管理技术以实现数据快速关联查询;开发了基于WebService的数据查询接口、海洋环境数据信息共享接口、决策支持数据服务接口、智能分析数据服务接口等应用接口。实验表明,对比传统技术架构,该平台在非结构化海洋数据的数据存储管理、数据处理和业务应用等方面具有一定优势。     

波浪动力滑翔机岸基监控系统

波浪动力滑翔机是一款新型海洋环境观测平台,具有大尺度长时序海洋环境观测能力。利用C#.net开发环境,并结合GPS北斗双模技术和Google Earth COM API为波浪动力滑翔机开发了导航定位岸基监控应用程序,该程序主要包含卫星定位与数据传输、矢量地图的轨迹显示和路径设定、环境监测数据的分类存储与管理、平台运行状态可视化查询等功能。利用该岸基监控程序可实现在岸站对波浪动力滑翔机及其搭载的仪器进行全时段的可视化监视与控制,并完成对监测环境数据的接收、分类存储和可视化展示等操作。     

海洋环境数据三维可视化系统设计与实现

针对目前海洋环境数据可视化技术存在的问题,结合海洋环境要素特点和我国对海洋环境信息化建设的实际需求,设计并开发了海洋环境数据三维可视化系统,重点从海洋环境数据组织和管理、海洋环境数据可视化表达、海洋环境数据查询分析、三维场景交互与视图控制四个方面入手,实现海洋多源信息的集成与可视化共享,为智慧海洋管理提供深入的信息集成、分析与可视化服务。     

基于领域本体的海洋环境数据仓库多维建模技术

由于海洋环境数据来源和表示的多样性,海洋环境数据仓库构建面临着需求获取和异构数据处理等难题.本体为领域知识的共享和基于知识的推理提供了坚实的基础,消除由于应用背景的不同而造成理解上的冲突和混乱.本文针对海洋环境数据的特点,讨论了建立海洋环境领域本体的方法,设计了利用本体创建海洋环境数据仓库多维模型算法,并给出了多维模型自动创建过程实例.结果表明,基于本体的多维模型创建,为模型设计者与用户的交流提供了参考,提高了系统分析和建模的效率.     

基于WebGIS技术的PANDA断面海洋主题数据库系统可视化查询的设计与实现

在PANDA断面海洋主题数据库开发项目的背景下,通过对系统总体结构的分析,确认了多种查询方式的组合方案.基于WebGIS技术,经过个性化的定制和开发,提出并实现了可视化查询的解决思路,简要说明了可视化查询模块的实际运行情况.结果表明基于webGIS能够高效地实现可视化网络数据共享系统的数据查询功能,丰富系统的显示和查询手段,进而促进海洋环境数据的共享和应用.     

基于DINEOF方法重构台湾海峡叶绿素a遥感缺失数据的初步研究

卫星遥感观测是研究海洋环境变化的一种重要方法,但由于观测周期和天气影响等原因,观测数据经常存在一定的缺失,这使得遥感数据在海洋环境连续变化的应用研究中受到一定的限制.为解决此问题,本文采用了经验正交函数分解插值方法(DINEOF)重建缺失的遥感观测数据.首先,基于Sea Wi FS(1998年1月至2010年12月)、MODIS-Aqua(2002年7月至2014年12月)和MODIS-Terra(2000年2月至2014年12月)三级叶绿素a月平均数据产品,按像素点平均的方法组合成原始资料集;其次,利用DINEOF方法重构该资料集的缺失部分,从而得到完整的1998~2014年台湾海峡及邻近海域叶绿素a浓度的月平均数据集;再通过分析重构影像与原始资料的时空误差和验证重构影像的时空变化特征等方法,评价了所用算法和重构数据集的合理性.结果表明:基于遥感组合数据,采用DINEOF方法重构的叶绿素a遥感影像,能够有效地反映研究海域叶绿素a浓度的时空变化规律.研究还表明,该方法操作简便,无需先验信息,且重构精度高,能有效重构大面积缺失的影像数据资料,为探索海洋环境和生态的长期变化规律提供了较好的基础.     

一种分布式数据流有效数据识别方法研究

针对分布式数据流应用中。如何在高速、海量的输入数据中识别重要数据单元的问题，给出了有效数据的概念，并提出了1种有效数据识别算法。该算法以缩略闭技术为基础，能够在用户给定的误差范围内。以接近1的概率输出有效数据，而且占用较少内存。实验和算法分析验证了算法的有效性。     

基于Geohash和动态网格的渔船轨迹相似度搜索算法

渔船轨迹数据属于具有强时空关联的时间序列数据,相较于普通轨迹具有形状多变无规律、单条轨迹点数量不统一等特点。在使用传统相似度索引构建的查询算法中,常由于以上原因造成索引构建缓慢,查询速度下降。为解决以上问题,提出了基于Geohash和动态网格的渔船轨迹相似度搜索算法。针对渔船轨迹数据形状多变问题,基于Geohash构建可变动态网格结构,利用Geohash的唯一性所构建的网格路径范围进行轨迹查询,直接对网格路径内所包含的其他轨迹点进行计数,并加入时间维计算以保证查询轨迹与被查询轨迹处于同一时间维度;通过计算结果轨迹点数量与轨迹点总数量之间的比值解决轨迹点数量不一致的问题。为验证所提出方法的有效性,使用真实渔船轨迹数据进行实验,并与传统方法进行了比较。实验结果表明,所提出的方法能够有效提高渔船轨迹数据的索引构建速度和查询速度,为进一步数据分析提供有效的数据支撑。     

海洋环境大数据系统建设研究进展

海洋环境大数据是诸多学科研究领域的基础,也是实施海洋强国战略和建设海洋强国奋斗目标的先决条件。文章从全球海洋环境观测计划及系统出发,探讨现阶段全球海洋环境大数据观测、国家数据库建设、数据质控方法以及数据应用现状,阐明了海洋环境大数据在国家发展中的重要性,客观地分析了目前海洋环境大数据发展在基础设施、数据处理及数据质控能力建设等方面面临的关键问题与挑战,以期为将来海洋环境大数据在多尺度、多学科、多行业的深入发展与深度融合提供可靠的资料与建议。