分布式网络环境下海洋大数据服务技术研究

海洋大数据具有分布式获取的特点和一体化应用的特性,分布式网络环境下海洋大数据服务技术是避免"信息壁垒、信息孤岛、重复建设"的重要途径。从海洋信息基础设施建设和需求导向的角度,论证了海洋数据共享与信息服务的辩证关系;提出了基于统一时空数字地球模型构建海洋大数据空间关联的空间抽象坐标参考基准的技术方法;解决了分布式网络环境下的海洋监测与调查数据标准化格式网络发布、海洋再分析产品数据主动推送,海洋业务数据定制等3项关键技术;实现了以"多中心、多节点"为特征的分布式网络环境下海洋大数据服务模式。结合我国数字海洋信息基础框架的专网环境下的实验,验证了其可行性并结合"智慧海洋"建设,提出了未来发展方向与研究重点。     

NetCDF物理海洋数据云存储技术研究

物理海洋数据具有多维、时空和海量等特征,主要以NetCDF结构化文件格式进行存储。然而,在分布式环境中,结构化文件存在数据块寻址困难、边界不易判定等问题,制约着大数据场景下的存储及应用。论文设计基于HDFS+Spark的NetCDF物理海洋数据云存储方案,首先采用HDFS分布式存储技术存储和管理物理海洋数据;并设计基于Spark并行计算框架的数据分片方案,复写读取接口获取分布式环境下的NetCDF文件数据块地址,实现了物理海洋数据的高效率存储与查询分析。选取中国海域100 a时长的物理海洋数据进行波高-周期散布图统计实验。结果表明:在数亿级记录数条件下,文中方法可将查询分析耗时由集中式文件存储方式的2 300 s缩短至50 s内,效率较集中式文件存储方式提升95%以上,验证了该方法的正确性和有效性。     

我国周边海域典型海洋锋特征建模研究

基于海洋锋空间位置、水平分布结构和垂直扩展特征等时空特征参数,结合海洋锋空间结构几何模型,建立了区域海洋锋温盐三维结构快速重构特征模型,对黄海西部沿岸锋和东海黑潮中段锋锋区温度场进行了仿真计算,并与实测数据进行了比较分析,实验结果表明：仿真结果与实测数据符合较好,实验结果验证了特征模型的有效性和可推广性。海洋锋区声速具有明显的水平梯度变化,对声纳的水下探测和反探测产生显著影响,因此,需要建立实时估计获取锋区水下温、盐结构的方法。海洋锋特征模型能够快速有效地重构海洋锋区温度场,为实时获取海洋锋水下结构特征提供了方法。     

海洋时空过程数据模型及其原型系统构建研究

从地球信息科学角度,分析了海洋现象的过程特性,并给出过程对象的BNF范式组织结构。把具有过程特性的海洋现象分级抽象为海洋过程对象、阶段对象、序列对象和状态对象,讨论了海洋过程对象的语义分级抽象与顺序、包含关系及过程对象内的演变机制,分析了通过过程对象隐式记录演变机制、过程对象存储表提供其程序接口,实现连续渐变表达机制在模型中的实现策略,发展了基于过程对象、过程对象关系表的模型的过程化组织结构。在Geodatabase9.2基础上,扩展过程对象的存储机制,构建海洋时空过程数据模型的原型系统(海洋时空过程数据库系统MarineSTPDMGDB和海洋系统功能平台MDMProtoTypeSystem),并给出其框架结构及关键技术实现流程。原型系统的构建及功能分析结果证明了模型的科学性与适用性,为"数字海洋"战略的实施提供了理论基础。     

海平面上升模拟及其在数字海洋中的实现

围绕海平面上升模拟中需解决的水面演进范围判定、进水量计算、水面对象时空数据组织以及水面运动时间动画构建等问题进行了探讨,提出了基于溃堤进水量和改进的有源淹没算法实现的水面演进范围模拟方法,并介绍了如何应用 SkyLine 软件实现水面上升模拟及其在"数字海洋"中的集成应用.     

基于分布式数据库的海洋动力环境数据云存储

针对海洋动力环境数据的时空特征,提出了基于分布式数据库的云存储技术,设计了分布式管理方案以及相应的时空分片方案和索引机制,实现了数据存储的物理分布性、逻辑整体性和节点自治性,显著提高了数据的查询效率。以南海区域40 a海洋动力环境数据为例进行波高-周期散布图统计,耗时由集中式文件存储方式的2 min缩短至云存储方式的10 s以内。     

基于模型驱动的海洋环境数据平台研究与应用

设计了基于模型驱动架构的海洋环境数据平台,论述了其数据模型设计和功能设计,开发了基于Web Services平台原型系统。该平台以数据对象模型为核心,实现了海洋环境数据与用户业务逻辑的松散耦合,解决了传统数据库设计模式在面对具有时空动态变化特性的海洋环境数据存储与管理时出现的效率低、扩展性和通用性不足等问题,提高了海洋数据管理效率和共享服务能力。     

基于过程的海洋地理信息系统研究

地理信息系统(GIS)作为对蕴涵空间位置信息的数据进行采集、存储、管理、分发、分析、显示和应用的支撑技术,日益显示其对海洋研究的重要性.但传统的GIS主要以静态方式完成对地理空间“状态”的描述、操作和分析,而海洋永远处于不断变化中,需要处理的是海洋动态现象.要完整地表达和分析海洋动态现象的特征与变化规律,必须使地理信息系统具备对海洋动态过程的管理、处理和分析能力,亦即海洋地理信息系统(MGIS)需要将“过程”纳入其研究范围.为此,以过程处理为核心,发展海洋地理信息系统对时空信息处理的能力,充分利用多维信息可视化和组件化技术,开发了三层体系结构的大吞吐量开放式的海洋地理信息系统Maxplore.简要介绍了系统开发的关键技术与特色模块,包括海洋用户需求分析、MGIS的定位与总体设计、多源数据管理、栅格数据处理、海洋形态特征分析、多维时空动态、综合分析环境和海洋模型集成平台.     

基于球体的海洋标量场要素的三维可视化技术研究

在分析海洋环境标量场要素数据特点,了解常规的海洋环境要素分析和可视化表达方式的基础上,对在三维球体模型上实现海洋标量场要素时空分析和可视化表达的方法和技术进行了研究.提出了海洋标量场要素数据的三维空间数据模型,以此为基础利用VC与Open GL技术实现纹理数据的实时绘制,并采用基于对象的方法在三维球体上对其进行可视化表达,实现了真正意义上基于地球球体模型的海洋标量场要素的可视化.该基于球体的可视化方式能更好地表现研究对象的区域特点,特别是在进行大范围区域乃至全球性研究时更具优势.同时,通过按需进行数据抽取,系统在数据加载效率与数据承载总量上都有所提高,在＂数字海洋＂原型系统中目前已经加载了全球范围多个精度的温度、盐度、密度、声速等标量场数据,并实现了业务化运行.     

海洋环境数据在线服务系统设计与实现

文章针对海洋数据信息孤岛、服务对象单一等问题,设计了海洋环境数据在线服务系统。采用并行数据库技术实现数据的快速组织整理、查询检索,解决数据高耦合、高冗余等问题,提高对数据的快速检索能力。利用虚拟化技术完成存储、服务器、网络设备资源整合与集群建设,解决物理设备分布散乱、利用率低的问题,提高资源利用率,节约成本。利用域控管理机制,实现系统信息安全与数据在线服务。     

海洋地质调查数据库系统的数据组织

采用地理信息系统平台建立数据库,可以利用要素类和数据表对数据进行管理,但是,地理信息系统软件平台提供的数据表、要素类等数据对象并不能满足多样性的海洋地质调查数据的存储和管理需求,还需要以各种格式的数据文件形式对数据进行存储和管理,通过数据表关键字段将各种数据关联起来,把各种数据组织成一个完整的数据库。根据数据管理、数据可视化、数据应用等需求,讨论了各种海洋地质调查数据在数据库系统的数据组织管理方案。     

海量数据驱动下的高分辨率海洋数值模式发展与展望

海洋数值模式是定量描述海洋物理现象及其变化的数值模型,也是海洋与气候研究、预测的核心工具。随着海洋观测的不断投入与积累、对海洋认识的不断深入,特别是在高性能计算技术的支撑下,海洋数值模式已有了长足进步,正朝着高分辨率和多物理过程的方向发展。随着分辨率的提高、物理过程的细化,海洋数值模式的发展面临着多个方面的挑战。当前,海洋数据数量和种类不断增多,同时超级计算机、高性能计算和深度学习等技术的快速发展,为海洋数值模式的突破提供了机遇与挑战。本研究回顾了海洋数值模式的发展现状,梳理和分析了其发展中遇到的大规模高效并行计算和参数优化这两个关键问题,探讨和展望了当前海量数据驱动下海洋数值模式的发展趋势。提出计算负载均衡、计算与I/O重叠的并行流水线设计以及降低全局交换的算法改进是当前突破高分辨率海洋模式大规模高效并行效率的关键。从海洋科学、高性能计算以及深度学习深度交叉融合的角度,提出了实现海洋科学与深度学习相结合的6个途径,在此基础上,探讨了基于深度学习的参数化优化可能实现的途径。     

基于深度学习和时空特征融合的海洋渔船密度预测方法

为了从海量渔船轨迹数据中挖掘隐含的信息和知识,进而为渔业行政主管部门的决策提供科学依据,本研究以AIS渔船轨迹数据为研究对象,提出了一种基于深度学习和面向时空特征融合的海洋渔船密度预测方法：首先,利用渔船轨迹数据集对渔船行驶区域进行网格划分;其次,筛选出渔船高密度区域进行研究,避免数据稀疏性问题;再次,根据渔船轨迹数据的时空分析,构建三维时空融合矩阵;最后,通过卷积循环神经网络模型捕获渔船分布的时间和空间特征,并利用卷积神经网络的堆叠加强对空间特征的学习。实验通过东海海域渔船真实轨迹数据进行具体测试,结果表明渔船密度预测值与真实值非常接近,平均绝对误差为4×10-4,模型较好地拟合了渔船密度分布特征,有效地提高了渔船捕捞热点预测的准确性和鲁棒性。     

基于颜色校正及特征融合的海洋遗迹图像增强

针对海洋遗迹图像出现色偏、细节模糊等现象,导致海洋测绘等工作效率低的问题,提出基于颜色校正及特征融合的海洋遗迹图像增强方法。首先改进传统颜色校正以缩小色彩衰减程度;其次使用深层信息提取模块获取细节信息,并加入多尺度特征提取模块保证图像视觉的完整性;最后提出特征融合模块融合深层细节和尺度特征信息,输出清晰海洋遗迹图像。实验结果表明：本文将传统方法和深度学习算法结合,不仅可以提高真实海洋遗迹图像的清晰度,而且在数据集上的评价指标均优于对比的经典及新颖算法,为海洋测绘等领域提供新思路。     

海洋栅格时空层次聚合模型及其渔业应用

目前地理信息系统数据模型的研究和应用大多是针对陆地问题,针对海洋问题进行时空数据模型的研究较少。本文以海洋统计分析为需求,分析海洋数据的时空特性,结合现有的数据库系统,探究适合海洋特性的时空模型及其逻辑结构。在此基础上,设计基于栅格的时空层次聚合模型,并在实践中检验其有效性。实践表明该模型易于提取多维对象在各维上不同层次的聚合数据,是1种较为实用的时空数据仓库的底层模型。     

基于CUDA的海洋监测数据并行压缩技术研究

为了提高海底观测网系统的运行效率,针对海洋仪器设备中海量监测数据的存储及传输问题,进行无损数据压缩算法的并行化技术研究。根据海洋监测数据的特点,进行压缩测试,选取出适合并行化的压缩算法,针对原有算法执行速度慢的问题,创新性地提出一种在CUDA架构上利用GPU并行加速平台,多线程分块并行实现数据压缩的方法。实验结果表明并行压缩算法的执行速度有大幅度的提升,压缩加速比最高可提高一个数量级,满足了海洋仪器设备中无损数据压缩的实时性需求。     

海洋信息组织与存储模型研究及其在“数字海洋”中的应用

基于中国数字海洋建设的经验和成果,制定了海洋数据要素的分类方案,将海洋信息分为5大类：海洋点要素、海洋线要素、海洋面要素、海洋网格要素、海洋动态要素。采用基于特征的方法和面向对象的技术设计了适合数字海洋大型信息系统工程建设的时空数据模型,探讨了海洋空间数据模型、海洋立体格网数据模型、关系数据模型在数字海洋数据仓库建设中...     

面向时空非均匀Argo数据集的k邻域搜索算法

k邻域搜索作为海洋温盐场重构关键的前序步骤,搜索速度和结果是否具有代表性直接影响研究工作的效率和科学性。当前的k邻域搜索算法及其改进方法主要针对空间数据集。面向Argo时空非均匀数据集提出了一种k邻域快速搜索算法,首先基于立方体栅算法向时空维扩展,利用时空子分块对海量、时空非均匀的采样点进行分配;在此基础上采用时空补偿的策略对算法进行优化。结果表明,该方法有效提升了Argo浮标的邻域搜索效率并且改善了搜索结果的分布情况。     

海洋信息组织与存储模型研究及其在"数字海洋"中的应用

基于中国数字海洋建设的经验和成果,制定了海洋数据要素的分类方案,将海洋信息分为5大类:海洋点要素、海洋线要素、海洋面要素、海洋网格要素、海洋动态要素.采用基于特征的方法和面向对象的技术设计了适合数字海洋大型信息系统工程建设的时空数据模型,探讨了海洋空间数据模型、海洋立体格网数据模型、关系数据模型在数字海洋数据仓库建设中...     

面向表层海水温度的时空数据挖掘研究

长序列的表层海水温度(SST)数据既有时序特征又有明显的空间特征,是典型的时空数据。目前对该类数据的分析挖掘一般采用单纯的时间或者空间方法进行,不能很好地顾及时空数据的时空耦合、时空相关与时空异质特征。时空聚类分析是时空数据挖掘领域中的热点问题,对于揭示时空数据的发展变化趋势和规律具有重要意义。利用Arcgis、时空统计学、智能计算等工具对表层海水温度进行时空聚类分析,尝试对东海区40余个海洋点2008-2015年的月均表层水温数据进行时空数据挖掘以验证时空聚类方法的可行性和有效性。