NetCDF物理海洋数据云存储技术研究

物理海洋数据具有多维、时空和海量等特征,主要以NetCDF结构化文件格式进行存储。然而,在分布式环境中,结构化文件存在数据块寻址困难、边界不易判定等问题,制约着大数据场景下的存储及应用。论文设计基于HDFS+Spark的NetCDF物理海洋数据云存储方案,首先采用HDFS分布式存储技术存储和管理物理海洋数据;并设计基于Spark并行计算框架的数据分片方案,复写读取接口获取分布式环境下的NetCDF文件数据块地址,实现了物理海洋数据的高效率存储与查询分析。选取中国海域100 a时长的物理海洋数据进行波高-周期散布图统计实验。结果表明:在数亿级记录数条件下,文中方法可将查询分析耗时由集中式文件存储方式的2 300 s缩短至50 s内,效率较集中式文件存储方式提升95%以上,验证了该方法的正确性和有效性。     

时态GIS的应用——以福建省GDP演变为例

时态GIS作为GIS的一个新兴研究领域,用于采集、存储、管理、分析与显示地理实体随时间变化的信息.本文利用ArcGIS软件的时态功能以福建省1990～2006年县域GDP时空数据为例构建其时态演变过程.此方法应用于其他与时态相关的各个领域.     

基于NetCDF的海底地形网格数据模型创建与调度

主要介绍了NetCDF的原理以及如何按照NetCDF的格式规则创建、快速调度网格数据的步骤和方法,并利用这些原理、步骤、方法,实现对海底地形网格数据的快速创建和调度,在此研究领域上提供一定的理论和实践基础。     

海洋叶绿素a浓度动态可视化研究

为了实现叶绿素a浓度数据的三维动态可视化效果,针对海洋环境数据多维、多时间及多格式等特点,在全面分析NetCDF(network Common Data Form)数据模型的格式、存储的基础上,结合GPU(Graphics Processing Unit)与osgEarth三维地球虚拟场景,提出一套海洋环境中叶绿素a浓度的动态可视化方法。实验表明,该方法具有一定的可行性和高效性,为海洋环境数据的动态可视化与分析提供了强有力的可视化平台。     

通用气象数据格式转换工具METPAD设计与实现

气象数据是现代天气预报和气候预测业务的重要基础支撑，种类众多格式复杂，针对气象数据应用研究中缺乏便捷通用的格式转换处理工具的问题，设计开发了一种通用气象数据格式转换工具，采用Python开发算法工厂并调用第三方气象数据处理库集成实现气象数据的解读分析和格式转换，支持多种主要气象数据的处理，面向应用场景，提供命令行和可视化应用终端。该工具已在北京高性能计算机应用中心网站发布，并在数值预报模式中试支撑环境中部署应用。