基于服务架构的多源气象卫星数据集成显示应用平台

为了解决不同气象数据间的应用接口,并突破传统C/S架构应用软件的限制,设计了一种基于服务的,能支持多源、多尺度、多形态的气象数据和卫星遥感数据自动化生产与发布的集成技术解决方案。基于该方案所建立的多源气象卫星数据集成显示应用平台(ShinetekView),能很好地实现数据的云端发布和轻量级客户端应用,并能采用分布式的数据管理方式及组件式的结构设计,实现对新的数据的扩展。     

广东省气象卫星遥感数据资源池设计与应用

气象卫星数据是遥感应用的核心基石，遥感业务平台是遥感应用的重要技术手段。本文利用广东省气象局数据中心分布式NAS存储，分设FY 3D、FY 4A数据资源池，通过数据同步和用户管理技术，设计了面向桌面级业务应用的广东省气象卫星数据资源池V1.0。利用SMART和SWAP两大气象遥感应用系统，各级业务人员可快速制作气象卫星遥感监测和评估产品。通过上述“云+端”的遥感业务架构，有效解决气象遥感数据不易获取的难题和遥感应用的技术壁垒，为推进省、市、县级气象卫星遥感业务一体化提供了一定的应用示范和参考价值。     

基于UNICORE的分布式气象网格计算平台的构建

目前越来越多的超级计算领域,正采用网格技术来实现多个计算节点协作的分布式计算环境,以提高计算能力。利用国际领先的网格思想和国家气象网络计算应用系统建设的前期研究成果,在沈阳区域气象中心首次实现了基于UNICORE的分布式气象网格计算平台的构建,并通过气象宽带网络将沈阳区域气象中心高性能计算机系统作为区域分节点加入到国家气象网格平台。结果表明：UNICORE提供了统一的接口和简单易用、功能丰富的客户端,利用网格计算平台,用户在Windows个人计算机上通过图形用户界面可以从网格计算平台中获得对计算和数据资源的访问,可以准备和修改作业结构,提交作业,并可以利用作业监视器监视和控制已提交的作业。     

青海省四部固定全相参X波段多普勒天气雷达站通过电磁环境测试

世界上山地冰川最多的区域青藏高原冰川今年起将实现动态监测。青海省卫星遥感中心已基于我国发射的风云3号卫星数据建立起青藏高原典型大冰川遥感监测平台,近期即可通过卫星遥感技术对青藏高原冰川展开动态监测。     

MICAPS4服务端系统架构设计

MICAPS4体系采用客户端/服务器的系统架构,其中服务端系统是MICAPS4的重要部分,利用分布式存储与分布式计算技术,构建可容纳102 TB量级的气象实时数据,千万数据总量,面向数百并发用户的服务器集群系统。MICAPS4服务端系统在国内率先实现全部气象实时数据由文件到数据库、从集中式系统到分布式系统的迁移,该系统自2015年起在全国推广使用。在海量气象数据和大量用户并发访问的环境下,表现出很高的稳定性和优越的读写性能,同时具有便捷的扩展性和可维护性。MICAPS4服务端系统分为分布式存储系统、分布式前处理系统、站点实况轮询系统、查询服务器系统和监控系统5个子系统,分布式存储子系统为MICAPS4客户端提供了近实时数据的高速随机与顺序读取服务,分布式前处理系统利用对等分布式架构实现了海量气象实时数据的流式计算,站点实况轮询系统实现了跨系统的实况数据异构副本的同步功能,查询服务器系统利用多线程服务器技术实现了MICAPS4客户端的实时计算请求,监控系统利用部署于每个节点的探针实现监控信息的主动上报。     

寒露风灾害评估的空间分析模型研究

在寒露风发生期间,通过建立逐日温度的空间计算模型,应用地理信息系统计算了江西省小网格逐日温度分布情况;再根据寒露风指标,进一步计算了不同地形下的寒露风灾害分布情况,并结合卫星遥感监测的晚稻种植地理分布数据,制作了全省寒露风灾害分布图,计算了各地寒露风受害面积,研究了一种新的基于3S技术的灾害分析评估方法.     

超级计算机上矩阵乘的并行计算与实现

数值预报系统中经常要用到矩阵乘运算。在分布式超级计算机 (如IBM-SP) 上, 矩阵乘的并行计算需要较多的数据移动, 有效的数据传输对矩阵乘的实现至关重要。该文讨论了两种矩阵乘的并行算法, 一种是基于矩阵的列-行划分方式, 一种是基于矩阵的网格划分方式。在IBM-SP计算机上的实验结果表明, 网格划分的矩阵乘并行算法通讯开销更小, 并行效率更高, 其并行加速比较列-行并行算法改善约10 %。     

贵州省MODIS遥感历史数据整编

随着卫星遥感资料时间序列的延长和定量精度的提高,遥感数据集的建设和应用越来越受到重视。通过数据调研、数据下载、预处理、质量控制、编目等技术流程,建立2000—2018年贵州省MODIS遥感历史数据集,为贵州省生态环境监测与分析评估科学研究与监测服务提供历史背景数据,为贵州省生态文明建设、大生态战略实施提供基础数据支撑。     

超大城市观测数据系统平台设计与实现

为收集管理应用新型地基遥感设备观测的海量、多源、实时数据，中国气象局气象探测中心设计并搭建了超大城市观测数据系统平台。系统基于主流Web开发技术和分布式列存储集群方式MySql数据库，具备数据实时传输、监控、存储、分析、显示和共享等功能，实现了新型地基遥感观测数据管理规范化、产品服务多样化、资料共享便捷化。该系统平台既提高了新型地基遥感设备数据的支撑保障能力，同时分钟级廓线数据产品满足了短临天气预报对实时数据的高时效需求。目前，平台已在部分城市中推广应用，为地基遥感设备业务化运行提供全面的平台支持。     

气象灾害风险管理系统设计与应用

为满足我国气象灾害风险管理业务体系建立和发展的需求,有效支撑防灾减灾决策服务,设计并建设了气象灾害风险管理系统。该系统包括大数据应用、模型算法、在线分析与产品制作、综合运维等分系统,面向暴雨、台风、干旱、高温、低温等主要气象灾害,覆盖气象灾害风险管理业务的主要环节,实现灾害监测识别、影响评估、风险评估、风险预估和风险区划等功能。系统探索应用时空匹配的大数据融合、Web-GIS、空间数据分布式存储、微服务和多租户等技术。目前,系统可实现实时发布灾情监测、灾害事件识别、影响评估、风险评估、风险预估、风险区划等多类业务产品。在国家级气象业务部门的应用显示,该系统具有良好的业务能力与发展前景,有助于推进客观化、定量化、精细化气象灾害风险管理业务发展,提升防灾减灾决策服务能力。     

Operational Climate Prediction in the Era of Big Data in China:Reviews and Prospects

Big data has emerged as the next technological revolution in IT industry after cloud computing and the Internet of Things.With the development of climate observing systems,particularly satellite meteorological observation and high-resolution climate models,and the rapid growth in the volume of climate data,climate prediction is now entering the era of big data.The application of big data will provide new ideas and methods for the continuous development of climate prediction.The rapid integration,cloud storage,cloud computing,and full-sample analysis of massive climate data makes it possible to understand climate states and their evolution more objectively,thus predicting the future climate more accurately.This paper describes the application status of big data in operational climate prediction in China;it analyzes the key big data technologies,discusses the future development of climate prediction operations from the perspective of big data,speculates on the prospects for applying climatic big data in cloud computing and data assimilation,and puts forward the notion of big data-based super-ensemble climate prediction methods and computerbased deep learning climate prediction methods.     

一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

Operational climate prediction in the era of big data in China: Reviews and prospects

Big data has emerged as the next technological revolution in IT industry after cloud computing and the Internet of Things. With the development of climate observing systems, particularly satellite meteorological observation and high-resolution climate models, and the rapid growth in the volume of climate data, climate prediction is now entering the era of big data. The application of big data will provide new ideas and methods for the continuous development of climate prediction. The rapid integration, cloud storage, cloud computing, and full-sample analysis of massive climate data makes it possible to understand climate states and their evolution more objectively, thus predicting the future climate more accurately. This paper describes the application status of big data in operational climate prediction in China; it analyzes the key big data technologies, discusses the future development of climate prediction operations from the perspective of big data, speculates on the prospects for applying climatic big data in cloud computing and data assimilation, and puts forward the notion of big data-based super-ensemble climate prediction methods and computerbased deep learning climate prediction methods.     

气象基础设施云平台关键设计与实现

为适配气象业务科研应用对算力、存储资源的需求特点，采用分布式计算、分布式存储、虚拟化技术搭建气象基础设施云平台，并根据不同的业务类别、网络区域、资源服务对象针对性地设计云平台资源分区，以及每个分区需具备的云资源及功能。设计的云平台涵盖IaaS层、PaaS层功能，通过软件定义方式池化硬件资源，形成具备云计算、大数据支撑特征的资源池，为众多气象应用端部署、气象大数据业务提供虚拟主机、物理算力、数据存储资源。实际运行效果表明设计的气象基础设施云平台能够适应数据处理规模与时效性要求不断提升的业务发展需求。     

基于MapReduce计算模型的气象资料处理调优试验

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。     

大数据环境下支持多关键字的可搜索公钥加密方案

云计算为大数据提供了强大的数据处理平台,而数据的安全和隐私问题也引起了人们的高度关注.本文提出了一个新的大数据环境下支持多关键字的无需安全信道的无证书可搜索公钥加密方案,并且证明了在随机预言机模型下,本文方案能够抵抗关键字猜测攻击.同时,效率分析表明,与Peng等方案相比,本文方案降低了计算代价和通信代价.     

基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。     

第四范式视角下的大数据科学

随着物联网、云计算技术的飞速发展,大数据及其相关科学成为学术界和工业界关注的热点.本文从范式理论的角度对大数据科学进行剖析,阐述大数据研究与传统研究的联系与区别;从机器学习的视角出发,分析了大数据带来的三大主要挑战及其背后的科学问题.此外,本文介绍了第四范式视角下进行大数据科学研究的洞察力,以及其所具有的积极意义;最后总结并展望未来大数据科学面临的挑战.     

网格计算及其在气象中的应用

网格是近年来最新发展起来的一种计算技术。通过使用一组开放标准与协议,各机构能够通过互联网或内部网访问数据、存储介质和其它异构计算资源,最终将分布在不同地理位置上的网络、数据、计算资源、存储、应用等在内的资源整合成为一个无缝的计算环境。气象以其高计算量、高吞吐量和密集型服务在美国、欧洲、日本等网格应用计划中占有重要的地位。如ECMWF的EcAccess,美国超级计算应用中心的MEAD等。这些计划的实施将有效地聚合分布在不同地理位置上的高性能计算资源与人力资源,实现计算资源和气象数据的共享,为数值预报乃至地球系统模拟提供一个远程的协同攻关环境。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。