GRAPES全球格点模式的并行计算负载平衡策略

随着高性能计算机技术的发展和应用,并行计算已成为保证数值天气预报模式业务运行时效的关键技术之一.目前高性能计算机计算能力已达到每秒千万亿次浮点计算.系统中处理器数量也早已达十万甚至更多,如此巨大的计算资源对应用软件系统的设计也提出了挑战.数值天气预报软件系统要充分利用高性能计算机提供的计算资源,必须依靠并行计算方法,这包括适合计算问题的可扩展并行算法的设计、合适的数据分配方案以及良好的任务负载平衡方案.作为中国新一代数值天气预报格点模式,GRAPES(Global and Regional Assimilation and PrEdiction System)设计的最终目标是一个科研/业务通用,区域/全球通用模式.作为一个格点模式,GRAPES的并行计算具有与欧洲中期数值顶报研究中心谱模式并行计算不同的特点,GRAPES的并行计算采用了经典的水平网格数据划分.但对于全球的GRAPES模式,由于采用拉格朗日差分方案,模式极地及附近区域格点与格点之间距离的减小.使得模式并行计算在采用简单的经纬网格划分方式实现时,必须考虑极地区域并行计算跨越多个处理器时导致的频繁通讯解决途径.本研究提出了利用消息传递组通讯实现全球格点模式并行计算的一种方法,其核心思想是将极点附近一定区域内的处理器按纬向划归不同的处理器组.文中还给出了该实现方法的任务分配算法,提出了改进的任务分配负载平衡方案.在中国气象局高性能计算机IBM-cluster1600上的测试表明,算法具有较好的可扩展性,其负载平衡方案改善了计算的绝对墙钟时间,使并行计算效率提高10%以上.模式的准业务运行结果表明计算墙钟时间基本可以满足数值预报业务的实时性要求.     

GRAPES全球/区域集合预报系统10年发展回顾及展望

较系统地概述了中国气象局全球/区域集合预报系统及描述模式初值和模式自身不确定性的集合预报扰动技术发展历程,回顾了GRAPES(Global/Regional Assimilation Pr Ediction System)全球集合预报的奇异向量初值扰动方法、GRAPES区域集合预报的集合变换卡尔曼滤波初值扰动方法和多尺度混合初值扰动方法、GRAPES全球/区域集合预报模式不确定性的随机物理过程倾向项扰动方法和动能后向散射随机补偿方法等研究成果,介绍了GRAPES全球/区域集合预报业务系统构建参数设置和预报性能,最后分析了GRAPES全球/区域集合预报中存在的问题,展望了未来发展方向。     

GRAPES模式运行和质量初检

GRAPES(Global and Regional Assimilation and Prediction System)是中国气象科学研究院数值预报研究中心自主开发的新一代静力/非静力多尺度通用数值预报模式。黑龙江省气象部门现已完成对该模式的移植,实现每天两次自动定时运行,以中国国家气象中心全球数值模式预报结果T213为初始场和外嵌套环境场,进行48h的预报,供预报业务和服务使用。对预报结果的初步检验表明GRAPES模式软件框架的设计和实现适合多种计算条件移植和运行;预报结果对业务和服务有重要的指导意义。     

GRAPES全球模式云方案的诊断研究

在对GRAPES全球预报系统(GRAPES_GFS)云预报性能进行诊断评估的基础上,对凝结(华)和蒸发等物理过程及对流卷出对云的影响过程进行改进和优化,旨在提高GRAPES_GFS云量及其特征量和降水的预报精度.通过研究GRAPES全球模式、欧洲中期天气预报中心(ECMWF)和美国环境预报中心(NCEP)全球模式中3种...     

COSMIC资料在GRAPES全球三维变分同化系统的初步研究

利用COSMIC获得的GPS无线电掩星数据所反演得到的大气温湿度廓线资料,在GRAPES全球三维变分同化系统中做连续循环同化试验,研究了加入COSMIC资料后得到的GRAPES分析场及其5天中期预报是否有所改善。研究结果表明：通过加入COSMIC资料连续循环同化得到的分析场,相对原来没有加COSMIC资料连续同化出来的GRAPES分析场有明显改善,由此GRAPES全球模式全球5天中期预报水平有明显提高,其中加入没有稀疏化后COSMIC资料对南半球GRAPES分析场的改善以及GRAPES全球模式5天中期预报水平的提高都比较显著;加入稀疏化后的COSMIC资料对北半球GRAPES分析场的改善以及GRAPES全球模式5天中期预报水平的提高都有比较显著的效果。     

GRAPES全球集合预报初始条件及模式物理过程不确定性方法研究

为描述GRAPES全球模式初始条件的不确定性,基于适合集合预报应用的GRAPES全球奇异向量技术,依据大气初始误差符合正态分布的特征,采用高斯取样奇异向量来构造全球集合预报初始扰动,在此基础上建立了GRAPES全球集合预报系统(GRAPES-GEPS)。利用GRAPES全球同化分析场,对采用初始扰动的GRAPES-GEPS连续试验预报结果进行检验和分析。结果表明:GRAPES-GEPS中高度场、风场及温度场预报的集合离散度能有效快速增加,集合平均均方根误差与集合离散度的关系合理;相对控制预报的均方根误差,集合平均的预报优势在预报中期非常显著。为进一步体现GRAPES-GEPS中模式物理过程的不确定性,发展了模式物理过程倾向随机扰动技术(SPPT)。试验结果表明:SPPT方案的应用有效提高了GRAPES-GEPS在南、北半球和热带地区等压面要素预报的集合离散度,同时一定程度减小了集合平均误差,进而改进了集合平均误差与集合离散度的关系,其中SPPT方案在热带地区的改进最为显著。本文发展的基于奇异向量的初始扰动方法和模式扰动SPPT方案在中国气象局2018年12月业务化运行的GRAPES-GEPS中得到了应用。     

2012年汛期华南中尺度模式与日本模式的降水预报评估分析

采用累加降水量级检验、降水空间分布和时间演变以及天气系统分类等方法,对广东2012年汛期GRAPES华南中尺度模式和日本气象厅全球谱模式(JMA GSM,以下简称JMA)降水预报产品进行分析评估,结果表明:两个模式对小雨预报能力相当,对于中雨、大雨和暴雨GRAPES预报效果好于JMA;两个模式对广东雨带分布预报相反,GRAPES降水值随着预报时效的增加而增加;两个模式对广东较大降水过程的发展趋势预报基本准确, GRAPES降水预报以偏大为主,JMA以偏小为主;将汛期较大的降水过程按照其主导天气系统分为6类,GRAPES对其中5种类型降水预报效果好于JMA,两个模式对台风暴雨预报效果最好,对回流暴雨预报相对较差。      

基于总能量模的GRAPES全球模式奇异向量扰动研究

以发展基于奇异向量技术为初值扰动的GRAPES全球集合预报系统为目的,在GRAPES模式及其干动力框架下的切线性、伴随模式基础上开展了以总能量模为权重算子的奇异向量计算技术研究,建立奇异向量的计算求解模块,并通过奇异向量检验方法和切线性近似方法验证了奇异向量求解的正确性.通过对中高纬度的GRAPES奇异向量水平结构的线性演变分析,证实了在最优时间间隔内GRAPES奇异向量能够快速增长,并能描述中高纬度大气的斜压不稳定特征.分析在初始时刻和最优化时间间隔时刻的GRAPES奇异向量总能量及其分量(动能和势能)的垂直分布特征,发现在中高纬度区域,GRAPES奇异向量能够描述对流层不同层次的斜压不稳定增长特征.     

GRAPES全球切线性和伴随模式的调优

伴随技术是四维变分同化（4DVar）系统中计算代价函数梯度的最佳办法,切线性和伴随模式的效果和效率直接影响着4DVar系统的发展。基于GRAPES（Global and Regional Assimilation PrEdiction System）全球切线性和伴随模式1.0版本,利用GRAPES全球模式2.0版本在并行框架和性能等方面的改善,重新优化和设计了GRAPES全球切线性伴随模式2.0版本,提高了GRAPES全球切线性和伴随模式的效果和效率,优化了切线性模式程序结构,使其计算时间最优可控制在非线性模式的1.2倍以内;采用在切线性模式中保存基态的方法,重构了伴随模式的程序结构,使其计算时间最优控制在非线性模式的1.5倍以内;在GRAPES全球切线性物理过程的设计中,将线性物理过程的轨迹基态计算和切线性扰动计算解耦,提高了GRAPES全球切线性和伴随模式的计算效果和效率。     

辐射方案对GRAPES全球模式的影响

辐射过程是中期数值天气预报模式和气候模式中一个重要的物理过程。本文针对GRAPES (Global/Regional Assimilation and PrEdiction System) 全球模式非静力半隐式半拉格朗日的特点, 进行了不同辐射方案的敏感性比较试验, 以期找到一个适合于GRAPES全球模式的辐射方案。用到的方案包括WRF模式中的RRTM长波辐射方案、 NASA的Goddard短波辐射方案以及ECMWF的长短波辐射方案。试验结果表明, ECMWF的辐射方案更适合于GRAPES模式, 30天平均的北半球500 hPa高度场距平相关系数较WRF的辐射方案提高了近2%。另外, 针对实际运行中存在的辐射计算不稳定问题, 对辐射方案进行了气压订正和温度订正, 并对2005年7月影响我国的海棠台风进行了模拟试验, 气压订正后的120小时模式预报在对副热带高压和台风的描述上更接近于分析, 可用预报时效也有了明显提高。     

基于GPU-OpenACC的气候模式加速优化研究

为使数值模式适应异构架构在高性能计算领域的快速发展趋势,本文基于OpenACC语言,对气候模式BCC_AGCM3.0中动力框架三段程序段进行GPU加速优化试验。通过异步执行设置、循环内移、数据管理及向量参数化配置等方式,对模式中计算密集部分程序段进行GPU加速并行化,并进行了优化运行效率对比及正确性验证。试验结果表明,BCC_AGCM3.0模式中三段程序段GPU加速后效率提升均在3倍以上,BCC_AGCM气候模式全球涡度均方根相对误差控制在一定范围之内。加速方法及策略对于数值天气气候模式在异构环境下的移植与优化具有一定参考价值。     

BCCAGCM模式在神威·太湖之光系统的优化

开展气象数值模式在神威·太湖之光系统的移植与优化,对研究模式与新型计算架构的适应性有重要意义。该文以BCCAGCM模式为研究对象,将其移植到神威·太湖之光全国产异构众核计算系统,进行性能分析,对模式动力框架和物理过程计算结构进行调整,将计算核心段采用OpenACC技术进行众核加速优化,大量代码进行算法重构。结果表明:各核心段计算效率基本达到未优化的3倍左右,最高可达14倍左右,将各核心段集成,形成异构众核集成版本,可正确、稳定运行,计算误差合理。在不同并行规模,采用从核对模式整体计算进行加速效果比较稳定,基本保持在1.9倍,26000核并行规模动力试验并行效率约70%,其他试验约为57%。     

高性能计算技术在气象领域的应用

高性能计算通过应用超级计算机与并行处理技术解决复杂的计算问题,是信息技术发展比较迅猛的领域之一。气象应用始终是高性能计算的重要领域,高性能计算技术有效地解决了高分辨率、高精度气象数值预报模式发展限制,在气象预报预测业务中发挥着核心支撑作用。数十年以来,由于数值天气模式研究和业务运行对计算资源的强烈需求,国内外气象领域高性能计算机及应用迅速发展起来。气象领域对高性能计算能力及系统的可靠性需求日益提升。高性能计算技术将与气象预报应用日益融合,相互影响促进,不断创新发展。为满足气象预报预测业务和科研工作需求,中国气象部门将进一步提升高性能计算能力,并致力于优化集约高性能计算系统布局,高效管理计算资源,发挥最大效益。     

一种宽幅星载TOPSAR数据高效成像算法

得益于天线波束方位向扫描技术,星载合成孔径雷达（SAR）能够在渐进扫描模式（TOPS）下实现宽测绘带观测.在TOPS模式下,SAR波束沿着方位向进行逆时针反复扫描,并在距离向上进行多次切换,从而获取多个图像切片（burst）.为了获得均匀采样的完整成像结果,通常需要对各burst进行重采样,但这会增加额外的计算量,降低处理效率.本文提出了一种宽幅星载TOPSAR数据高效成像算法.首先,在去斜率操作中引入一种新的插值方法,可以灵活地调整最终图像的方位采样间隔,方便进行图像拼接.该方法避免了在聚焦处理前的补零操作,从而降低计算量.在此基础上,本文结合TOPS模式多burst的特点,设计了一种GPU并行处理架构,成倍地提高数据处理效率.最后,根据仿真数据进行了实验,验证了该成像算法的有效性和高效性.     

大气环流数值模式的一种并行化方案

从一般计算机并行计算理论出发,结合大气科学模式的特点,总结出一套对数值模式适用的并行化编程方案,而且提出了并行计算过程中应该注意的一些问题.利用文中提到的方案,可以帮助刚开始接触并行计算的模式编程人员快速完成串行数值模式的并行编程.最后,以一个串行的大气环流模式SAMIL并行化编程作为实例,对其并行计算过程和并行计算效率进行了描述和分析.     

并行效率的初步研究

用有限区域中尺度差分网格模式，采用分区域并行计算方法，在TRANSPUTER并行计算机上研究大规模并行计算中计算问题复杂度与并行计算效率的关系。结果表明，采用适当的并行计算法，增加处理机个数和计算问题的复杂度可使并行加速比增大；并行效率则随着处理机个数的增加而降低，随着计算问题复杂度的增加而提高；大规模并行计算能明显地提高计算速度，很适合于解决大量计算的问题，在数值预报方面具有广阔的发展前景。     

GRAPES全球模式MPI与OpenMP混合并行方案

随着多核计算技术的发展,基于多核处理器的集群系统逐渐成为主流架构。为适应这种既有分布式又有共享内存的硬件体系架构,使用MPI与OpenMP混合编程模型,可以实现节点间和节点内两级并行,利用消息传递与共享并行处理两种编程方式,MPI用于节点间通信,OpenMP用于节点内并行计算。该文采用MPI与OpenMP混合并行模型,使用区域分解并行和循环并行两种方法,对GRAPES全球模式进行MPI与OpenMP混合并行方案设计和优化。试验结果表明:MPI与OpenMP混合并行方法可以在MPI并行的基础上提高模式的并行度,在计算核数相同的情况下,4个线程内的MPI与OpenMP混合并行方案比单一MPI方案效果好,但在线程数量大于4时,并行效果显著下降。     

基于WebGIS的气象服务产品自动加工关键技术

针对融媒体时代对气象服务产品加工个性化、准实时、智能化新诉求,以SOA架构组件式开发思想为指导,归纳气象服务产品加工业务共性,提出一套集成应用WebGIS、并行计算和大数据技术的气象服务产品自动化加工解决方案。利用组件开发和工作流引擎技术,搭建面向服务体系架构的产品加工模型装备框架,对产品加工组件进行模型编排,实现无须编程情况下的产品加工模型快速构建;利用基于分布式架构的加工服务器集群技术,搭建加工服务器集群环境,对产品加工模型服务进行发布和管理,实现产品加工任务的秒级高并发处理;利用基于消息和定时机制的加工任务调度技术,开发了产品加工任务调度器,通过设置消息主题和定时计划策略,实现加工任务参数智能解析和适配应用,统一协调触发各加工模型服务进行自动化作业。智能化气象服务产品自动加工系统自业务化运行以来,在加工效率、美观性和扩充性等方面表现出很好的应用价值。以温度、降水、风速、相对湿度全国实况格点服务产品加工为例进行实验,加工耗时由797 s缩减至14 s,效率提高50倍以上。     

陆面过程模式研发中的问题

陆面过程研究是充分理解天气/气候/地球系统过程不可或缺的重要主题。本文全面梳理了当前用于数值天气/气候/地球系统模式的陆面过程模式研制的问题,建议了当前陆面过程模式研制中需加强和改进完善的关键内容。特别强调在新一代模式研发中建立包含人类活动的高分辨率全球陆面过程模式;特别强调与其他学科相结合,形成不同行业的预报预测系统或研究方法和工具。建议建设中国的集模式发展、数据分析、模拟方法、高性能计算、数据可视化和应用示范为一体的陆面模拟综合集成平台,为天气/气候/地球系统模式提供陆面过程模式,为开展精细化的全球和区域陆面水文-气象-生态的预报预测提供科技支撑。