中尺度数值模式在IBMP690上的并行测试

2005年初,安徽省气象局在IBMP690上分别实现了MM5、WRF、GRAPES中尺度数值预报模式的并行计算,并分别对他们的加速比和并行效率做了测试。结果表明:当分别采用8、16、24个处理机时,三种模式均可在1个h内完成36~72 h的预报,并行效率约为65%,即能够满足业务需要,又较充分利用了计算机系统资源;当增加处理机数时,GRAPES的计算时间缩短最显著,平均并行效率也最高。     

A preliminary evaluation of high-performance advanced regional eta-coordinate model(H-AREM)

为验证高性能AREM模式(H-AREM)的并行性能,本文利用相同分辨率的AREM3.4P和H-AREM并行模式,比较了不同并行方法的影响;利用不同分辨率的H-AREM模式比较了不同剖分策略的影响。结果表明,基于并行框架的并行方法和二维剖分策略有利于并行性能的提升,HAREM在加速比和可扩展性方面都要优于原并行模式,特别是分辨率8 km的H-AREM模式能够扩展到8099核,在不显著增加计算时间的前提下具有更好的预报效果。     

用微机多核CPU并行方式运转WRF模式

该文分析了WRF模式模拟时提高分辨率对计算能力的需求是量级式增长;介绍了集群的基本原理和组成部件;并从实例出发,介绍了用微机多核CPU组建单机集群方案和WRF模式的并行编译方式。分析了地市级气象台站建立区域中尺度数值预报系统应考虑的几个因素。用6种区域方案进行了并行试验,试验相关数据表明：WRF模式在多核CPU构建的Linux单机集群中并行效率高,运算的CPU越多速度越快。用多核CPU单机集群并行方式运转WRF模式具有成本低、简单稳定、运算速度快的特点。     

完全非内插半拉格朗日格式在一维 Burgers方程及二维浅水波方程上的应用

在作者过去提出的完全非内插半拉格朗日格式的基础上,针对半拉格朗日格式由于内插带来预报场人为的光滑性问题,进一步发展了这种计算格式,证明了此格式的计算稳定性。为检验这种新的计算格式的性能,在一维和二维问题上进行了应用。在一维问题中采用了一维无粘Burgers方程（方程中有突变点）;二维问题采用了浅水波方程,同时将这些计算结果与Ritchie方案及欧拉方案或一般半拉格朗日内插方案的计算结果进行了比较,发现新格式消除了内插和预报场的人为光滑,并且计算精度有一定程度的提高,这为以后将此格式推广到全球谱模式打下了基础。     

应用于双向套网格模式的一种变格距差分解法

本文提出了一种用于双向套网格模式的变格距差分计算方案。该方案在不同格距的网格区采用不同精度的差分格式，它自然地连接粗细网格，避免了一般套网格方案在粗细网格相重合点上进行的重复计算。用解析法和数值试验证明了:它与其它一些变格距差分格式相比，对短波的穿透能力有明显改进，虚假的反射也较小。应用该方案建立了正压原始方程双向套网格模式，并采用空间分解和时间分解计算方法。这不仅使二维问题转化为二个一维问题，而且二维套网格也可简化为一维均匀网格和一维套网格两部分，从而使计算和程序简化。用理想场为初值所做的一系列数值试验表明，该模式中的波可以自由进出粗细网格区，计算稳定。最后，还用该模式做了台风路径预报试验，给出了一些试验结果。     

基于J-Earth领域编程框架的高效并行大气环流模式(H-GAMIL)构建

高性能并行计算,一直是气候系统模式研究中的重要科学前沿。然而,随着计算机技术的发展,计算机体系结构越来越复杂,以及气候系统模式本身的复杂性使得开发高性能气候系统模式成为一个难题。采用了一种全新的并行程序设计方法:基于针对气象科学中的计算特点发展出的领域编程框架J-Earth,构建了高性能并行大气环流模式H-GAMIL。在对原模式GAMIL分析和解构以后,结合J-Earth的特点,采用面相对象的编程方式,对H-GAMIL进行重构。重构后的H-GAMIL具有现代软件标准化模块化的特点,并具有自动二维剖分、MPI(Message Passing Interface)和Open MP(Open Multi-Processing)混合并行实现、并行输出等新功能。解决了原模式一维剖分受到处理器限制,串行IO等问题。在此基础上,本文对H-GAMIL进行了并行效率测试,结果显示,模式水平分辨率为1°(纬度)×1°(经度)时,可使用上千处理器核,并行效率达40%以上且负载平衡达70%。测试结果表明了H-GAMIL具有较好的并行效率和可扩展性;同时对H-GAMIL模拟性能进行对比分析,其结果表明H-GAMIL保持了原模式的守恒性,并且具有与原模式相当的模拟性能,能够满足气候研究的计算需求,达到实用程度。     

利用WRF模式进行高性能计算机并行计算评测

在大规模集群高性能计算机系统上进行WRF模式并行计算测试,研究WRF模式不同水平分辨率和垂直分辨率与并行计算时间、并行加速比和并行效率的关系。测试结果表明,随着并行计算使用计算核心个数的增加,并行计算时间减少,并行加速比增大,并行效率则降低;在使用计算核心个数相同的情况下,随着水平分辨率的提高,WRF模式并行计算时间增加,并行加速比增大,并行效率也提高。     

数值预报MAPS模式并行化移植初探

通过武汉区域气象中心数值预报MAPS（Mesoscale Analysis and Process System)模式并行化移植的实例，介绍了如何使用共享内存，消息传递的并行方式进行数值预报模式并行化工作，对不同条件下并行MAPS模式的并行效率进行了比较。结果表明，对数值预报MAPS模式完成程序优化和共享内存方式以及消息传递方式的并行化等工作后，MAPS模式运算时间大为缩短，满足预报业务时效的要求。     

高分辨有限区数值预报模式的省时显式积分

本文提出利用省时显式方案积分两个高分辨有限区数值预报模式。其结果表明，这一积分方案可以使模式的计算效率大大提高，而由时间积分方案的变化所造成的预报差异比模式空间离散化方案的不同所造成的预报差异要小。同时还讨论了将省时显式方案用于有限区模式的边界处理问题，提出了一个与蛙跃格式等价的边界处理方案。     

基于MPI技术的AREM模式并行开发及试验

应用消息传递接口函数库（MPI）并行程序设计技术开发了中尺度暴雨数值预报模式AREM（Advanced Regional Eta-coordinate Model）的并行版本,并在3种计算机系统平台下进行了加速比测试,结果显示出较高的并行效率和较好的可扩展性。建立并行版本后,模式高分辨率版本能够满足时效性要求。通过采用并行模式的高低分辨率版本对一个暴雨个例进行模拟表明,高分辨并行版本的模拟结果与观测更为接近,并具有较好的预报时效性。     

并行效率的初步研究

用有限区域中尺度差分网格模式，采用分区域并行计算方法，在TRANSPUTER并行计算机上研究大规模并行计算中计算问题复杂度与并行计算效率的关系。结果表明，采用适当的并行计算法，增加处理机个数和计算问题的复杂度可使并行加速比增大；并行效率则随着处理机个数的增加而降低，随着计算问题复杂度的增加而提高；大规模并行计算能明显地提高计算速度，很适合于解决大量计算的问题，在数值预报方面具有广阔的发展前景。     

一种适用于有限差分模式的负载平衡区域分解方法

分布式内存并行处理在数值天气预报等超大规模科学计算中已经得到了广泛的应用。中尺度模式由于分辨率高 ,计算量大 ,需使用更多的处理机进行并行运算。另一方面 ,由于复杂的物理过程的采用 ,增加了不同天气的计算量的不平衡。但是 ,目前所广泛使用的并行处理方法在处理机数量较多时不能很好地均衡计算负载 ,引起并行计算效率的降低。本文提出了一种新的非规则区域分解负载分配方法。并与已有的负载分配方法进行了分析试验对比 ,该方法能更有效地平衡负载 ,取得更好的加速效果     

BCCAGCM模式在神威·太湖之光系统的优化

开展气象数值模式在神威·太湖之光系统的移植与优化,对研究模式与新型计算架构的适应性有重要意义。该文以BCCAGCM模式为研究对象,将其移植到神威·太湖之光全国产异构众核计算系统,进行性能分析,对模式动力框架和物理过程计算结构进行调整,将计算核心段采用OpenACC技术进行众核加速优化,大量代码进行算法重构。结果表明:各核心段计算效率基本达到未优化的3倍左右,最高可达14倍左右,将各核心段集成,形成异构众核集成版本,可正确、稳定运行,计算误差合理。在不同并行规模,采用从核对模式整体计算进行加速效果比较稳定,基本保持在1.9倍,26000核并行规模动力试验并行效率约70%,其他试验约为57%。     

浅水波模式半拉格朗日方法的并行研究

该文研究的问题是分布式并行计算机消息传递方式下半拉格朗日并行算法, 重点研究二维浅水波并行模式中有关子区域过渡带(HALO)的问题和有关求解赫姆霍兹方程的并行算法。进行了一系列的对比试验, 研究在不同分辨率下模式的并行效率的问题。结果表明:采用分区域并行计算的方法, 可得到较好的并行效率。模式中使用半拉格朗日方法处理平流项是有利的, 在分辨率高时, 可有效地提高计算速度。     

GRAPES全球模式MPI与OpenMP混合并行方案

随着多核计算技术的发展,基于多核处理器的集群系统逐渐成为主流架构。为适应这种既有分布式又有共享内存的硬件体系架构,使用MPI与OpenMP混合编程模型,可以实现节点间和节点内两级并行,利用消息传递与共享并行处理两种编程方式,MPI用于节点间通信,OpenMP用于节点内并行计算。该文采用MPI与OpenMP混合并行模型,使用区域分解并行和循环并行两种方法,对GRAPES全球模式进行MPI与OpenMP混合并行方案设计和优化。试验结果表明:MPI与OpenMP混合并行方法可以在MPI并行的基础上提高模式的并行度,在计算核数相同的情况下,4个线程内的MPI与OpenMP混合并行方案比单一MPI方案效果好,但在线程数量大于4时,并行效果显著下降。     

基于通用图形处理器的GRAPES长波辐射并行方案

随着通用图形处理器 (GPGPU) 计算技术的快速发展,通过大规模增加处理系统的并发度来提升性能成为计算机高性能计算的最新趋势。目前,通用图形处理器已经被应用到科学计算的诸多领域。长波辐射作为GRAPES模式中极为重要的物理过程,其巨大的计算量对整个GRAPES模式的运行效率有重要影响。该文依托NVIDIA公司计算统一设备架构 (CUDA) 技术平台,以GRAPES全球模式中长波辐射传输方案为例,对其进行了大规模并发设计和优化,在保持系统结果一致的前提下,对比单颗高端CPU,Tesla C1060 GPGPU具有11倍的加速效果,明显提升了GRAPES全球模式的执行速度和预报时效。研究表明:使用通用图形处理器技术提升数值预报模式的执行速度非常有潜力。     

INTELLIGENT ALGORITHMS FOR SOLVING CNOP AND THEIR APPLICATIONS IN ENSO PREDICTABILITY AND TROPICAL CYCLONE ADAPTIVE OBSERVATIONS

Some intelligent algorithms (IAs) proposed by us, including swarm IAs and single individual IAs, have been applied to the Zebiak-Cane (ZC) model to solve conditional nonlinear optimal perturbation (CNOP) for studying El Ni?o – Southern Oscillation (ENSO) predictability. Compared to the adjoint-based method (the ADJ-method), which is referred to as a benchmark, these IAs can achieve approximate CNOP results in terms of magnitudes and patterns. Using IAs to solve CNOP can avoid the use of an adjoint model and widen the application of CNOP in numerical climate and weather modeling. Of the proposed swarm IAs, PCA-based particle swarm optimization (PPSO) obtains CNOPs with the best patterns and the best stability. Of the proposed single individual IAs, continuous tabu search algorithm with sine maps and staged strategy (CTS-SS) has the highest efficiency. In this paper, we compare the validity, stability and efficiency of parallel PPSO and CTS-SS using these two IAs to solve CNOP in the ZC model for studying ENSO predictability. The experimental results show that CTS-SS outperforms parallel PPSO except with respect to stability. At the same time, we are also concerned with whether these two IAs can effectively solve CNOP when applied to more complicated models. Taking the sensitive areas identification of tropical cyclone adaptive observations as an example and using the fifth-generation mesoscale model (MM5), we design some experiments. The experimental results demonstrate that each of these two IAs can effectively solve CNOP and that parallel PPSO has a higher efficiency than CTS-SS. We also provide some suggestions on how to choose a suitable IA to solve CNOP for different models.     

GRAPES全球格点模式的并行计算负载平衡策略

随着高性能计算机技术的发展和应用,并行计算已成为保证数值天气预报模式业务运行时效的关键技术之一.目前高性能计算机计算能力已达到每秒千万亿次浮点计算.系统中处理器数量也早已达十万甚至更多,如此巨大的计算资源对应用软件系统的设计也提出了挑战.数值天气预报软件系统要充分利用高性能计算机提供的计算资源,必须依靠并行计算方法,这包括适合计算问题的可扩展并行算法的设计、合适的数据分配方案以及良好的任务负载平衡方案.作为中国新一代数值天气预报格点模式,GRAPES(Global and Regional Assimilation and PrEdiction System)设计的最终目标是一个科研/业务通用,区域/全球通用模式.作为一个格点模式,GRAPES的并行计算具有与欧洲中期数值顶报研究中心谱模式并行计算不同的特点,GRAPES的并行计算采用了经典的水平网格数据划分.但对于全球的GRAPES模式,由于采用拉格朗日差分方案,模式极地及附近区域格点与格点之间距离的减小.使得模式并行计算在采用简单的经纬网格划分方式实现时,必须考虑极地区域并行计算跨越多个处理器时导致的频繁通讯解决途径.本研究提出了利用消息传递组通讯实现全球格点模式并行计算的一种方法,其核心思想是将极点附近一定区域内的处理器按纬向划归不同的处理器组.文中还给出了该实现方法的任务分配算法,提出了改进的任务分配负载平衡方案.在中国气象局高性能计算机IBM-cluster1600上的测试表明,算法具有较好的可扩展性,其负载平衡方案改善了计算的绝对墙钟时间,使并行计算效率提高10%以上.模式的准业务运行结果表明计算墙钟时间基本可以满足数值预报业务的实时性要求.     

气候数值模式在计算网格环境下的应用

气候数值模式研究一直受到大型计算机系统计算性能和计算资源不足的制约。目前越来越多的超级计算领域,正采用网格技术来实现多个计算节点协作的分布式计算环境,以提高计算能力。本研究是气候数值模式在网格环境下的实现方案,依据数值模式数据通讯量的多少,按强关联型和弱关联型两种主要的计算形态对多个气候模式和准数据并行的数值模式在局域网网格和广域网网格环境下实验。实验发现气候数值模式在网格环境下特点:强关联型的数值模式不适合广域网络构成的网格,而弱关联型的数值模式可以在网格计算环境中取得较好的计算效果。另外,合理地组织计算节点的结构,可以有效地提高数值模式的计算效果。这些工作对气候数值模式研究在以网格计算环境为基础的下一代超级计算中的应用有借鉴作用。