Performance of a parallel finite difference atmospheric general circulation model 1

A new version of the Institute of Atmospheric Physics (IAP) 9-Layer (9L) atmospheric general circulation model (AGCM) suitable for Massively Parallel Processor (MPP) has been developed. This paper presents the principles of the parallel code design and examines its performance on a variety of state-of-the-art parallel computers in China. Domain decomposition strategy is used to achieve parallelism that is implemented by Message Passing Interface (MPI). Only the one dimensional domain decomposition algorithm is shown to scale favorably as the number of processors is increased. This work is partly supported by the National Natural Science Foundation of China (Grant Nos. 49775268 and 49823002), the China National Key Development Planning Project for Basic Research (Grant No. G1998040905) and the CAS Key Innovation Direction Project (Grant No. KZCX2208).     

GRAPES全球模式MPI与OpenMP混合并行方案

随着多核计算技术的发展,基于多核处理器的集群系统逐渐成为主流架构。为适应这种既有分布式又有共享内存的硬件体系架构,使用MPI与OpenMP混合编程模型,可以实现节点间和节点内两级并行,利用消息传递与共享并行处理两种编程方式,MPI用于节点间通信,OpenMP用于节点内并行计算。该文采用MPI与OpenMP混合并行模型,使用区域分解并行和循环并行两种方法,对GRAPES全球模式进行MPI与OpenMP混合并行方案设计和优化。试验结果表明:MPI与OpenMP混合并行方法可以在MPI并行的基础上提高模式的并行度,在计算核数相同的情况下,4个线程内的MPI与OpenMP混合并行方案比单一MPI方案效果好,但在线程数量大于4时,并行效果显著下降。     

广州区域数值预报模式并行化计算

采用消息传递方式 (MPI) 对最近发展的广州区域数值预报模式进行了并行化计算研究。根据模式的结构和计算过程特点, 模式适合采用水平分区方案进行并行计算处理。在曙光3000并行计算机上分别采用一维和二维分区并行方案实现了模式的并行化计算, 并对模式的并行效率、并行加速比和并行通讯时间百分比等做了测试。对测试结果的分析表明:采用8个CPU时, 两种方案都能在1 h内完成72 h的预报, 一维分区方案的并行效率则保持在90 %左右, 可以满足业务运行需要。当模式使用8个以上CPU时, 通讯时间迅速增加并超过了计算时间的50%, 模式并行效率明显下降。CPU相同时, 模式一维分区并行方案比二维分区并行方案并行效率高且实现起来简单。     

Overview of the CMIP6 Historical Experiment Datasets with the Climate System Model CAS FGOALS-f3-L

The three-member historical simulations by the Chinese Academy of Sciences Flexible Global Ocean–Atmosphere–Land System model, version f3-L(CAS FGOALS-f3-L), which is contributing to phase 6 of the Coupled Model Intercomparison Project(CMIP6), are described in this study. The details of the CAS FGOALS-f3-L model, experiment settings and output datasets are briefly introduced. The datasets include monthly and daily outputs from the atmospheric, oceanic, land and sea-ice component models of CAS FGOALS-f3-L, and all these data have been published online in the Earth System Grid Federation(ESGF, https://esgf-node.llnl.gov/projects/cmip6/). The three ensembles are initialized from the 600th, 650th and 700th model year of the preindustrial experiment(piControl) and forced by the same historical forcing provided by CMIP6 from 1850 to 2014. The performance of the coupled model is validated in comparison with some recent observed atmospheric and oceanic datasets. It is shown that CAS FGOALS-f3-L is able to reproduce the main features of the modern climate, including the climatology of air surface temperature and precipitation,the long-term changes in global mean surface air temperature, ocean heat content and sea surface steric height, and the horizontal and vertical distribution of temperature in the ocean and atmosphere. Meanwhile, like other state-of-the-art coupled GCMs, there are still some obvious biases in the historical simulations, which are also illustrated. This paper can help users to better understand the advantages and biases of the model and the datasets.     

任意正交曲线坐标系下的海洋模式动力框架的发展与评估

本文发展了一个可以适用于任意水平正交曲线坐标系的海洋模式动力框架,并将其应用于中国科学院大气物理研究所大气科学和地球流体力学数值模拟国家重点实验室发展的气候系统海洋模式LICOM2.0（LASG/IAP Climate system Ocean Model,version2.0）。在经纬网格坐标系下,新的动力框架与LICOM2.0原有的动力框架模拟结果完全一致。基于新的动力框架,海洋模式可采用能够准确描述北冰洋地形的三极网格,克服了LICOM2.0经纬网格版本必须将北极点处理为孤岛的缺陷,从而显著改进了模式对于北冰洋环流和北大西洋经圈翻转流函数（AMOC）的模拟能力。此外,引进三极网格还可以避免模式网格距随纬度增加而急剧减小带来的计算不稳定,在LICOM2.0的三极网格版本中,模式不需要采用任何空间滤波方案仍然能够保证计算的稳定性,从而与LICOM2.0的经纬网格版本相比,极大地提高了模式的并行效率,这一点在当水平分辨率提高到0.1度时表现得尤为明显,海洋模式的并行加速比可以从经纬网格版本的5.8左右提高到三极网格版本的15.0左右。     

基于通用图形处理器的GRAPES长波辐射并行方案

随着通用图形处理器 (GPGPU) 计算技术的快速发展,通过大规模增加处理系统的并发度来提升性能成为计算机高性能计算的最新趋势。目前,通用图形处理器已经被应用到科学计算的诸多领域。长波辐射作为GRAPES模式中极为重要的物理过程,其巨大的计算量对整个GRAPES模式的运行效率有重要影响。该文依托NVIDIA公司计算统一设备架构 (CUDA) 技术平台,以GRAPES全球模式中长波辐射传输方案为例,对其进行了大规模并发设计和优化,在保持系统结果一致的前提下,对比单颗高端CPU,Tesla C1060 GPGPU具有11倍的加速效果,明显提升了GRAPES全球模式的执行速度和预报时效。研究表明:使用通用图形处理器技术提升数值预报模式的执行速度非常有潜力。     

BCCAGCM模式在神威·太湖之光系统的优化

开展气象数值模式在神威·太湖之光系统的移植与优化,对研究模式与新型计算架构的适应性有重要意义。该文以BCCAGCM模式为研究对象,将其移植到神威·太湖之光全国产异构众核计算系统,进行性能分析,对模式动力框架和物理过程计算结构进行调整,将计算核心段采用OpenACC技术进行众核加速优化,大量代码进行算法重构。结果表明:各核心段计算效率基本达到未优化的3倍左右,最高可达14倍左右,将各核心段集成,形成异构众核集成版本,可正确、稳定运行,计算误差合理。在不同并行规模,采用从核对模式整体计算进行加速效果比较稳定,基本保持在1.9倍,26000核并行规模动力试验并行效率约70%,其他试验约为57%。     

多作业管理方式在风能资源数值模拟中的应用

通过对MM5和CALMET风能资源数值模拟耦合模式的计算流程分析,基于并行运算思想,设计了MM5和CALMET耦合模式模拟运算的多作业管理方式。在浙江省风能资源高分辨率数值模拟试验中,完成浙江区域1个月时间段的风能资源参数模拟运算,MM5和CALMET耦合模式在实施多作业管理方式前后,CALMET模式的运算时间由原来的1501.2 min缩短为149.5 min,运算时效提高了9倍;整个耦合模式的运算时间由原来的1709.9 min缩短为358.2 min,运算时效提高了4倍。数值模拟试验证实了多作业管理方式可在现有计算资源的基础上,大幅提高数值模式的运算时效,且随着数值模式模拟时间段的加长和模拟区域范围的扩大,多作业管理方式对数值模式运算功效的增强越加明显。     

基于MapReduce计算模型的气象资料处理调优试验

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。     

GRAPES模式软件框架与实现

GRAPES (Global and Regional Assimilation and PrEdiction System) 是中国气象科学研究院数值预报研究中心自主开发的新一代静力/非静力多尺度通用数值预报模式。该模式采用标准化、模块化软件体系结构, 并严格按照软件工程要求完成系统开发, 包括程序的并行计算。初步试算结果表明:GRAPES模式软件框架的设计和实现符合模式发展的要求, 为中国数值天气预报系统的可持续发展奠定了良好的基础。     

基于J-Earth领域编程框架的高效并行大气环流模式(H-GAMIL)构建

高性能并行计算,一直是气候系统模式研究中的重要科学前沿。然而,随着计算机技术的发展,计算机体系结构越来越复杂,以及气候系统模式本身的复杂性使得开发高性能气候系统模式成为一个难题。采用了一种全新的并行程序设计方法:基于针对气象科学中的计算特点发展出的领域编程框架J-Earth,构建了高性能并行大气环流模式H-GAMIL。在对原模式GAMIL分析和解构以后,结合J-Earth的特点,采用面相对象的编程方式,对H-GAMIL进行重构。重构后的H-GAMIL具有现代软件标准化模块化的特点,并具有自动二维剖分、MPI(Message Passing Interface)和Open MP(Open Multi-Processing)混合并行实现、并行输出等新功能。解决了原模式一维剖分受到处理器限制,串行IO等问题。在此基础上,本文对H-GAMIL进行了并行效率测试,结果显示,模式水平分辨率为1°(纬度)×1°(经度)时,可使用上千处理器核,并行效率达40%以上且负载平衡达70%。测试结果表明了H-GAMIL具有较好的并行效率和可扩展性;同时对H-GAMIL模拟性能进行对比分析,其结果表明H-GAMIL保持了原模式的守恒性,并且具有与原模式相当的模拟性能,能够满足气候研究的计算需求,达到实用程度。     

海气耦合模式FGOALS_gl模拟的水汽和云辐射反馈过程

本文分析了中国科学院大气物理研究所大气科学和地球流体力学数值模拟国家重点实验室(LASG)发展的快速耦合模式FGOALS_gl对低纬太平洋区域水汽温室效应(Ga)和云辐射强迫特征的模拟能力,讨论了模拟偏差的成因.结果表明,FGOALS_gl能合理再现Ga、云辐射强迫的气候态空间分布特征,但也存在明显的偏差.模式低估了冷...     

An ice breeze mechanism for boundary-layer jets

The existence of a low-level (z=~1000 m) jet adjacent to a sea-ice boundary is investigated with a two-dimensional numerical model. A thermally-direct ice breeze circulation is induced by specifying an ice-sea surface temperature gradient, with the mean geostrophic wind parallel to the ice edge. Pressure changes associated with over-water mixed-layer development create an increase in geostrophic velocity that accounts for most of the increase in wind speed. A change in initial geostrophic wind direction has significant effects on location and intensity of the low-level jet; geostrophic winds parallel to the ice edge result in stronger jets than occur with cross-ice geostrophic winds. An inertial oscillation simulated by the model in 1-D makes a negligible contribution to the low-level jet.     

高性能计算技术在气象领域的应用

高性能计算通过应用超级计算机与并行处理技术解决复杂的计算问题,是信息技术发展比较迅猛的领域之一。气象应用始终是高性能计算的重要领域,高性能计算技术有效地解决了高分辨率、高精度气象数值预报模式发展限制,在气象预报预测业务中发挥着核心支撑作用。数十年以来,由于数值天气模式研究和业务运行对计算资源的强烈需求,国内外气象领域高性能计算机及应用迅速发展起来。气象领域对高性能计算能力及系统的可靠性需求日益提升。高性能计算技术将与气象预报应用日益融合,相互影响促进,不断创新发展。为满足气象预报预测业务和科研工作需求,中国气象部门将进一步提升高性能计算能力,并致力于优化集约高性能计算系统布局,高效管理计算资源,发挥最大效益。     

GRAPES全球格点模式的并行计算负载平衡策略

随着高性能计算机技术的发展和应用,并行计算已成为保证数值天气预报模式业务运行时效的关键技术之一.目前高性能计算机计算能力已达到每秒千万亿次浮点计算.系统中处理器数量也早已达十万甚至更多,如此巨大的计算资源对应用软件系统的设计也提出了挑战.数值天气预报软件系统要充分利用高性能计算机提供的计算资源,必须依靠并行计算方法,这包括适合计算问题的可扩展并行算法的设计、合适的数据分配方案以及良好的任务负载平衡方案.作为中国新一代数值天气预报格点模式,GRAPES(Global and Regional Assimilation and PrEdiction System)设计的最终目标是一个科研/业务通用,区域/全球通用模式.作为一个格点模式,GRAPES的并行计算具有与欧洲中期数值顶报研究中心谱模式并行计算不同的特点,GRAPES的并行计算采用了经典的水平网格数据划分.但对于全球的GRAPES模式,由于采用拉格朗日差分方案,模式极地及附近区域格点与格点之间距离的减小.使得模式并行计算在采用简单的经纬网格划分方式实现时,必须考虑极地区域并行计算跨越多个处理器时导致的频繁通讯解决途径.本研究提出了利用消息传递组通讯实现全球格点模式并行计算的一种方法,其核心思想是将极点附近一定区域内的处理器按纬向划归不同的处理器组.文中还给出了该实现方法的任务分配算法,提出了改进的任务分配负载平衡方案.在中国气象局高性能计算机IBM-cluster1600上的测试表明,算法具有较好的可扩展性,其负载平衡方案改善了计算的绝对墙钟时间,使并行计算效率提高10%以上.模式的准业务运行结果表明计算墙钟时间基本可以满足数值预报业务的实时性要求.     

A high resolution nonhydrostatic tropical atmospheric model and its performance

A high resolution nonhydrostatic tropical atmospheric model is developed by using a ready-made regional atmospheric modeling system. The motivation is to investigate the convective activities associated with the tropical intraseasonal oscillation (ISO) through a cloud resolving calculation. Due to limitations in computing resources, a 2000 kmx2000 km region covering the forefront of an ISO-related westerly is selected as the model domain, in which a cloud-resolving integration with a 5-km horizontal resolution is conducted. The results indicate the importance of stratus-cumulus interactions in the organization of the cloud clusters embedded in the ISO. In addition, comparative integrations with 2-km and 5-km grid sizes are conducted, which suggest no distinctive differences between the two cases although some finer structures of convections are discernible in the 2-km case. The significance of this study resides in supplying a powerful tool for investigating tropical cloud activities without the controversy of cloud parameterizations. The parallel computing method applied in this model allows sufficient usage of computer memory, which is different from the usual method used when parallelizing regional model. Further simulation for the global tropics with a resolution around 5 km is being prepared.     

遥感大数据分布式技术研究与实现

面向卫星遥感海量数据,针对其数据量的急速增长,对数据分析、价值挖掘提出了全新的挑战,引入驱动大数据应用的分布式模式,建立了适应卫星遥感大数据的网格模型,打破了数据的时空割裂和限制,数据可以作为整体进行存储、计算和应用,模型设计的网格、时间片、物理层的基本结构,可以保证未来云计算的实施。该文提出了基于希尔伯特曲线的网格散列算法,以此建立的分布式系统具有优异的并行读写性能和良好的负载均衡能力;遥感大数据分布式系统,实现了数据的高速分布式并行读写,支持数据的精确时空匹配和动态获取,整个系统的扩展能力可以达到线性增长,系统基于通用软硬件平台实施,实现卫星遥感大数据灵活、按需和简便的应用。     

数值天气预报并行计算模式的设计与可行性讨论

使用TRANSPUTER并行计算机，设计数值天气预报的三种并行计算方案，并且利用二阶和四阶扩散模式，讨论这几种方案的可行性，分析它们的特点和应用范围。其结果为在TRANSPUTER并行计算上实现数值天气预报并行计算模式提供参考。     

T42准业务预报系统中的并行计算

本文描述了国家气象中心T42同化预报准业务系统中模式计算和后处理在M360-AP的双CPU计算机上实现作业级的多任务并行计算。计算结果表明:采用并行计算技术使日常的5天数值天气预报业务作业至少提前60分钟完成，其加速因子为1.23。