高性能计算系统性能评测方法及其应用

为满足国家级气象数值模式业务系统对高性能计算资源不断增长的需求,提供规模更大、性能更优的高性能计算支撑平台,在高性能计算系统引进工作中开展了基于气象数值模式应用的高性能计算系统性能评测技术研究。该文将行业标准与实际业务应用相结合,设计了高性能计算系统性能评测方案,建立了中国气象局气象行业高性能计算系统性能评测模型。共选取10个测试程序,分别对单节点性能、网络性能和加速比等8个指标进行了测试和量化评分,并对主要测试结果中具有代表性的气象要素场进行了物理意义合理性检查。评测结果表明:评测方案设计合理,评测模型研究取得较好效果,保障了高性能计算系统引进工作顺利完成。     

基于J-Earth领域编程框架的高效并行大气环流模式(H-GAMIL)构建

高性能并行计算,一直是气候系统模式研究中的重要科学前沿。然而,随着计算机技术的发展,计算机体系结构越来越复杂,以及气候系统模式本身的复杂性使得开发高性能气候系统模式成为一个难题。采用了一种全新的并行程序设计方法:基于针对气象科学中的计算特点发展出的领域编程框架J-Earth,构建了高性能并行大气环流模式H-GAMIL。在对原模式GAMIL分析和解构以后,结合J-Earth的特点,采用面相对象的编程方式,对H-GAMIL进行重构。重构后的H-GAMIL具有现代软件标准化模块化的特点,并具有自动二维剖分、MPI(Message Passing Interface)和Open MP(Open Multi-Processing)混合并行实现、并行输出等新功能。解决了原模式一维剖分受到处理器限制,串行IO等问题。在此基础上,本文对H-GAMIL进行了并行效率测试,结果显示,模式水平分辨率为1°(纬度)×1°(经度)时,可使用上千处理器核,并行效率达40%以上且负载平衡达70%。测试结果表明了H-GAMIL具有较好的并行效率和可扩展性;同时对H-GAMIL模拟性能进行对比分析,其结果表明H-GAMIL保持了原模式的守恒性,并且具有与原模式相当的模拟性能,能够满足气候研究的计算需求,达到实用程度。     

HPS在IBM高性能计算机系统中的应用

IBM高性能计算机系统承担着中国气象局(CMA)主要气象业务科研模式运行任务,内部的网络主要采用速度为100 bps的以太网络和IBM的高性能交换机(HPS)网络,其中主要的数据交换是通过HPS来实现的。该文主要介绍IBM Switch的发展历史和主要技术特点,硬件连接和拓扑结构,并根据在CMA的实际配置情况,阐述了如何对它进行配置、实际连接情况以及主要配置信息,同时从日常维护的角度介绍了两种管理方法、日志文件查找和基本故障诊断方法,并对HPS在2005年的故障情况进行了统计分析。     

全球气象资料客观分析系统的分布式并行化

对已有的率行算法进行并行化，是一项很困难的工作。通过对全球气象资料客观分析系统率行算法的研究，提出了在MPP高性能计算机上的一种静态分配数据的分布式并行算法。该算法通过间隔选取分析盒子和模式格点纬圈行，将数据分配给不同的处理机实现分布式并行。该并行算法负载平衡好，并行效率高，而且并行化代价较低，具有良好的可扩展性。最后，给出了并行算法的性能测试结果。     

并行高分辨率有限区预报系统在IBM SP上的建立

从理论上讲 ,在多节点多处理器并行计算机系统上用ＭＰＩ/ＯｐｅｎＭＰ进行混合并行编程 ,即在节点间用ＭＰＩ通信 ,而节点内用ＯｐｅｎＭＰ ,应该取得比用纯ＭＰＩ并行化的应用程序更好的并行性能。目前 ,各国的应用程序开发者和气象工作者们都在致力于这方面的研究。可以说 ,这种方法的可行性是不容置疑的 ,它应当是今后并行编程框架设计的共同趋势。本文介绍了在ＩＢＭＳＰ并行计算机上优化和并行化高分辨率有限区同化预报系统(ＨＬＦＡＳ)中模式所采用的这种混合编程方法和技术。1　ＨＬＡＦＳ系统高分辨率有限区同化预报系统包括资料分…     

A preliminary evaluation of high-performance advanced regional eta-coordinate model(H-AREM)

为验证高性能AREM模式(H-AREM)的并行性能,本文利用相同分辨率的AREM3.4P和H-AREM并行模式,比较了不同并行方法的影响;利用不同分辨率的H-AREM模式比较了不同剖分策略的影响。结果表明,基于并行框架的并行方法和二维剖分策略有利于并行性能的提升,HAREM在加速比和可扩展性方面都要优于原并行模式,特别是分辨率8 km的H-AREM模式能够扩展到8099核,在不显著增加计算时间的前提下具有更好的预报效果。     

西南区域气象中心IBM 高性能计算机管理及应用

为了满足西南区域气象中心数值模式对高性能计算资源的需求,四川省气象局建设了IBM Flex P460高性能计算机系统,该系统为西南区域气象中心数值预报系统的业务运行和研发提供了稳定可靠的高性能计算和存储资源,同时带动区域中心其他省份的计算能力和资料共享质的飞跃。本文首先介绍了系统架构和管理方法,然后将系统扩容过程进行了详细分析,最后介绍了业务模式应用情况。      

逐次订正客观分析的双CPU并行运行试验

本文讨论利用 IBM4381-P03型计算机双 CPU 进行气象卫星和常规数据处理分析的并行运算方案。初步试验结果表明,在气象数据整理分析中利用双 CPU 的并行运算功能,其加速比可以达到1.5到1.93。     

构建PC-Cluster系统实现精细数值模式业务运行

介绍了应用微机等设备构建PC-Cluster硬件系统以及完全应用免费开放软件配置PC-Cluster软件系统的方法,并以MM5并行模式为例,概述了并行模式在PC-Cluster系统的调试、运行技术。通过试验分析了PC-Cluster系统的性能后认为,PC-Cluster是一般用户高性能运算很好的解决方案,对提高我国数值预报业务和科研水平有重要意义。     

BCC_CSM气候系统模式移植优化及其气候模拟验证

为了提高BCC_CSM气候系统模式运行效率,保障业务科研工作的顺利开展,进行BCC_CSM气候系统模式在IBM高性能计算系统的移植工作;通过性能优化使BCC_CSM模式运行效率显著提高,通过气候要素形势场分布和相对误差量化指标对BCC_CSM气候系统模式模拟性能进行验证。结果表明：移植优化后,BCC_CSM气候系统模式计算效率提高为原来的1.4倍;基于CMIP5 piControl试验,完成531-540年10 a的气候模拟,年平均地表气温形势场分布合理,相对误差小于0.5%,BCC_CSM气候系统模式计算和模拟性能均能满足应用需求。     

A Scalable High-Performance I/O System for a Numerical Weather Forecast Model on the Cubed-Sphere Grid

The design and implementation of a high-performance Input/Output (I/O) library for the Korean Integrated Model (KIM, KIM-IO) is described in this paper. The KIM is a next-generation global operational model for the Korea Meteorological Administration (KMA). The horizontal discretization of KIM consists of the spectral-element method on the cubed-sphere grid. The KIM-IO is developed to be a consistent and efficient approach for input and output of essential data in this particular grid structure in a multiprocessing environment. The KIM-IO provides three main features, comprising the sequential I/O, parallel I/O, and I/O decomposition methods, and adopts user-friendly interfaces similar to the Network Common Data Form (NetCDF). The efficiency of the KIM-IO is verified using experiments to analyze the performance of its three features. The scalability is also verified by implementing the KIMIO in the KIM at a resolution of approximately 12 km using the 4th supercomputer of KMA. The experimental results show that both regular parallel I/O and sequential I/O undergo performance degradation with an increasing number of processes. However, the I/O decomposition method in the KIM-IO overcomes this degradation, leading to improvement in scalability. The results also indicate that with using the new I/O decomposition method, the KIM attains good parallel scalability up to Ο (100,000) cores.     

大规模数据并行问题的可扩展性分析

大规模数据并行处理的性能受到处理机数量、I/O速度、通信速度等多方面因素的制约。增加处理机数量或提高处理机的计算速度，可以提高计算机的整体处理速度，但是通信和I/O会成为影响并行效率的主要因素。为了综合分析这些因素对计算性能的影响，用一种比较典型的大规模数据并行的计算模型，具体分析了处理机数量、处理机速度与处理机间的通信延迟、通信速率以及输入输出速度之间的关系。得到了大规模并行机的通信和I/O性能与处理机速度与数量之间存在的关系。指出，增加处理机数量、提高单节点处理速度的同时，必须按照一定的关系相应增加节点间的通信性能和I/O性能。单纯以增加处理机数量、提高单处理机速度提高计算机峰值速度的方法会降低系统的计算效率，不能达到计算速度与计算机处理能力同步增长的目的。     

北京全球信息系统中心的数据缓存功能优化

世界气象组织信息系统 (WMO Information System,WIS) 是一个支撑全球气象数据交换共享的通用信息服务平台,北京全球信息系统中心作为WIS的核心功能中心之一,必须缓存最近24 h内的WMO全球交换数据以提供高效的数据访问服务。为了检查收集到的全球交换数据的合法性,需要校验每条数据是否存在与之匹配的元数据,这些元数据信息以关系型数据库方式存储在北京全球信息系统中心中。由于每日接收到的WMO全球交换数据文件个数多且收集时间分布不均,大量频繁的数据库查询操作导致处理性能下降,特别在数据密集收集的情况下容易产生较大延迟,直接影响业务的实时性。设计并实现一种基于内存对象缓存的应用优化现有通过数据库查询的校验方式,实现在内存中一次性载入元数据信息,并在内存中完成缓存数据校验的操作,以此来减少磁盘的读写访问,提升处理效率。此外,还通过多线程方法实现与缓存数据相关的功能,使该方案具有良好的扩展性。实际应用表明:数据缓存功能优化后能满足实时业务性能要求。     

一个精细粒度实时计算资源管理系统

由于相应业务系统软件的缺乏,国家级气象高性能计算机的资源管理措施落后于能力建设的发展。对此,该文提出了一个精细粒度实时计算资源管理系统。系统设计紧密围绕着目前竞争最为激烈的计算资源,采用资源虚拟单元GCU作为资源使用的计量单位,屏蔽了不同高性能计算机系统的体系结构差异,实现了计算资源细粒度的统一量化统计。系统可分为用户接口层、资源管理层、HPC系统层等3个层次,根据与网格平台软件不同结合方式以两种方式运行。在国家气象信息中心完成了系统的研发、部署和试验运行,根据试验运行的部分数据进行了用户单位和用户个人的计算资源使用的统计分析。目前,计算资源管理系统成果已成功应用到国家级气象高性能计算机计算资源的业务管理工作中。     

Development of 1km-Scale Operational Model in South China

To support short-range weather forecast, a high-resolution model (1km) is developed and technicallyupgraded in the South China Regional Center, including the improvement of the 3D reference scheme and predictor-corrector method for Semi-Implicit and Semi-Lagrangian (SISL) in model dynamical core, as well as the improvementof physical parameterization. Furthermore, the multi-process parallel I/O and parallel nudging techniques are developedand have facilitated rapid updating in the assimilation prediction system and fast-output post processing process. Theexperimental results show that the improved 3D reference scheme and upgraded physic schemes can effectively improvethe prediction accuracy and stability with a longer integration time step. The batch test shows that the precipitationforecast performance of 1-km model is significantly better than that of 3-km model. The 1-km model is in operation withrapidly updating cycle at 12-minute intervals, which can be applied to short-range forecast and nowcasting application.     

信息网络系统建设

1．信息网络系统 在修购专项和重大科研项目的支持下,中国气象科学研究院建立了以IBMP575服务器集群和IBM DS4800存储为主体的高性能计算机系统。     

Iodine Chemistry and its Role in Halogen Activation and Ozone Loss in the Marine Boundary Layer: A Model Study

A detailed set of reactions treating the gas and aqueous phase chemistry of the most important iodine species in the marine boundary layer (MBL) has been added to a box model which describes Br and Cl chemistry in the MBL. While Br and Cl originate from seasalt, the I compounds are largely derived photochemically from several biogenic alkyl iodides, in particular CH2I2, CH2ClI, C2H5I, C3H7I, or CH3I which are released from the sea. Their photodissociation produces some inorganic iodine gases which can rapidly react in the gas and aqueous phase with other halogen compounds. Scavenging of the iodine species HI, HOI, INO2, and IONO2 by aerosol particles is not a permanent sink as assumed in previous modeling studies. Aqueous-phase chemical reactions can produce the compounds IBr, ICl, and I2, which will be released back into the gas phase due to their low solubility. Our study, although highly theoretical, suggests that almost all particulate iodine is in the chemical form of IO-3. Other aqueous-phase species are only temporary reservoirs and can be re-activated to yield gas phase iodine. Assuming release rates of the organic iodine compounds which yield atmospheric concentrations similar to some measurements, we calculate significant concentrations of reactive halogen gases. The addition of iodine chemistry to our reaction scheme has the effect of accelerating photochemical Br and Cl release from the seasalt. This causes an enhancement in ozone destruction rates in the MBL over that arising from the well established reactions O(1D) + H2O 2OH, HO2 + O3 OH + 2O2, and OH + O3 HO2 + O2. The given reaction scheme accounts for the formation of particulate iodine which is preferably accumulated in the smaller sulfate aerosol particles.     

中期数值预报系统T213L31在IBM/SP高性能计算机上的建立

在引进欧洲中期天气预报中心 (ECMWF) 的全球谱模式的基础上，通过对原模式的分析改造，首次以分布与共享相结合的方式在国家气象中心IBM/SP高性能计算机上实现了全球谱模式的高效运行。采用调整向量长度、优化程序设计、完善消息传递机制和实现MPI与OpenMP的混合并行编程等方法，减少模式的通信量、计算量和内存的使用量，提高了计算效率。实现了在T213L31分辨率条件下，10天预报可以在3 h之内完成，达到业务对时限的要求。建立了与T213L31全球谱模式相配套的最优插值（OI）并行处理分析系统，解决了由于观测站点在全球不均匀分布所带来的计算负载不均衡问题。在此基础上，实现了T213L31全球资料同化与预报系统并建立了相应的自动作业监控系统。     

基于“配料”的梅雨锋强降水预报方法

在梅雨锋暴雨预报中应用“配料法”，通过降水量的基本公式解释了强降水形成的基本配料，给出了建立配料的基本步骤，同时，通过一次暴雨个例分析，具体阐述了“配料法”在梅雨锋暴雨预报中的应用。结果表明，基于暴雨等强对流天气形成物理机理认识的基础上，所选取的可降水量等动力、热力因子与暴雨有着较好的对应关系，通过分析以上关键物理因子建立的过程，可以给出暴雨潜势预报。