湖南省气象局远程高性能计算环境的设计与实现

湖南省气象局依托国家超级计算长沙中心,建立了我省第一个远程高性能计算终端用户.针对远程环境的搭建,首先分析了湖南省气象局在高性能计算方面的需求,然后从省级气象部门业务计算需求出发,重点阐述了以高性能计算机集群"天河一号"为计算资源的远程计算环境的系统架构以及主要技术路线与方法.考虑到远程高性能强大的计算能力和省级气象部门作业提交的复杂需求,又进一步设计了湖南省远程高性能任务调度的系统流程以及保障远程计算环境高速稳定的多层面方案.最后也给出了高分辨率中小尺度WRF模式在该环境下运行的实际情况,计算速度改善非常明显.     

基于Mycat的分布式技术在收集与分发系统中的应用

基于Mycat的分布式数据库集群,采用了Mycat+Mysql+Haproxy+Keepalived的技术架构,实现了一个高可用、高性能和高扩展的分布式数据库集群系统,并对单机版Mysql数据库和基于Mycat分布式数据库集群进行性能比较。结果表明,基于Mycat的分布式技术研发数据库集群系统具有高效性和可行性,可以解决单机版的Mysql数据库运行因硬件故障、软件错误、存储的损毁等导致主机系统异常,数据服务无法响应,数据的可用性和时效性降低的问题。     

华云神箭高性能集群计算机系统管理与维护

华云神箭高性能集群计算机系统于 2 0 0 3年6月投入业务运行以来 ,在全省的精细化预报业务中发挥着重要作用。根据系统的运行情况 ,总结了系统管理维护技术方法 ,希望能对业务人员有所帮助。1　系统安装1 .1　操作系统安装并行计算机的操作系统为 L inux Red Hat8.0 ,以 custom     

华云神箭高性能集群计算机系统

陕西省气象局引进的华云神箭高性能集群计算机系统于2003年6月在省气象台正式投入业务运行，其数值预报产品从2003年10月起在全省的精细化预报中发挥着重要作用。1系统介绍 1．1系统结构及业务信息流程 1．1．1系统结构华云神箭高性能集群计算机系统由HYSJ-100高性能计算机、业务处理服务器、NAS服务器、安全网卡、百兆交换机、千兆交换机、UPS电源等组成。HYSJ-100高性能计算机简称并行计算机，系统并行计算机有9个节点，其中8个节点用于计算，1个节点用于服务和计算节点备用并通过双网络将它们连接起来。业务处理服务器，安装有业务化管理软件(华云神箭高性能数值天气预报业务系统)和结果分析软件(华云神箭用户分析应用软件)。     

作业调度软件LoadLeveler在气象模式中的应用

西北区域气象中心高性能计算集群使用LoadLeveler调度管理作业,为实现资源利用率和吞吐量的最大化,本文探讨了作业调度管理的作用和方法。通过配置文件关键字定义队列、设置调度算法和调度器调节参数,将作业的处理需求与可用资源进行匹配,依据实际需求定义集群和各种资源的可用性规则,防止作业之间的相互干扰。结合LoadLeveler作业抢占功能,保障区域数值预报业务模式优先稳定运行。利用Perl语言编写脚本对高性能计算机集群进行资源记账,使管理员充分掌握各类应用模式的资源使用情况,合理调整系统资源分配调度策略,充分发挥了西北区域气象中心高性能计算机集群的效益。     

GPFS文件系统原理和模式IO优化方法

GPFS(通用并行文件系统)普遍应用于IBM大规模集群系统中,能够为并行应用程序提供高性能的I/O存取访问。该文介绍了GPFS的原理和工作机制,并以安装在国家气象信息中心的IBM高性能计算机系统为试验平台,初步测试了在实际环境中GPFS的应用情况,在应用程序中对文件访问进行性能优化的方式有2种:①由主任务负责全部文件访问,②通过MPI-IO在GPFS中实现并行文件访问。测试结果表明,GPFS可以提供很好的文件访问支持,但要想获得较高的性能,需要在应用程序中进行深入调试。     

服务器集群技术的介绍与应用

服务器集群是一种比较新的技术,采用集群技术可以对硬件资源和应用程序提供高可用性、可扩展性和可管理性.本文阐述了服务器集群的概念、优点和几种常见的服务器集群类型,并介绍了集群技术在现有省级通信系统的实际应用和发展.     

高性能计算系统性能评测方法及其应用

为满足国家级气象数值模式业务系统对高性能计算资源不断增长的需求,提供规模更大、性能更优的高性能计算支撑平台,在高性能计算系统引进工作中开展了基于气象数值模式应用的高性能计算系统性能评测技术研究。该文将行业标准与实际业务应用相结合,设计了高性能计算系统性能评测方案,建立了中国气象局气象行业高性能计算系统性能评测模型。共选取10个测试程序,分别对单节点性能、网络性能和加速比等8个指标进行了测试和量化评分,并对主要测试结果中具有代表性的气象要素场进行了物理意义合理性检查。评测结果表明:评测方案设计合理,评测模型研究取得较好效果,保障了高性能计算系统引进工作顺利完成。     

新一代气象卫星资料处理系统并行调度算法研究与应用

气象卫星地面系统资料处理中心每天要处理大量数据,对于时效性、可靠性的要求非常高。文中借鉴蚁群并行处理算法的思想,结合资源预留策略、动态优先级增加策略以及服务器虚拟化应用概念,提出了一个基于性能预测、计算连接权重的动态并行调度算法——信息素动态加权法,在一定程度上实现了高可用性集群(HPC)中的动态负载平衡,协助系统迅捷、准确地找出最佳服务器响应处理请求,从而提高高性能大型数据处理中心对大容量实时数据的处理效率。     

河南省新一代国内气象信息系统的本地化应用分析

新一代国内气象信息系统省级系统,包括信息收发、信息监控、数据存档、信息服务和信息管理5个子系统.该系统采用了先进的负载均衡集群技术和集群文件系统,基于SAN存储架构和数据网络将4台PC服务器和存储连接,实现气象数据及时、准确、高效的传输.根据河南省气象数据传输业务的实际情况对该系统进行本地化配置,最大限度发挥该系统的收集分发效能,同时确保系统安全稳定的运行.对新一代国内气象信息系统出现的典型故障进行分析,找到解决办法,给出对河南省新一代国内气象信息系统日常维护的重点.     

基于MapReduce计算模型的气象资料处理调优试验

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。     

基于投影寻踪原理的动态聚类模型及其在气候区划中的应用

以投影寻踪原理为基础, 结合动态聚类方法, 建立了基于投影寻踪原理的动态聚类模型, 并首次将其应用于气候区划分析中。首先, 利用线性投影技术将多因素聚类问题转换为投影特征值的线性聚类问题; 其次, 利用动态聚类方法完成投影特征值序列的聚类分析; 最后, 通过气候区划实例验证了基于投影寻踪原理的动态聚类模型的可行性与有效性。     

Applying Non-Hierarchical Cluster Analysis Algorithms to Climate Classification: Some Problems and their Solution

Summary  Extended non-hierarchical cluster analysis is improved by deriving the initial cluster number and estimating the outliers in the final cluster set. These improvements are tested and compared with an established cluster algorithm using a toy example. Applying the improved cluster analysis to a classification of the European climates shows that the proposed techniques can be of great practical relevance. Received September 3, 1998 Revised July 5, 1999     

聚类统计检验在人工增雨效果检验中的应用

将聚类统计检验分析引入原有的基于聚类的浮动区对比历史回归人工增雨效果检验方法中,减小站点分区的盲目性,聚为同一类的站点相似度更大,使聚类分析具有统计学意义。并把这种方法和未引入聚类检验的方法进行比较,通过对河南4月10次作业的效果评估表明,引入聚类检验提高了效果评估的功效。     

云分类中逐个修改聚类和模糊聚类分类性能的对

利用卫星图像对各种云型进行识别在大气科学领域具有重要意义，为了深入了解云分类过程中逐个修改聚类和模糊聚类对各种云型的识别能力，采用极轨卫星EOS／MODIS图像资料和静止卫星GMS-5图像资料，在样本采集和特征提取的基础上。选择不同的光谱或纹理特征对两种分类器的分类性能进行测试和对比分析。结果发现，不管采用哪种图像资料，提取哪些特征量，逐个修改聚类的平均分类准确率总体上略高于模糊聚类。但就两种分类器对各种云型的识别能力而言，模糊聚类对低云和高云（如层云、薄卷云、密卷云、卷层云、积云）的分类准确率明显好于逐个修改聚类，而逐个修改聚类对积雨云的分类准确率稍高于模糊聚类。从各类别间混判的情形来看，积雨云和高中低混合云、低云之间及卷云子类之间混判的情形较多，模糊聚类与逐个修改聚类相比，混判的类别增多，相对比例减少。     

我国东部夏季雨带的气候分类及其环流特征

利用主分量分析和Ｋ－均值聚类分析的方法，对我国东部夏季雨带进行客观的气候分类。分析表明：当聚类因子（Ｎ＝４），聚类数（Ｋ＝２）时，第２主分量成分是在所有聚类因子中起决定性的因素，它不仅反映出两类不同雨带类型及其强弱的变化，而且在环流特征上具有显著性的差异。     

基于Ward聚类法的中国业务集合预报系统的产品开发

为开发中国新一代业务集合预报系统的聚类产品,系统地介绍了集合预报技术先进国家的集合预报聚类分析方法,并采用Ward聚类法开发了中国集合预报系统的聚类产品。针对重大天气过程初步分析了中国集合预报系统的聚类产品的业务预报能力。结果表明,Ward聚类法以凝练预报信息和给出发生概率的形式,有效地划分出最有可能出现的环流形势类型,为预报员提供了有价值的预报参考信息,也为科学合理地使用集合预报产品提供方便。     

Cluster analysis of post-landfall tracks of landfalling tropical cyclones over China

In this paper, we apply finite-mixture-model-based clustering algorithms to cluster post-landfall tracks of tropical cyclones (TCs) making landfall over China. Because existing studies find that landfall surfaces or elevations affect post-landfall TC movements, we also take account of elevations in addition to time orders in this model. Our study reveals three clusters, with cluster 1 making landfall in Hainan province and moving across the western coast of Guangdong province. Most of the TC tracks in cluster 1 move over the ocean and make secondary landfalls over Yunnan province of China and Vietnam. Cluster 1 finally dissipates inland and moves westward as a result of the westward-shift subtropical high, westward steering flow, easterly vertical wind shear and strong mountainous blocking. Cluster 2 makes landfall over Guangdong and Fujian provinces. TCs in cluster 2 subsequently move inland and disappear due largely to westward-shift subtropical high, easterly steering flow, easterly vertical wind shear and relatively strong mountainous blocking. Cluster 3 makes landfall along the Fujian and Zhejiang coast and sustains a long period of time, recurving mostly to the mid-latitude region owing to the surrounding eastward-shift subtropical high, westerly vertical wind shear, weak mountainous blocking and westerly steering flow. Because cluster 2 is significantly associated with La Niña events, TCs more likely make landfall over southeastern China coast and move westward or northwestward without recurving. Cluster 3 sustains a longer time than clusters 1 and 2 in spite of its weak horizontal and vertical water vapor supply. TCs in cluster 3 interact actively with westerlies during the post-landfall period. However, we cannot observe any analogous interactions with the mid-latitude westerlies in clusters 1 and 2. TCs of clusters 1 and 2 are influenced by summer monsoon flows. Moreover, summer monsoon exerts a greater influence on cluster 1 than cluster 2. The composite 200 hPa divergence of cluster 3 is stronger than that of clusters 1 and 2. This explains to some degree why cluster 3 sustains longer than clusters 1 and 2 after making landfall.