大数据:概念、技术及应用研究综述

随着物联网、云计算、移动互联网的迅猛发展,大数据(Big Data)吸引了越来越多的关注,正成为信息社会的重要财富,同时也给数据的处理与管理带来了巨大挑战.首先从大数据概念入手,阐述了大数据的来源、主要挑战、关键技术、大数据处理工具和应用实例等,并对比了大数据与云计算、物联网、移动互联网等技术之间关系,然后剖析了大数据核心技术、大数据企业解决方案,讨论了目前大数据应用实例,最后归纳总结了大数据发展趋势.旨在为了解大数据当前发展状况、关键技术以及科学地进行大数据分析与处理提供参考.     

第四范式视角下的大数据科学

随着物联网、云计算技术的飞速发展,大数据及其相关科学成为学术界和工业界关注的热点.本文从范式理论的角度对大数据科学进行剖析,阐述大数据研究与传统研究的联系与区别;从机器学习的视角出发,分析了大数据带来的三大主要挑战及其背后的科学问题.此外,本文介绍了第四范式视角下进行大数据科学研究的洞察力,以及其所具有的积极意义;最后总结并展望未来大数据科学面临的挑战.     

埃尔尼诺/南方涛动现象与年际气候变化

以埃尔尼诺/南方涛动(El Nino/Southern Oscillation)为中心的热带海气相互作用的研究,是具有明确应用前景的重要科学问题,是当前地球科学中发展最快的领域之一.本文论述了热带海气相互作用的特点及其与年际气候变化的关系;总结了这一领域研究发展的四个阶段和近十年来的主要进展;提出了尚待解决的主要科学问题和发展前景.     

中国未来地球计划的协同推广机制建设初探

本文在回顾科学成果传播方式与模式的基础上,以科学成果集成、网络传播和公众科学素养提升为出发点分析了当前科学传播面临的挑战与时代需求。基于对未来地球计划科学组织模式的解读,分析了未来地球计划成果传播模式的特点,并从科学研究、社会认知和科学决策层面探讨了科学成果推广和普及机制。有针对性地提出了充分引入利益相关者参与、推进创新科学成果推广机制与平台建设等科学传播相关政策建议。     

从云计算到雾计算的范式转变

虽然云计算的应用越来越广泛,但也具有不能支持高移动性、不支持地理位置信息及高时延等亟待解决的问题.为此,雾计算已经出现,并将云计算扩展到网络的边缘,以减少延迟和网络拥塞.首先介绍了雾计算的概念、特点和结构,然后讨论了具有代表性的应用场景以及雾计算的安全问题.另外,还对雾计算相似的原位计算和连续计算进行了介绍.最后,给出了云计算与雾计算的区别与联系,并分析了雾计算未来的发展方向.雾计算扩大了以云计算为特征的网络计算范式,将网络计算从网络的中心扩展到网络的边缘,从而可以更加广泛地运用于更多的应用形态和服务类型.     

在融合科学领域开展协同设计与协同实施的思考与建议

<正>当前,世界面临着气候变化、资源短缺、生态破坏、环境污染、恐怖活动蔓延等一系列全球性重大挑战,对人类生存与发展提出了许多新的严峻课题。在此背景下,融合式研究、融合科学领域研究等新兴的科学研究组织模式逐渐兴起。面对这一新趋势,如何组织和管理融合科学领域的研究活动,是科技工作者面临的一大问题。未来地球计划(Future Earth,简称FE)倡导的协同设计与协同实施(co-design,     

初探云计算对气象领域的影响

云计算是在分布式计算、并行计算、网格计算的基础上提出的一种新型计算模型,它提供了可靠安全的数据存储、强大的计算能力和方便快捷的互联网服务。云计算将给依托信息处理交换的各行各业带来巨大变革,同样将对气象领域产生重大而深远的影响。介绍了云计算的含义、基本原理和发展现状,分析了云计算对气象领域将产生的影响和可能出现的问题,并结合单位的实际对浙江气象的云计算发展提出建议。     

第六次国际耦合模式比较计划（CMIP6）评述

世界气候研究计划（WCRP）发起了新一轮的国际耦合模式比较计划（CMIP6),目的是回答当前气候变化领域面临的新的科学问题,为实现WCRP“大挑战”计划所确立的科学目标提供数据支撑。文中回顾了CMIP的发展历程,介绍了CMIP6的组织思路,阐述了CMIP6核心试验及23个模式比较子计划（MIPs）的科学关注点,总结了参与CMIP6的全球模式概况以及中国的贡献。最后,从继承性和创新性等角度对CMIP6进行了评述,指出了CMIP6组织和实施中存在的问题,并对CMIP未来的发展进行了展望。     

地球系统模式发展展望

在调研国际国内气候系统模式的基础上,给出了地球系统模式的定义和它的3个发展阶段:物理气候系统模式、地球气候系统模式和地球系统模式,阐述了未来的地球系统模式发展的战略意义,介绍了国际国内围绕地球系统模式的发展所提出的科学研究计划,并基于政府间气候变化委员会第四次评估报告的参评模式,回顾了国内外地球系统模式发展现状与动态,展望了未来的可能发展方向,希望能对国内的地球气候系统模式发展有所帮助.     

不同的大气云模式对月预报影响的数值试验

所用的 T42L10月长期数值预报谱模式采用了模式诊断云方案,在辐射计算中,用模式的预报水汽场和模式诊断云代替原民T42L9中的气候纬向平均水汽场和云,模式诊断云计算中还考虑了大地形作用对云的影响.本文利用国家气象中心1992年8月31日的客观分析资料为初始场,进行30天长期数值预报,对比研究了这两种不同的云模式对月际数值预报的影响.模式诊断云方案的预报明显优于气候云方案,采用模式诊断云预报的500hPa 高度场月平均的倾向相关系数有所提高,月平均预报误差减少.模式诊断云方案的预报误差低于对应的持续性误差.模式诊断云方法由于考虑了在预报时间内云分布的时间和空间变化,提高了模式中的辐射计算精度,从而改进模式中的云、辐射作用,克服由于气候云方法所出现的预报偏差,较显著地改善月际数值预报效果.     

基于MapReduce计算模型的气象资料处理调优试验

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。     

云计算在省级气象信息系统建设中应用的研究

在综合分析了云计算模型灵活、稳定、可靠的优势后,本文提出了云计算在省级气象信息系统建设中运用的解决方案。实践证明,基于云计算平台建设气象信息系统,是提高计算资源的利用率和可扩展性,增强系统的可靠性、可用性和易维护性的理想方案。      

气象云建设的研究与思考

气象云建设是气象信息化上新台阶的必由之路,加强气象云建设是气象现代化的重要内容之一。根据气象信息化的现状与需求,提出了气象云建设的四条原则,即满足各种气象业务服务和管理需求、有利于提高气象预报预测准确率、集约高效和数据共享的原则。在此基础上,提出了气象云的设计思路:气象云应包括云存储、云计算和云服务,云存储为云计算提供支撑,云存储、云计算为云服务提供支撑。最后,对气象云建设中的数据获取途径进行了概括:一是国外气象数据,二是国内气象观测数据,三是国内加工的产品。     

一种基于区块链和边缘计算的物联网方案

物联网设备资源受限,需要使用外部资源,而集中式的云方案恰好可以为物联网提供充足的计算存储资源.但是受制于网络带宽等因素,云不能及时地处理大量的数据.云方案采用静态密码的验证和明文存储的机制,也存在着安全性问题.区块链技术的兴起,为解决物联网安全问题带来了新思路.边缘计算缩短了数据处理距离,增强了实时性.因此,本文将使用这两项技术,解决目前物联网中的问题.     

Recent progress in cloud physics research in China

A review of China cloud physics research during 2003-2006 is made in this paper. The studies on cloud field experiments and observation, cloud physics and precipitation, including its theoretical applications in hail suppression and artificial rain enhancement, cloud physics and lightning, and clouds and climate change are included. Due primarily to the demand from weather modification activities, the issue of cloud physics and weather modification has been addressed in China with many field experiments and model studies. While cloud physics and weather modification is still an important research field, the interaction between aerosol, cloud and radiation processes, which is the key issue of current climate change research, has become a new research direction in China over the past four years.     

面向云计算的网络体系结构下数据传输机制

分析目前云计算架构下的传输机制,针对网络传输机制中缺少对链路上的任务需求的耦合相关性,提出未来面向云计算的网络体系结构下数据传输机制,分别从网络传输延迟、传输可靠性和云节点存储安全性进行研究,并针对每个瓶颈提出相应的修改方法,从而构建了一个支持不同服务质量需求的云架构,该架构支持现有的网络异构融合,满足可控可管可扩展等需求,适用于新型网络通信信息基础设施.     

遥感大数据分布式技术研究与实现

面向卫星遥感海量数据,针对其数据量的急速增长,对数据分析、价值挖掘提出了全新的挑战,引入驱动大数据应用的分布式模式,建立了适应卫星遥感大数据的网格模型,打破了数据的时空割裂和限制,数据可以作为整体进行存储、计算和应用,模型设计的网格、时间片、物理层的基本结构,可以保证未来云计算的实施。该文提出了基于希尔伯特曲线的网格散列算法,以此建立的分布式系统具有优异的并行读写性能和良好的负载均衡能力;遥感大数据分布式系统,实现了数据的高速分布式并行读写,支持数据的精确时空匹配和动态获取,整个系统的扩展能力可以达到线性增长,系统基于通用软硬件平台实施,实现卫星遥感大数据灵活、按需和简便的应用。     

A high resolution nonhydrostatic tropical atmospheric model and its performance

A high resolution nonhydrostatic tropical atmospheric model is developed by using a ready-made regional atmospheric modeling system. The motivation is to investigate the convective activities associated with the tropical intraseasonal oscillation (ISO) through a cloud resolving calculation. Due to limitations in computing resources, a 2000 kmx2000 km region covering the forefront of an ISO-related westerly is selected as the model domain, in which a cloud-resolving integration with a 5-km horizontal resolution is conducted. The results indicate the importance of stratus-cumulus interactions in the organization of the cloud clusters embedded in the ISO. In addition, comparative integrations with 2-km and 5-km grid sizes are conducted, which suggest no distinctive differences between the two cases although some finer structures of convections are discernible in the 2-km case. The significance of this study resides in supplying a powerful tool for investigating tropical cloud activities without the controversy of cloud parameterizations. The parallel computing method applied in this model allows sufficient usage of computer memory, which is different from the usual method used when parallelizing regional model. Further simulation for the global tropics with a resolution around 5 km is being prepared.     

气象基础设施云平台关键设计与实现

为适配气象业务科研应用对算力、存储资源的需求特点,采用分布式计算、分布式存储、虚拟化技术搭建气象基础设施云平台,并根据不同的业务类别、网络区域、资源服务对象针对性地设计云平台资源分区,以及每个分区需具备的云资源及功能。设计的云平台涵盖IaaS层、PaaS层功能,通过软件定义方式池化硬件资源,形成具备云计算、大数据支撑特征的资源池,为众多气象应用端部署、气象大数据业务提供虚拟主机、物理算力、数据存储资源。实际运行效果表明设计的气象基础设施云平台能够适应数据处理规模与时效性要求不断提升的业务发展需求。