共查询到20条相似文献,搜索用时 171 毫秒
1.
2.
3.
云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。 相似文献
4.
5.
6.
7.
8.
在资料收集与传输层面上,根据各类气象资料的传输特性(观测频次、传输时效、文件命名等),基于元数据技术,实现了台站到省,省到国家气象局、卫星广播资料等各类气象资料收发自动化实时监控,以B/S和C/S 2种方式展示给用户,除了按时次、报类、站点、时序图、GIS地图等多种功能的监控外,还实现了异常数据收发的语音报警、短信通知及传输质量报表统计和评估功能,系统可扩展性好,功能齐全,能够满足现有业务和今后业务发展的需要,已在实际业务中发挥了很好的效益,大大减轻了工作量,为数据收发、网络运行及相关业务系统的监控提供了自动化手段. 相似文献
9.
利用MODIS多通道数据反演近海海表温度 总被引:2,自引:0,他引:2
以EOS卫星的中分辨率成像光谱仪MODIS遥感资料为数据源,以福建近岸海域为示范区,利用多通道数据算法模型进行近海海表温度卫星遥感反演试验,并根据2003-2004年福建近岸海域10个观测站点的实测海洋表面温度对反演结果进行精度检验与分析.遥感反演的海洋表面温度与现场观测的海洋表面温度绝对误差的平均值为0.75℃,标准差为0.52℃,绝对误差在1.0℃以内的样本占总样本的68%.结果表明利用MODIS多通道数据算法模型遥感反演近海海表温度能够满足海洋应用的精度要求. 相似文献
10.
11.
为适应气象数据管理现代化建设和数据共享服务的需要,实现气象台站历史沿革档案信息编报工作的规范化、业务化,依据世界气象组织(WMO)及国内、外有关气象台站历史沿革项目内容要求,研究制定了《气象台站历史沿革数据文件格式》标准。该标准总体上反映了台站变动方面的信息,具有一定的国际通用性,能够满足气象数据应用和国际资料交换所需要的台站沿革信息。 相似文献
12.
13.
超声波测风仪与气象业务用风向标测风仪相比具有诸多优势,可为气象业务中风向风速观测急需解决的较多问题提供解决方案。为促成超声波风速仪尽早在气象部门业务应用,同时解决资料同化等问题,研究和选择适用于超声波测风仪的风速平均(平滑)算法显得极为重要。为此,从超声波测风仪测量原理出发,介绍了超声波测风仪获取数据的特点;利用台站获取的超声波测风仪风速的秒数据,采用不同时段、不同平均(平滑)方法,计算风速多种形式的平均值,通过统计、分析和比较,获得了标量和矢量不同算法下风速平均值的特性差异及其之间的误差,进一步验证了标量平均大于矢量平均的结论。通过对超声波测风仪的风速算法研究及其误差分析,对减小因算法带来的风速测量误差提供方法,同时探讨了超声波测风仪在气象业务使用的可能和方向。 相似文献
14.
为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台(CIMISS)数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。 相似文献
15.
针对干旱监测预警业务及科研需求,在WINDOWS系列操作系统平台下,采用SQL SERVER2005数据库,建立了全国720个国家级站点自建站以来日最高最低气温、日降水量、日照时数、日蒸发量等要素历史和实时资料数据库,实现了实时、历史资料的对接,为干旱监测预警业务试验提供了资料保障。在此基础上,采用C#等开发工具,设计开发了全国气象干旱监测预警业务试验平台,该平台整合了K、SPI、CI等干旱指数算法,实现了气象要素的多条件灵活查询、统计计算及指数计算等功能,提供了色斑图、折线图、EXCEL表等形式多样的产品表达方式。 相似文献
16.
基于VBA的地面气象资料转换系统 总被引:6,自引:2,他引:4
地面测报月数据文件是一个已经标准化了的文本文件,其中包含了全月的原始观测数据。由于其内容繁多,格式复杂,在基层台站的气象统计应用及对外服务中不易被直接使用。通过一个具体的VBA应用程序的开发,演示了用VBA读写地面气象观测数据文件和操作Excel的详细过程,最终实现了不同观测次数及不同观测方式的A文件批量导入到Excel文件,旨在用现有的工具软件来提高工作效率,减轻日常工作负荷。 相似文献
17.
着重介绍中外气象台站历史沿革数据文件的内容和格式,并将我国研究制定的《气象台站历史沿革数据文件格式》标准的基本内容与全球气候观测系统(GCOS)和美国国家气候资料中心(NCDC)的台站沿革项目内容进行了比较和分析。我国的气象台站历史沿革数据文件格式和内容的选择充分参考了国外相关文件,既具有国际通用性,能够满足国际资料交换所需要的台站沿革信息,又具有业务实用性,能够满足气象数据分析和应用业务需求。 相似文献
18.
以高频海量气象格点数据为研究对象,针对传统实时处理系统数据处理效率不高的问题,设计并实现了高频精细化气象格点数据实时处理系统的总体架构和业务流程,在分析海量高频次气象格点数据特点的基础上,设计和实现了符合气象业务需求的分布式存储模型;利用多通道动态感知技术实现了动态多通道的文件处理和文件到达的快速感知触发;利用实时数据快速处理技术实现基于精准位置寻址的快速数据块定位算法,进而实现数据块的精准定位;利用数据按需实时截取技术实现了在空间范围内按需进行裁剪的截取算法,进而实现数据按需抽取;实际业务应用表明,系统有效地提升了半结构气象数值预报产品数据的实时处理效率。 相似文献
19.
任意时段累年气候数据的统计是气象部门一项常规实时(准实时)业务,需要相应业务系统的支撑。为了提高该系列数据的统计检索效率,本文对获取该数据的统计流程进行了优化,提出了优化后的原始数据逻辑分解流程,并以关系型数据库Oracle为例,利用广东省86个国家气象观测站近65年,及2313个区域自动气象站近10年逐日气象数据,进行了任意时段累年气候数据统计流程优化前后效率的对比。结果显示:基于优化前的流程,随着任意时段日期跨度的增长,数据统计效率逐步降低;而基于优化后的流程,无论任意时段起止日期的跨度大小,数据统计均可以保持很高的效率。本文将优化后的统计流程应用于广东省农业气象业务系统(AGROS)对应的功能模块,对提高系统效率、优化用户体验起到了很大作用,并进一步推动了该系统在广东全省的推广应用。对于全国各省区乃至国家级气象部门业务系统相关模块的开发也有参考价值。 相似文献
20.
数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。 相似文献