Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

利用FME实现分幅地下管线图快速建库的研究与应用

FME由加拿大Safe Software公司推出,它作为空间数据共享及转换的辅助工具,通过基于语义的转换能实现上百种数据的转换,并且转换过程中不产生新的公共数据,两两转换,通过重构数据实体,保持了图形与属性的一致。针对分幅地下管线数据的内容及特点,结合FME ETL实现管线数据的快速入库,避免了复杂的程序设计。     

数据仓库技术与其在地质调查中的应用

正1数据仓库研究背景随着信息化、现代科技与商业智能技术的快速发展,数据量正以指数的形式快速增长,隐藏着巨大的商业价值。近年来,随着传统数据库技术的广泛应用,在同一机构中,通常存在着多个运行在不同软硬件平台上的系统,数据的存储彼此独立,相互隔绝,呈现出多元异构的特征,难以达到数据共享的目的,形成了一个个"数据孤岛"(陈跃国等,2004)。为了将纷繁复杂的信息进行保存、使用和     

一种将“三调”外业数据转为“国情”外业数据的方法

基于"三调"外业核查成果,利用FME、Python和ArcMap进行了数据筛选和ETL流程处理,形成符合基础性地理国情监测要求的外业核查成果。除了需要人工挑选照片及拍照点外,本方法实现了转换过程的自动化处理,转换过程不需要任何人工干预,避免了一些常见的人为错误,如错填、漏填信息等。     

Hadoop在气象数据存储中的应用

利用虚拟资源池搭建基于Hadoop的大数据存储架构,将海量自动站文本数据、数字化历史图片以及二进制雷达基数据按照自定义ETL存储规则进行数据清洗之后存入大数据框架,在并发读取效率测试中取得了良好的效果,为应对海量气象资料增长在扩展性和系统性能方面提出的挑战提供解决思路和基本模型。     

为地理知识库构建位置本体

随着网络中各种地理相关的应用越来越多,要想解决地理空间信息语义层次上的应用问题,就需要用到地理知识库。其中本体是地理知识库的核心。地理本体是研究地理信息科学领域内不同层次和不同应用方向上的地理空间信息概念的详细内涵和层次关系。本文为地理知识库构建了极具实用性的的位置本体,并详细阐述了基于ETL的数据知识库从资源采集,到数据集成,最后到本体构建的过程。     

不动产历史数据整理及入库方案探讨

针对济南市房产测绘研究院的不动产数据入库工作,基于CASS9.1,ETL工具与地理信息工作站EPS软件,详细阐述了利用3种不同手段将CAD数据转换成ArcGIS数据的方法,并对3种手段的入库过程和结果进行分析,通过对3种入库手段进行横向对比,分别总结出其各自的优势和不足,进而为以后入库工作进行有针对性的研究和改进,为下一步进行高效率、低错误率地完成历史数据的入库工作打下坚实的基础和铺垫。     

大数据环境下Spark性能优化分析研究与应用

针对长时间序列、多站点和多气象要素的大数据量查询需求,现有的CIMISS(China Integrated Meteorologi-cal Information Sharing System)存在支撑能力严重不足的问题.本研究使用广西气象站点建站至今的历史地面气象记录月报表数据资料和现有Hadoop集群物理资源,重新...     

山东省地质资料集成与应用研究

地质资料是极其宝贵的信息资源,也是开展地质工作的重要基础,利用大数据、云计算等技术,对地质成果资料进行集成与应用,有助于发挥地质成果资料的最大效能。通过全面系统收集山东省所有地质资料成果数据、成果图件、相关科研报告和地质论文,进行纸质资料扫描建库,利用ETL工具完成多源异构地质资料数据整合,完成山东省地质资料成果集成工作;研发"地质资料数据服务系统",实现地质资料共享应用,系统结合云平台的设计思路,采用SOA架构,基于Hadoop和Spark进行搭建,支持数据库、文件等多源数据导入,提供地质资料空间数据查询检索、资料数据统计、空间分析、数据发布等功能,为不同专题的地质系统产品提供基础服务。地质资料数据服务系统为建立山东省"地质云"奠定基础。     

空间数据仓库的ETL研究

介绍了数据仓库ETL的概念和主要工作，在此基础上讨论了空间数据仓库的主要框架，并以广州农业经济数据仓库为例，说明了如何进行空间数据仓库的ETL工作。