面向地理信息企业的时空大数据服务平台设计与实现

针对地理信息企业内部拥有的地理信息资源呈爆炸式增长态势,以及公有云在地理信息企业推广中面临的安全性与可靠性问题,本文设计了一个采用混合云模式搭建基于Hadoop技术的时空大数据服务平台的方案,并依据方案建设了集数据存储、管理、共享和分发利用的图、属一体化空间数据管理平台,为企业不同场景提供服务。     

基于Hadoop的地质大数据融合与挖掘技术框架

地质领域数据量大,且种类多样。实现高效的多源异构地质数据的融合与挖掘,是研究地质作用机理,展开地质考察研究的重要手段。然而目前普遍存在着数据条块分割,格式各异,难以实现有效的共享与互操作。为此,本文提出了一种基于Hadoop的地质大数据融合与挖掘技术框架,该框架包括统一的地质大数据采集与预处理方法,基于元数据索引的存储与管理平台,基于Map/Reduce的地质大数据并行化计算模式与系统,面向可重用的地质大数据挖掘服务,以及支持在线三维展示的地质大数据分析结果可视化系统。该框架具有良好的实用性与可扩展性。本文在5个节点的测试系统上实现了多元素关联性分析,并取得了相对应单台机器3部的加速可比性。     

基于Hadoop的地理实体对象化存储方法

基于Hadoop平台及其核心技术,结合面向对象技术,将地理实体在Hadoop环境下进行对象化封装,并将构成时空对象的最小单元——元对象作为最小存储单元,构建基于Hadoop的时空数据存储模型,并提出了Hadoop环境下的时空数据并行化查询算法.     

大数据环境下地质资料的存储策略与文本化导入技术

在分析地质资料文档内容与形式特征的基础上,提出Hadoop大数据环境下的地质资料一体化耦合数据模型与存储策略,分析确定HDFS下地质资料文本化目标格式,并对地质资料原始格式、转换后的文本格式及地质信息的存储方式与模式进行设计;研究常见地质资料格式的文本化实现方式,并构建文本转换技术流程。为大数据环境下地质资料的文本导入提供技术路径,以及大数据环境下文本化地质资料的信息抽取、融合等智能化处理提供统一数据基础,对地质资料大数据分析具有实际意义。     

测震miniSEED格式数据在线实时展示方法研究和Java实现

本文介绍了一种基于Java语言的测震miniSEED格式数据的解压缩方法和数据实时展示程序。程序能够通过Java的socket接口接入测震流服务器,自动接收liss数据流并解压缩测震miniSEED格式数据。使用队列与缓冲池技术将解压缩的数据分流、过滤,并以ASCII码的数据形式进行存储,最终通过web对数据进行实时发布,以提供测震波形数据实时在线服务。     

一种基于大数据理念的WSN系统模型

无线传感器网络与大数据相结合,对未来实现人工智能具有重要意义。本文以WSN系统模型的架构为脉络,有重点阐述了WSN的底层配置(节点选取与布设等)、网络结构及传输功能。并在此基础上,结合大数据的思想,提出了节点配置多种类型传感器的要求和更加适应传感器网络节能需求的传输运行方法,即使用Hadoop对传输数据进行分布式存储和MAP\REDUCE运算,以整合全网资源,解决过大数据包的传输受限问题。     

一种云计算系统的瓦片数据组织方法

针对云计算系统中文件数据存储效率较低的问题,文章以Hadoop云计算系统为研究对象,改进了Hadoop-pvfs分布式系统,以提高Hadoop底层文件系统的存储效率,同时使得数据的更新可以在文件的任何位置;并提出一种多层次、位置相关的瓦片数据组织方法。实验结果表明,上述方法相对于Hadoop瓦片服务器系统吞吐效率有较大提高,可以为建设高性能、海量存储的GIS数据库服务系统提供参考。     

GPS及InSAR数据支持下的甘肃黑方台滑坡监测云平台设计与分析

通过对主流云计算平台技术的深入研究和思考,针对滑坡灾害监测数据量大、数据类型多这一特点,设计了基于GPS及InSAR数据的滑坡监测云平台;并以甘肃黑方台滑坡为例,使用ArcGIS对该滑坡进行了风险评估和分析。Hadoop技术的应用明显提高了滑坡监测中海量数据存储和处理的效率,为云计算技术在灾害监测方面的进一步应用进行了有益的探索。     

大数据环境下Spark性能优化分析研究与应用

针对长时间序列、多站点和多气象要素的大数据量查询需求,现有的CIMISS(China Integrated Meteorologi-cal Information Sharing System)存在支撑能力严重不足的问题.本研究使用广西气象站点建站至今的历史地面气象记录月报表数据资料和现有Hadoop集群物理资源,重新...     

云计算环境下地震数据管理与服务应用研究

本文通过对云计算环境下海量地震数据存储业务需求的分析,构建了一种可扩展的、具备一定负载均衡能力的高性能云存储体系,并针对地震数据存储质量问题进行了测试与分析,给出了相应的实现方法和实施策略,并在搭建的云存储平台上,验证了云存储体系可扩展性及负载均衡等问题的可行性。