结合MapReduce和HBase的遥感图像并行分布式查询

提出了一种可扩展的遥感图像多维度并行查询模式,即利用MapReduce实现海量图像数据金字塔的并行构建,利用HBase实现图像的分布式检索,设计和实现了单张遥感图像金字塔的并行构建方法和图像索引系统。实验结果表明,随着Hadoop和HBase集群的增长,图像数据的导入和检索速度得到明显提升。     

大数据环境下地震观测数据存储方案研究

大数据技术为处理海量地震观测数据提供了一种新的数据存储与计算模式。为了解决现有基于关系数据库存储方案的读写速度低、用户并发度低和可扩展性差等问题,以地震前兆观测数据为例,在详细分析业务需求的基础上,提出了基于HBase和Open TSDB的地震大数据存储方案,搭建了大数据测试平台,完成了不同存储方案下查询、插入性能实验和并发性实验。实验结果表明,与关系数据库存储方案相比,基于HBase和Open TSDB的存储方案具有很好的可扩展性和并发性,经过优化后的HBase存储方案具有更高的读取和存储性能。     

轨迹大数据云存储与热力图生成方法

针对目前轨迹大数据基于WebGIS的热力图展示中的成图耗时较长、用户移动缩放交互差等问题,本文建立了基于HBase的轨迹数据与地图数据存储模型,为轨迹大数据在电子地图上进行热力图展示提供了存储方法,同时提出一种基于聚类处理的轨迹数据热力图可视化方法,针对不同缩放级别能够有效地减少数据绘制计算量与数据传输量,较大地提升了热力图渲染与展示的效率。试验证明,该方案能够实现轨迹数据、电子地图数据的存储,提高热力图可视化绘制效率,能够为轨迹数据挖掘与分析提供技术支撑。     

基于 HBase 的面向语义单元的室内移动对象索引

随着室内定位技术的广泛应用,传感器记录了大量室内移动对象的位置数据,而索引技术作为移动对象数据分析的基础工作也得到越来越多的研究。已有索引技术多是针对室外空间的移动对象,不能支持室内移动对象数据的三维立体性、轨迹的复杂性、随机性等特点,这些索引技术也仅仅关注了移动对象的位置信息,忽略了语义信息,不能有效地支持室内移动对象的管理和分析,并且当面对海量的移动对象数据时,这些架构在传统关系型数据库上的索引都存在性能瓶颈问题。因此,本文提出了面向语义单元的移动对象表达模型,利用语义单元将室内移动对象的位置语义化,设计了SCoII （Semantic Cell Oriented Indoor moving objects Index）索引结构对室内移动对象的历史数据进行索引,能够有效支持语义粒度上的时空范围查询、移动对象语义轨迹查询。索引基于HBase实现,能够适应大规模的并发更新与查询,具有良好的规模扩展性,规避了大数据给传统数据库带来的性能瓶颈问题,实验证明其具有良好的更新和查询性能。该索引的实现方便了基于语义的室内移动对象分析和数据挖掘工作,为今后的分析工作奠定了基础。     

基于HBase的矢量数据云存储策略研究

大数据时代,矢量数据量急剧增长,迫切需要寻找有效的矢量大数据存储方法。提出了一种基于HBase的矢量数据云存储策略。首先应用四叉树剖分方法构建多级格网索引并基于Hilbert填充曲线对矢量数据进行聚类划分;其次结合多级格网编码和Hilbert排列码设计矢量要素唯一标识并以此作为矢量要素在HBase数据库的行键;再次对矢量数据的存储规则进行了具体设计;最后通过两个对比实验对矢量要素唯一标识聚类效果及矢量数据查询效率进行了验证,实验结果证明了该方法的可行性与有效性。     

基于HBase的矢量空间数据存储与查询方法及其应用

研究了HBase存储机制,针对现有存储查询方法效率低等缺陷,设计了HBase矢量空间数据存储表模式,如行键、过滤列族、几何列族及非几何列族等,以MapReduce算法为基础改进了原有的区域查询方法,上述改进有效提高了HBase中矢量空间数据查询效率。以某地近100 a地质灾害数据进行实验,结果表明：设计的存储模型可行,查询算法与传统查询算法相比效率更高;由于MapReduce运行过程中的通信等原因,当数据量小于5万级时,算法优势并不明显;当数据量大于10万级时,算法查询时间低于原来的1/2,而数据量达到100万级时,算法查询时间仅为算法改进前查询时间的1/20。数据量越大,并行化处理优势越明显。