首页 | 本学科首页   官方微博 | 高级检索  
     

基于HBase的矢量空间数据存储与查询方法及其应用
作者姓名:李朝奎  王露瑶  周新邵  唐炉亮  张新长  李扬
作者单位:湖南科技大学地理空间信息技术国家地方联合工程实验室,湖南湘潭411201;湖南科技大学测绘遥感信息工程湖南省重点实验室,湖南湘潭411201;湖南城市学院信息与电子工程学院,湖南益阳413000
基金项目:国家自然科学基金(42171418);湖南省自然科学基金创新群体项目(2020JJ1003);湖南省高新技术产业科技创新引领计划项目(2021GK4001)
摘    要:研究了HBase存储机制,针对现有存储查询方法效率低等缺陷,设计了HBase矢量空间数据存储表模式,如行键、过滤列族、几何列族及非几何列族等,以MapReduce算法为基础改进了原有的区域查询方法,上述改进有效提高了HBase中矢量空间数据查询效率。以某地近100 a地质灾害数据进行实验,结果表明:设计的存储模型可行,查询算法与传统查询算法相比效率更高;由于MapReduce运行过程中的通信等原因,当数据量小于5万级时,算法优势并不明显;当数据量大于10万级时,算法查询时间低于原来的1/2,而数据量达到100万级时,算法查询时间仅为算法改进前查询时间的1/20。数据量越大,并行化处理优势越明显。

关 键 词:HBase  矢量空间数据  存储与查询  MapReduce  算法设计
收稿时间:2021-06-21
修稿时间:2022-01-07
本文献已被 万方数据 等数据库收录!
点击此处可从《地理科学》浏览原始摘要信息
点击此处可从《地理科学》下载全文
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号