基于HBase的矢量空间数据存储与查询方法及其应用 |
| |
作者姓名: | 李朝奎 王露瑶 周新邵 唐炉亮 张新长 李扬 |
| |
作者单位: | 湖南科技大学地理空间信息技术国家地方联合工程实验室,湖南湘潭411201;湖南科技大学测绘遥感信息工程湖南省重点实验室,湖南湘潭411201;湖南城市学院信息与电子工程学院,湖南益阳413000 |
| |
基金项目: | 国家自然科学基金(42171418);湖南省自然科学基金创新群体项目(2020JJ1003);湖南省高新技术产业科技创新引领计划项目(2021GK4001) |
| |
摘 要: | 研究了HBase存储机制,针对现有存储查询方法效率低等缺陷,设计了HBase矢量空间数据存储表模式,如行键、过滤列族、几何列族及非几何列族等,以MapReduce算法为基础改进了原有的区域查询方法,上述改进有效提高了HBase中矢量空间数据查询效率。以某地近100 a地质灾害数据进行实验,结果表明:设计的存储模型可行,查询算法与传统查询算法相比效率更高;由于MapReduce运行过程中的通信等原因,当数据量小于5万级时,算法优势并不明显;当数据量大于10万级时,算法查询时间低于原来的1/2,而数据量达到100万级时,算法查询时间仅为算法改进前查询时间的1/20。数据量越大,并行化处理优势越明显。
|
关 键 词: | HBase 矢量空间数据 存储与查询 MapReduce 算法设计 |
收稿时间: | 2021-06-21 |
修稿时间: | 2022-01-07 |
本文献已被 万方数据 等数据库收录! |
| 点击此处可从《地理科学》浏览原始摘要信息 |
|
点击此处可从《地理科学》下载全文 |
|