共查询到10条相似文献,搜索用时 15 毫秒
1.
《武汉大学学报(信息科学版)》2020,(5)
NoSQL数据库HBase已被众多应用系统作为存储和管理海量数据的解决方案,但HBase并未提供对地理空间数据的直接支持,因此提出了名为GS-Phoenix的地理空间大数据管理系统,GS-Phoenix构建在开源项目Phoenix和HBase之上。在插入空间数据时,GS-Phoenix自动以主键索引或二次索引方式生成基于空间填充曲线的空间索引。利用该空间索引,GS-Phoenix实现了矩形范围查询、不规则范围查询和k近邻(k nearest neighbors,k NN)查询等复杂空间查询所需的基本操作。GS-Phoenix利用用户自定义函数机制和服务器端排序机制将空间查询中的主要运算任务放置在服务器端,有效降低了客户端的计算负担。此外,GS-Phoenix还设计了基于数据空间分布统计的查询优化方法,进一步提高了空间查询效率。实验表明,GS-Phoenix能够在小规模的集群上实现17万/s左右的数据插入速率,常用的空间范围查询和k NN查询都可以在几百毫秒内完成,因此GS-Phoenix能够适用于各类具有高数据吞吐和实时空间查询需求的位置相关应用系统。 相似文献
2.
3.
Apache Spark分布式计算框架可用于空间大数据的管理与计算,为实现云GIS提供基础平台。针对Apache Spark的数据组织与计算模型,结合Apache HBase分布式数据库,从分布式GIS内核的理念出发,设计并实现了分布式空间数据存储结构与对象接口,并基于某国产GIS平台软件内核进行了实现。针对点、线、面数据的存储与查询,与传统空间数据库系统PostGIS进行了一系列对比实验,验证了提出的分布式空间数据存储架构的可行性与高效性。 相似文献
4.
《地理空间信息》2016,(1)
针对高铁沉降监测数据的海量特性,以及传统管理方式存在的效率不高、可视化效果不好的问题,设计了一种基于线性参照系统有效管理和显示高铁沉降监测数据的集成模型。该模型中,高铁路网以路径要素集存储,高铁沿线非空间数据以事件表的形式存储,由此实现高铁沉降监测相关的空间数据和属性数据的线性建模与集成。同时,使用Arc Engine组件与.NET平台实现了沉降监测数据空间查询和可视化表达功能,可形象地反映高铁线路与沉降监测点的分布状况,更易于进行沉降数据的可视化分析、预测和评估。数据集成模型实现了非空间数据和空间数据的一体化管理,有效地减少了数据存储冗余,提高了高铁变形监测数据管理的效率,对我国高速铁路的建设与运营安全的海量监测数据管理具有一定的参考价值。 相似文献
5.
一种面向并行空间数据库的数据划分算法研究 总被引:7,自引:1,他引:6
面向基于对象关系型数据库而构建的并行空间数据库系统,提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下,该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分,以避免出现数据倾斜现象,从而提高了空间数据的检索与查询效率。 相似文献
6.
为解决综合交通运输空间数据海量存储、时空一体化、高效共享、实时更新等管理问题,探讨GIS在标准化、自动化和可视化的空间数据管理和应用系统构建中的独特优势,提升交通运输空间数据管理、应用和工作效率,首先从数据的组织和分类、数据库总体结构设计等方面探讨了综合交通运输空间数据库的设计思路和关键技术;然后针对传统空间数据管理系统只注重独立的业务环节,忽略数据管理与应用的结合,导致数据来源有限、数据监测与更新不及时等问题,开发了集传统空间数据管理与融合数据应用于一体的系统,与综合交通运输空间数据库形成了动态循环更新生态链,实现了综合交通运输空间数据管理、数据浏览、数据检索、数据服务、实时更新和安全维护等功能,为广东省交通运输行业各交通应用平台以及交通规划专业研究工作提供了一体化的数据支撑平台.研究结果表明,构建基于GIS的综合交通空间数据管理系统,实现了综合交通运输空间数据与属性数据标准化、自动化、可视化的海量存储和统一管理,增强了数据质量的全面监测和数据实时更新能力,提高了综合交通运输空间数据管理和规划研究的工作效率. 相似文献
7.
8.
基于关系型数据库的空间数据存储与处理是地理信息系统(geographic information system,GIS)领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。 相似文献
9.
为了有效管理和利用资源环境遥感研究过程中积累的海量空间数据,设计资源环境遥感海量空间数据存储、检索及访问方法.针对不同数据类型和特点的海量空间数据,采用空间数据库、文件目录方式和Web Service等方法实现数据存储和发布.在空间查询二步算法的基础上,设计了基于空间位置的海量空间数据检索方法,可以检索以Mapping和Web Service等方式发布的数据,解决用户快速查找数据的问题.利用分层分块和可视区域格网索引等方法优化空间数据的传输、加载和显示等性能,并进行了相关性能测试.所设计的方法通过探讨数据的存储策略、数据的检索策略以及数据的访问展现策略,解决了海量空间数据应用中的数据有效管理、数据的精确定位以及数据快速传输呈现的问题.并基于此方法构建了资源环境遥感应急监测基础设施的基本框架. 相似文献
10.
现有的分布式空间数据管理系统侧重于对离散点集、点序列等类型数据的索引与查询,对线、面类对象的支持不足。针对该问题,基于开源HBase数据库,提出了一种面向矢量数据的自适应分布式管理方案(vector-oriented adaptive management scheme based on HBase, VA-HBase)。该方案先对点、线、面等矢量对象采用两级索引结构,主索引自适应剖分对象,寻找其合适存储层级,二级索引在全局粗粒度网格上记录覆盖对象的最小存储层级,然后设计最简字节流方法简化编码长度,优化存储空间,最后基于此设计了高效的范围查询算法。实验结果表明,所提出的VA-HBase方案能有效压缩各类矢量对象的存储空间,查询时能维持稳定的过滤性能,查询效率高于GeoMesa等对比方案约2~10倍,当数据集增大时,VA-HBase显示出良好的扩展性。
相似文献