共查询到20条相似文献,搜索用时 46 毫秒
1.
为了有效管理和利用资源环境遥感研究过程中积累的海量空间数据,设计资源环境遥感海量空间数据存储、检索及访问方法.针对不同数据类型和特点的海量空间数据,采用空间数据库、文件目录方式和Web Service等方法实现数据存储和发布.在空间查询二步算法的基础上,设计了基于空间位置的海量空间数据检索方法,可以检索以Mapping和Web Service等方式发布的数据,解决用户快速查找数据的问题.利用分层分块和可视区域格网索引等方法优化空间数据的传输、加载和显示等性能,并进行了相关性能测试.所设计的方法通过探讨数据的存储策略、数据的检索策略以及数据的访问展现策略,解决了海量空间数据应用中的数据有效管理、数据的精确定位以及数据快速传输呈现的问题.并基于此方法构建了资源环境遥感应急监测基础设施的基本框架. 相似文献
2.
3.
一种面向并行空间数据库的数据划分算法研究 总被引:6,自引:1,他引:6
面向基于对象关系型数据库而构建的并行空间数据库系统,提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下,该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分,以避免出现数据倾斜现象,从而提高了空间数据的检索与查询效率。 相似文献
4.
《武汉大学学报(信息科学版)》2020,(5)
NoSQL数据库HBase已被众多应用系统作为存储和管理海量数据的解决方案,但HBase并未提供对地理空间数据的直接支持,因此提出了名为GS-Phoenix的地理空间大数据管理系统,GS-Phoenix构建在开源项目Phoenix和HBase之上。在插入空间数据时,GS-Phoenix自动以主键索引或二次索引方式生成基于空间填充曲线的空间索引。利用该空间索引,GS-Phoenix实现了矩形范围查询、不规则范围查询和k近邻(k nearest neighbors,k NN)查询等复杂空间查询所需的基本操作。GS-Phoenix利用用户自定义函数机制和服务器端排序机制将空间查询中的主要运算任务放置在服务器端,有效降低了客户端的计算负担。此外,GS-Phoenix还设计了基于数据空间分布统计的查询优化方法,进一步提高了空间查询效率。实验表明,GS-Phoenix能够在小规模的集群上实现17万/s左右的数据插入速率,常用的空间范围查询和k NN查询都可以在几百毫秒内完成,因此GS-Phoenix能够适用于各类具有高数据吞吐和实时空间查询需求的位置相关应用系统。 相似文献
5.
针对传统的空间数据库管理方式在可扩展性、容错性和成本上难以满足分布式海量数据管理需求的问题,提出了基于开源大数据平台HBase的海量空间数据管理方案。根据空间数据操作方式的局部性特征,对存储于云平台中的空间数据,使用空间四叉树模型组织栅格数据,引入Z序空间填充曲线组织矢量数据,并建立空间索引,利用两步查询法(过滤和精化)进行空间查询。该方案在继承了HBase平台易于横向扩展、伸缩性和容错性强等特性的同时也保证了空间查询效率。基于此方案,设计实现了云空间地图服务系统CGMapServer。测试表明,该系统在高并发情况下对大数据集的空间查询响应具有较好的实时性。 相似文献
6.
大数据时代,我们常会面临海量的数据信息,数据类型复杂多样、数据量大且存储分散、空间特性明显。如何实现对海量数据的高效存储与可视化应用,同时保证数据的安全性,是物联网大数据时代数据存储与管理面临的主要难题之一。基于此思想,本文设计并开发了基于Oracle Spatial的大地测量成果管理系统,利用现代空间数据库技术实现了对大地测量成果数据的高效存储与管理,借助数据泵实现数据库迁移备份,有效提升了对地理空间数据的管理效率与管理水平,保障了数据安全。 相似文献
7.
基于关系型数据库的空间数据存储与处理是地理信息系统(geographic information system,GIS)领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。 相似文献
8.
随着越来越多的轨迹数据被记载,各种应用场景下的海量、复杂数据需要高效的存储与索引.传统的关系型数据库难以满足海量轨迹数据的存储、扩展及特定的查询需求,而具有扩展简单、读写快速、成本低廉特点的非关系型数据库为此提供了一种可行的解决方案.设计并实现了一种基于Cassandra数据库的数据降维及键值存储、索引方法,可对时空轨... 相似文献
9.
10.
《武汉大学学报(信息科学版)》2020,(10)
针对矢量瓦片在构建过程中对原始矢量数据源检索性能的不足,提出了一种基于改进网格与递归网格排序(sort-tile-recursive,STR)R-树的混合索引结构,用于提升对数据源的空间查询效率。该混合索引通过瓦片金字塔上下文信息改进了一级网格索引的查询方式,减少了查询过程中的空间比较。同时,使用STR R-树作为二级索引,有效减轻了因矢量数据空间分布不均衡所带来的影响,实现了二级查询优化。实验表明,对比数据库常用空间索引(如网格索引、四叉树索引、R-树/R*树索引),该混合索引对不同空间分布的矢量数据适应良好,能显著提高对矢量数据源的查询性能,加速瓦片的构建。 相似文献
11.
针对地理空间数据存储总量增大导致的系统空间查询性能下降的问题,本文详细分析了不同数据的存储特征,将关系数据库的分区技术应用到地理空间数据存储管理系统的存储优化领域。采用合适的分区策略,选择合理的分区键和分区索引来帮助管理大容量的地理空间数据,有效缩短了系统查询的响应时间,对地理空间数据的存储与管理具有优化作用。 相似文献
12.
13.
GML空间数据查询与索引机制研究 总被引:9,自引:0,他引:9
由于传统GIS数据模型的差异,导致空间数据难以集成与共享。各GIS软件厂商及第三方软件厂商提出了利用空间数据转换的解决方案,但是它还是不能很好地解决空间数据集成与共享存在的问题。地理标记语言GML的出现,为GIS空间数据建模、集成与共享提供了统一的标准与框架。GML已经成为事实上的空间数据编码、传输、存储和发布的国际标准,大量GML格式的空间数据开始涌现。如何有效地存储管理GML空间数据,已经成为GIS研究的热点问题。本文结合XML数据库技术和传统的空间数据库技术,对GML空间数据的查询、索引进行了深入的研究。以XML标准查询语言XQuery为基础,提出了XQuery空间扩展的内容,开发了GML空间数据查询语言,实现了GML空间数据的本原查询;结合XML文档编码和传统的空间数据索引,提出了基于空间索引的GML一体化索引机制,并以R树索引为例,对一体化索引的查询处理性能进行了实验分析。实验结果表明,本文提出的基于空间索引的GML一体化索引机制是可行的、高效的。 相似文献
14.
针对城市三维GIS中的海量数据组织需求,本文设计并实现了基于关系数据库的三维模型数据库,主要特点是支持地形数据、三维模型几何与纹理数据的一体化存储和属性的自定义动态管理。结合城市三维GIS中的海量数据访问和管理需求,从空间索引、纹理缓存、属性存取、数据加密、数据更新等方面介绍了该架构,指出按模型类别建立分类索引,能够提高空间索引查询效率。 相似文献
15.
ArcSDE作为空间数据引擎,在地理信息系统中有着广泛的应用,它能有效的提高空间数据库的管理效率。本文在对常用空间数据引擎比较的基础上,根据信息基础设施空间数据种类多、数据量大的特点,提出了基于ArcSDE SQL Server 2000技术构建的信息基础设施空间数据库建设方案,实现了海量数据的空间存储和有效管理,有利于信息的共享和充分利用,并在实际应用中取得了很好的效果。 相似文献
16.
ArcSDE作为空间数据引擎,在地理信息系统中有着广泛的应用,它能有效的提高空间数据库的管理效率。本文在对常用空间数据引擎比较的基础上,根据信息基础设施空间数据种类多、数据量大的特点,提出了基于ArcSDE+SQLServer2000技术构建的信息基础设施空间数据库建设方案,实现了海量数据的空间存储和有效管理,有利于信息的共享和充分利用,并在实际应用中取得了很好的效果。 相似文献
17.
空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足,提出了基于Hilbert空间填充曲线的海量空间矢量数据并行划分算法。在数据划分阶段,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响因素;通过“合并小编码块,分解大编码块”的划分原则,实现了云环境下海量空间矢量数据的并行划分算法。试验表明,该算法不仅能够提高海量空间矢量数据的索引效率,同时也能够很好地解决空间矢量数据在Hadoop分布式文件系统(Hadoop distributed file system,HDFS)上的数据倾斜问题。 相似文献
18.
Oracle数据库是海量空间数据存储和查询的首选数据库之一,其对面向对象技术的支持和扩展为对象-关系空间数据库的实现奠定了坚持基础。这里详细介绍了Oracle数据库的对象类型、对象类型方法和其对继承、多态这两个面向对象核心概念的支持,并在Oracle92中参照OpenGIS矢量几何对象模型,扩展了空间数据类型和空间函数。并基于这些空间数据类型和空间函数构建了空间数据表,进行了空间查询试验。 相似文献
19.
Oracle数据库空间数据类型和空间函数扩展实现 总被引:1,自引:0,他引:1
Oracle数据库是海量空间数据存储和查询的首选数据库之一,其对面向对象技术的支持和扩展为对象-关系空间数据库的实现奠定了坚持基础.这里详细介绍了Oracle数据库的对象类型、对象类型方法和其对继承、多态这两个面向对象核心概念的支持,并在Oracle92中参照OpenGIS矢量几何对象模型,扩展了空间数据类型和空间函数.并基于这些空间数据类型和空间函数构建了空间数据表,进行了空间查询试验. 相似文献