空间大数据在MongoDB中的存储探索

最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法.     

基于NoSQL数据库的空间大数据分布式存储策略

基于关系型数据库的空间数据存储与处理是地理信息系统（geographic information system,GIS）领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。     

基于MongoDB的电子地图瓦片数据存储和服务研究

针对电子地图瓦片数据只读、小文件、海量等特点,提出了一种基于MongoDB的电子地图瓦片数据存储和服务的方法。实验结果表明,提出的方法可以满足电子地图缓存服务的高效存储和高并发性、大数据量的访问。     

基于MongoDB的海量空间数据存储和并行

目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的,对于二三维的海量空间数据存储效果不理想,其独有的关系模型制约了对海量空间数据快速访问和处理的能力。因此,分布式环境下如何利用非关系数据库和并行处理技术实现海量空间数据的高效存储和快速处理具有重要的研究意义。     

基于MongoDB的地理信息共享数据存储模型研究

异构、海量地理信息共享数据的存储和管理一直是地理信息研究和应用领域的热点和难题。本文通过研究BSON数据存储格式、文档模型,以及分布式文件系统数据库MongoDB等技术,利用BSON作为地理信息共享数据的描述方式,定义了基于文档模型的地理信息共享数据存储模型,并使用MongoDB作为存储地理信息共享数据的存储载体,最终实现了基于MongoDB的地理信息共享数据统一存储模型,并通过实验验证了这一方法的可行性。     

基于NoSQL的机载LiDAR海量点云数据分布式存储

机载LiDAR点云数据是遥感大数据的重要组成部分,其海量化的趋势日益显著。本文设计并实现了基于NoSQL的海量机载LiDAR点云分布式存储模型,解决了海量机载LiDAR点云数据的高效存储问题。通过建立基于虚拟格网与线性八叉树的海量机载LiDAR点云数据组织结构,设计了基于虚拟格网号与Morton码的海量机载LiDAR点云数据标识唯一编码;提出了基于HBase的海量机载LiDAR点云数据存储策略,实现了键值和表结构的优化设计;最终实现了海量机载LiDAR点云数据的高效存储和快速查询。     

基于 MongoDB 的海量空间数据存储和并行简

目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的,对于二三维的海量空间数据存储效果不理想,其独有的关系模型制约了对海量空间数据快速访问和处理的能力.因此,分布式环境下如何利用非关系数据库和并行处理技术实现海量空间数据的高效存储和快速处理具有重要的研究意义.     

基于MongoDB的空间搜索引擎设计及优化方法

本文介绍了非关系型数据库MongoDB的空间查询功能,针对海量用户并发服务的应用场景,提出了一种空间近邻信息查询引擎的优化策略.该策略根据短时间内空间数据内容变化较小及相邻位置搜索结果相似度高的特征,利用格网化机制实现在等效查询结果前提下数据库操作次数减少;同时利用内存缓冲机制减少磁盘I/O读写次数,从而显著提高系统的...     

基于MongoDB的城市三维模型数据建库技术探讨

分析了城市三维模型管理的需求,从三维模型数据库规范以及MongoDB数据库的数据模型出发,设计了三维模型数据库的存储结构。基于Skyline三维地理信息系统和MongoDB驱动程序,开发了三维模型数据库管理系统,实现了三维模型的建库管理。     

基于MongoDB云计算下GML分布式集群环境搭建研究

虽然大容量服务器可以解决普通的GIS数据存储问题,但随着数据量的增大,管理存储操作越来越难。在开源MongoDB分布式文件数据库支撑下,根据MongoDB对GML海量数据的存储理论,搭建海量GML数据集群环境,构成GML分布式云计算平台,为GML在服务器集群中实现存储查询索引管理提供性能支持。     

分布式地质图空间数据库数据交换系统的设计与实现

分布式地质图空间数据库具有数据分布、数据源异构、地质实体间有着复杂语义关系的特点,而多源分布的地质图数据在实际应用中又需要统一管理,协调工作,这就提出了数据交换的要求。传统的数据库复制方案无法满足地质实体级的数据交换,本文提出了一种以地质空间要素类为交换单位的增量同步的数据交换设计方案,详细阐述了其关键的数据交换原理,数据传输方案以及上下级服务器之间的数据同步策略,该方案现已用于国家地质图空间数据库管理系统,被认为是一种行之有效的方案。     

轨迹数据的非关系管理及相似性分析

针对高动态、半结构化的轨迹数据,充分利用文档型非关系数据库MongoDB的特性,本文首先提出了一套分层、分区、分片的存储策略,设计了以整条轨迹为基本粒度的非关系组织模型,能够有效应对轨迹数据的海量性和动态性挑战。然后据此开展轨迹相似性分析的研究,提出了一种兼顾时间维和轨迹形状的轨迹相似性度量方法DTWEUCLI,可计算长短不一且含有噪声的轨迹数据之间的相似性。最后基于轨迹的非关系存储和相似性计算,开展了轨迹簇生成的试验与分析,设计实现了基于轨迹相似性计算的轨迹聚类计算框架。基于3个轨迹数据集的试验表明,DTWEUCLI算法能够对多源轨迹数据集进行有效聚类,输出轨迹簇。     

基于TeleAtlas的客家文化多媒体电子地图设计

阐述设计开发客家历史文化多媒体电子地图浏览系统的意义,详细论述基于TeleAtlas平台,设计和制作该电子地图的过程和方法,对于多媒体电子地图集成工具的开发和电子地图的设计开发有一定的参考价值。     

基于钻孔数据Delaunay-三角网的矿产储量计算

针对传统矿产储量计算的不足,在分析平面点集Delaunay-三角网的算法的基础上,提出基于钻孔点集Delaunay-三角网的算法,并以该三角网为基础,在Visual Basic环境利用组件技术,结合钻孔属性数据库,对任意区域矿产储量进行计算,该法不仅克服算术平均法误差大及其他方法难以自动实现的缺点,而且为管理部门的规划和开采设计提供重要参考信息。     

基于OpenLayers和MongoDB的船舶信息管理系统开发

船舶数据的管理和可视化对航道、船舶管理具有重要意义。大量快速更新的船舶位置信息和影像数据,对数据存储、检索以及可视化提出了较高的要求。本文结合实际应用需求,基于非关系型数据库MongoDB和开源地图API设计并开发船舶信息管理系统。该系统将船舶和热点区域数据存储在MongoDB中,可在浏览器中高效同步显示大量空间数据,提供属性查询、空间检索和统计制图等功能,并且可在线编辑数据库中的热点区域数据。本系统主要解决了MongoDB数据库中空间数据高效检索,BSON文档格式和Geo JSON地理要素格式的转换,数据库中空间数据在线编辑等问题,为船舶信息化管理提供了支持。     

基于MapX下GIS数据在Oracle Spatial中存储和管理

介绍了GIS空间数据和属性数据在Oracle Spatial中一体化存储的实现方法,针对MapX不能在数据库中存放注记的缺陷,提出3种解决方案并比较其优劣,对GIS的开发具有实际意义和参考价值。     

Channeling the water data deluge: a system for flexible integration and analysis of hydrologic data

The hydrologic cycle and understanding the relationship between rainfall and runoff is an important component of earth system science, sustainable development, and natural disasters caused by floods. With this in mind, the integration of digital earth data for hydrologic sciences is an important area of research. Currently, it takes a tremendous amount of effort to perform hydrologic analysis at a large scale because the data to support such analyses are not available on a single system in an integrated format that can be easily manipulated. Furthermore, the state-of-the-art in hydrologic data integration typically uses a rigid relational database making it difficult to redesign the data model to incorporate new data types. The HydroCloud system incorporates a flexible document data model to integrate precipitation and stream flow data across spatial and temporal dimensions for large-scale hydrologic analyses. In this paper, a document database schema is presented to store the integrated data-set along with analysis tools such as web services for data access and a web interface for exploratory data analysis. The utility of the system is demonstrated based on a scientific workflow that uses the system for both exploratory data analysis and statistical hypothesis testing.     

db4o引擎下的GML空间数据存储研究

目前GML已成为空间数据编码、交换的国际标准,大量GML空间数据的不断涌现,给我们带来了新的挑战,即如何有效地管理、操纵这些GML格式的数据,如何建立良好的索引机制以高效地检索数据量大大增加的GML文档。本文结合开源纯面向对象数据库引擎db4o和传统的空间数据库技术,研究了GML空间数据的原生对象存储方法、索引机制。