空间大数据在MongoDB中的存储探索

最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法.     

基于WebGL的三维GIS应用研究

随着网络通信、三维建模和地理信息等各项技术的进步,基于Web的三维GIS应用需求越来越广泛。本文融合了Html5、JavaScript、WebGL、MongoDB和倾斜摄影建模等技术,利用这些技术的优势,实现了基于Web的三维GIS应用,为Web三维GIS应用提供了新的实现方式,使得三维数据更具有时效性,三维数据实现跨平台浏览,用户体验更好。     

WIS服务监视门户的设计与实现

世界气象组织信息系统(WMO Information System,WIS)为WMO各项计划及各成员提供实时观测数据和产品的收集和分发,以及发现、访问和检索服务。WIS服务的可靠性和高效性是最根本的业务运行指标。为保障WIS服务的可靠性和高效性,解决目前WIS服务缺乏监视的问题,需要建设WIS服务监视。WIS服务监视门户基于一致的JSON格式规范监视信息下,实现了对各中心服务状态和指标的定时采集和统计,覆盖了WIS监视要求的服务可用性、服务连接延时、WIS核心网络流量、元数据数量、数据缓存数据量(个数和字节数)等监视项目。北京WIS服务监视门户采用开源企业应用框架和非关系型数据库实现,实现了通过WIS服务监视门户的及时展示,通过互联网提供公开服务及时发现了WIS服务的问题,为提高WIS服务质量和能力的不断改进提供了有效手段。     

基于MongoDB的矢量空间数据云存储与处理系统

近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上,设计并实现了矢量空间数据云存储与处理系统VectorDB,达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据,使用OGR库实现不同格式矢量空间数据的转换与存储,并用Hadoop对数据库中的数据进行并行计算,以及用mongo-hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了VectorDB与PostGIS的矢量空间数据读写性能,并分析了VectorDB与MongoDB在海量数据并行处理性能方面的差异。结果表明:VectorDB具有更好的读取性能和海量数据处理性能,适合多用户不同格式、不同属性矢量空间数据存储,对海量矢量数据存储与处理问题具有参考价值。     

基于MongoDB海量地形小文件入库优化方法

针对关系型数据库无法满足海量地形小文件存储的高效性和扩展性,非关系型数据库通过最终一致性保证了高效的入库效率和可扩展架构,但存在入库安全隐患的现状。本文提出了基于非关系型分布式数据库Mongo DB的海量地形小文件入库优化方法。该方法充分发挥MongoDB内存文件映射方式带来的性能优势,通过客户端周期性阻塞实现内外存同步,以保证海量地形小文件并发写入的安全性;将入库的文件信息批量写入日志,支持工程级别的数据库回滚,以保持数据库的正确性。通过客户端周期阻塞与日志批量入库的协同,极大地保证了地形高效入库的安全性。     

中国自然资源航空物探遥感中心

近年来,我国新增航磁测量数据在大规模持续增长,传统的关系型数据库难以有效地按采样点粒度存储“一点多值”的数据,对亿级数据量的读写存在效率瓶颈,并且存在分布式动态扩展的局限。通过对比分析多种非关系型数据库的特点,以MongoDB作为数据库载体,开展存储模式设计、索引构建和测试分析,结果表明,该存储模式高效、灵活、可扩展,在大数据量、多并发条件下的读写性能表现优异,能够支撑航磁测量大数据的存储管理和业务应用需求。针对其他传感器不同但组成特点类似的数据,如航空重力测量数据、航空伽马能谱测量数据、航空电磁测量数据等,亦可采用该存储模式,最终形成行业通用的解决方案。