基于MapReduce的时空数据模型设计方法

针对时空数据存储与查询问题,传统方法存在硬件成本高,存储效率低等缺点。通过对MapReduce模型和Hadoop框架等云计算核心技术的分析和研究,提出了一种基于Hadoop的时空数据存储模型,并在此模型的基础上,设计了基于MapReduce的时空数据查询并行化框架。该框架通过对时空数据的并行操作,使其适用于海量时空数据的存储与管理。     

并行处理技术在地理信息数据处理中的应用

随着地理信息存储量的飞速增长,传统的单进程、集中式的数据处理方式已不能满足基于网络的地理信息服务的效能要求。分析对比了OpenMP,MPI和MapReduce等主流并行编程模式,将关系型数据库与分布式空间数据管理系统相结合,提出了面向并行处理的地理信息存储模型和数据组织模型,将该模型与传统模型进行了对比分析,并基于MapReduce实现了地理空间数据并行处理框架,选取了矢量数据装载、影像数据装载以及数据切片作为典型数据处理案例开展对比实验,该技术方案的处理效率均数倍于传统技术方案。实验表明,该模型能够很好地支持并行处理框架,可为分布式环境下数据处理中心构建提供一个有效解决方案。     

GeoCube： 面向大规模分析的多源对地观测时空立方体

随着对地立体观测体系的建立,遥感大数据不断累积。传统基于文件、景/幅式的影像组织方式,时空基准不够统一,集中式存储不利于大规模并行分析。对地观测大数据分析仍缺乏一套统一的数据模型与基础设施理论。近年来,数据立方体的研究为对地观测领域大数据分析基础设施提供了前景。基于统一的分析就绪型多维数据模型和集成对地观测数据分析功能,可构建一个基于数据立方的对地观测大数据分析基础设施。因此,本文提出了一个面向大规模分析的多源对地观测时空立方体,相较于现有的数据立方体方法,强调多源数据的统一组织、基于云计算的立方体处理模式以及基于人工智能优化的立方体计算。研究有助于构建时空大数据分析的新框架,同时建立与商业智能领域的数据立方体关联,为时空大数据建立统一的时空组织模型,支持大范围、长时序的快速大规模对地观测数据分析。本文在性能上与开源数据立方做了对比,结果证明提出的多源对地观测时空立方体在处理性能上具有明显优势。     

MapReduce 编程模型及其在图像处理中应用研究综述

MapReduce在云计算及其相关应用中发挥着重要作用,将其应用到图像处理中可以提高计算效率。然而,该模型设计的初衷是处理文本数据,对图像等二进制文件的处理支持能力相对不足。在充分调研国内外文献基础上,作者从MapReduce概述、图像数据格式设计和图像处理算法研究和在遥感图像处理中的典型应用等方面进行了综述,最后探讨了MapReduce在图像处理研究中的发展趋势。第一次比较全面地对MapReduce在图像处理中的应用进行了论述,对扩展MapReduce的应用范围和提高图像处理速度具有参考价值。     

MapReduce编程模型及其在图像处理中的应用研究综述

MapReduce在云计算及其相关应用中发挥着重要作用,将其应用到图像处理中可以提高计算效率。然而,该模型设计的初衷是处理文本数据,对图像等二进制文件的处理支持能力相对不足。在充分调研国内外文献基础上,作者从MapReduce概述、图像数据格式设计和图像处理算法研究和在遥感图像处理中的典型应用等方面进行了综述,最后探讨了MapReduce在图像处理研究中的发展趋势。第一次比较全面地对MapReduce在图像处理中的应用进行了论述,对扩展MapReduce的应用范围和提高图像处理速度具有参考价值。     

微测绘

正传统的变与不变(博主:GIS Thinker)基于空间位置的大数据获取、管理、应用和AI分析,正在成为全新的行业驱动方向。在此过程中,传统GIS所代表的先驱们,既面临极大的调整,也恰逢重大的历史机遇。不变的是什么?客户积累,品牌商誉,技术沉淀和数据资源。这些是无论任何时间都不会褪色的商业     

扩展流数据立方体的GIS时空大数据组织方法

针对大数据GIS面临的大规模数据的多源异构动态性与数据存储优化等问题,本文开展大数据背景下的地理时空数据组织与模型研究,提出了一种基于流数据的可扩展立方体处理框架,在典型的流数据二维数据序列基础上,构建增加垂直方向的非结构数据立方体;结合立方体数据组织模型的定义和特征,探讨扩展关系型数据库与协同非关系型数据库的GIS时空大数据组织方法;通过扩展数据源、数据类型及数据操作等属性,突出多源异构地理时空大数据的时空关系和演变过程关系等特征,对地理时空大数据进行数据一体化组织、存储和分析;进而解决地理信息时空大数据的大体量、异构与动态性在GIS数据管理与分析方面的技术瓶颈,并且对GIS时空大数据的有效管理提供科学性方法和解决策略。     

基于CTS的大地形仿真应用研究

大地形仿真是研究三维视景仿真的一个重要问题。针对三维地形仿真应用的现状,本文结合LOD技术、数据分块技术和数据管理技术,采用基于CTS软件的方案解决大地形仿真应用问题。该方案可以有效解决基于MultiGen软件的传统方案中的纹理和地形边界不连续以及内存容量限制等问题。通过实例验证了该方案切实可行。     

全国著名美食服务系统

针对目前美食信息量大而且繁杂,美食爱好者无法从中获取有用信息,而且很难直观获取美食的地理空间分布信息的问题,提出了一种基于地理信息系统的全国著名美食系统.解决了美食信息繁杂和数据冗余的问题,实现了美食信息管理、地图基本操作、美食信息查询、定位查询、美食热度分析、路线规划、美食数量统计以及美食信息编辑的功能.基于地理信息...     

基于云计算系统的空间查询处理方法

针对传统的关系型空间数据库已经不能很好地适应于超大规模高并发空间查询访问的处理需要的问题,该文着眼于解决大数据时代下地理信息服务所面临的日益严峻的大规模空间查询访问需求,探索了一套基于Spark架构的空间查询实现技术,并给出相应的解决方案。提出一个基于Spark并提供类SQL访问接口的空间查询实现模型GeoSpark SQL,解决了以下关键问题:数据的外包矩形数据生成和标准地理信息数据对Spark的导入导出方法;Spark空间查询算子实现方法;Spark空间索引与查询优化方法。GeoSpark SQL模型在初步实验中,已可以满足实时性的要求,对复杂的空间查询也能有良好的性能表现。