基于Hadoop的高性能GIS云计算平台研究

文章在研究当前主流GIS平台云计算体系架构的基础上,提出利用Hadoop这一开源的分布式计算环境设计一种高性能的GIS云计算平台,并予以实现。该平台利用HBase分布式数据库和HDFS分布式文件系统对空间数据进行存储,并使用Map Reduce技术对GIS的空间分析任务进行集群化和分布式处理,大大提高了高密度计算环境下海量矢量空间数据的计算效率,为构建大规模访问下的公共GIS服务平台提供了一种可行的实现办法。     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

基于Hadoop的地理国情监测高性能计算分析研究

随着常态化地理国情监测在我国的全面开展,地理国情时空数据规模不断增大,使得对地理国情数据综合分析和信息挖掘的要求越来越高。本文针对传统空间数据存储和分析平台存在的性能瓶颈问题,提出了一种基于Hadoop的地理国情高性能计算框架,论述了通过服务封装实现分布式并行计算能力与成熟平台地理空间分析能力的无缝聚合实现最优化地理国情分析计算的理念,并以地理国情地表覆盖面积统计为例,探讨了分布式计算技术在地理国情海量数据分析方面的适用性。结果表明,随着数据量的增加,分布式计算集群的性能优势逐渐凸显,比传统集中式空间数据库更适合于海量数据的分析计算,而集群的良好横向拓展性,也为大规模地理国情空间数据分析提供了可行解决方案,研究结果将为进一步构建开放性地理国情分析服务平台奠定基础。     

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

高性能GIS研究进展及评述

互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更高效的数据处理方式。目前,以并行集群计算技术和分布式网络技术为代表的高性能计算的出现,为这些问题的解决带来了新思路,并逐渐发展形成了新一代的多核并行高性能计算系统。当前,如何利用新型硬件体系结构带来的计算能力,研究新一代高性能GIS计算系统,解决现在所面临的时空数据密集和计算密集问题成为重要挑战。高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术。在实际应用中,逐渐形成Hadoop,Spark和Storm 3大主流分布式高性能计算系统,它们三者各具优缺点。本文从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面梳理、归纳总结了高性能GIS的技术体系,分析了每类高性能GIS技术特征,综合分析、评述了近年来高性能GIS的研究进展,并对高性能GIS未来发展进行展望,为更完备、高效的高性能GIS体系的建立、发展和应用提供参考。今后,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向,通过高性能GIS系统可有效地解决时空数据密集、计算密集和网络通讯密集等问题,大大提升GIS地理分析效率。     

地理知识云GeoKSCloud:动因、设计开发与应用

有效地发现和利用分布存储、运行的各类空间数据、空间决策分析模型和知识发现算法,已成为当前空间信息处理、知识发现与共享领域最具挑战性的前沿课题之一。首先,本文论述了空间信息处理、知识发现的关键问题、发展现状和趋势。然后,描述了地理知识云的概念特征,提出了地理知识云(GeoKSCloud)的具体实现。该平台构造了可伸缩的空间数据和知识服务存储、运行环境;平台从业务功能上划分为数据聚合中心、知识服务中心、地学问题求解中心、平台控制中心和知识云门户等5大核心模块。其为地学问题求解全过程提供了空间数据集成,知识服务发布、注册、搜索、发现、组合等功能,以及地学问题智能推理和结果可视化表达等工具。本文对海量空间数据云存储与管理、知识云服务管理与组合、地学问题智能求解等平台关键技术进行了论述。最后,本文以历史地震影响场分析为例,分析了平台各组件在问题求解中的交互过程,实例表明,该平台可实现多节点、跨平台、异构地理知识服务的协同式计算,有效地降低地学问题求解的成本和复杂度。     

RSIN-网格支持下的遥感信息服务平台及其应用

作为一种具有广泛应用前景的高性能计算技术,网格计算将在遥感信息领域起着重要作用。本文介绍了遥感信息网格服务节点(RSIN)的体系结构,以及在RSIN平台上构建遥感反演应用的方法和关键技术。最后以一个中国陆地遥感气溶胶定量反演实例的形式进行了实验。结果表明在网格技术的支持下,在RISN平台上可以实现大范围海量卫星遥感数据的近实时反演。     

面向遥感大数据的地学知识图谱构想

由于地球表面的时空异质性与复杂性,传统从遥感影像具有的信息特征出发,构建智能解译算法解决遥感地学认知的思路在应对面向全球的海量遥感大数据分析时,其精度和地学实用性已触及瓶颈。为此,本文从地学知识为核心的角度出发,结合当前知识图谱理论的发展,提出一种新的面向遥感大数据分析的地学思维构想——地学知识图谱。本构想将地学知识的概念进行重构,依次划分为数据性知识、概念性知识和规律性知识3个层次,并分别利用图模型的节点和边进行统一化表达和关联,打通不同层次地学知识间的反馈迭代与更新,在此基础上赋予地学知识图谱分析遥感大数据分析时知识的查询检索、知识推理、动态校正、拓展更新等功能。其中,如何构建具有多尺度、高维度特征的地理实体以及大体量、异质性的知识层级间的关联推理是地学知识图谱构想实现的关键难点。得益于知识的分层次和图模型结构的统一化表达,提出的地学知识图谱构想在促进遥感大数据时代背景下的地学知识精准化,提升遥感大数据解译精度和地学实用性,深化地学规律认知等方面应该具有广阔的前景。     

基于自定义RDD的海量遥感图像并行镶嵌方法

图像镶嵌是遥感图像处理中的重要内容,在跨区域遥感图像分析中发挥重要作用。为了解决传统遥感图像并行算法中存在的计算节点利用率低、频繁数据I/O等问题,本文根据Spark分布式内存计算框架,充分利用Spark利于迭代数据处理的优势,提出了一种基于Spark自定义RDD（弹性分布式数据集）的并行镶嵌方法。该方法首先在集群的多个节点上通过相位相关法执行图像重叠区域估计操作,从而提高了图像重叠区域估计的多节点并行计算;然后,通过重写Spark中RDD的compute和getPartitions方法,自定义针对遥感图像处理的RDD,并将图像镶嵌中的重叠区域估计、图像配准和图像融合3个关键步骤作为自定义RDD的Transformation类型的操作算子;最后,通过隐式转换创建自定义RDD,并调用自定义RDD的操作算子实现图像镶嵌的并行处理。实验结果表明,与传统基于MPI的并行镶嵌算法相比,该方法在保证图像镶嵌效果的基础上,能够有效提高大数据量的图像镶嵌效率。     

基于SVG的分布式遥感图像特征提取方法

在遥感图像网络化分布式特征分析与表达过程中,有很多需要栅格数据与矢量数据的混合模型的网络化表达与传输问题,而矢量数据的网络化表达、传输与显示问题则是影响遥感图像分布式处理效率的关键性因素之一。本文首先对SVG技术及其对矢量数据的表达特点作了简介,在介绍遥感图像分布式特征提取系统的运行流程的基础上,对其在遥感图像分布式处理中相关的网络化数据表达与显示问题给出了相应的解决思路,并给出了相应的实例与效果分析。     

高分辨率遥感影像目标分类与识别研究进展

高分辨率遥感影像的目标分类与识别,是对地观测系统进行图像分析理解,以及自动目标识别系统提取目标信息的重要手段。本文综述了当前国内外在可见光、红外、合成孔径雷达和合成孔径声纳等遥感影像的目标分类与识别的关键技术和最新研究进展。首先,讨论了高分辨率遥感影像的目标分类与识别问题的主要研究层次和内容;其次,深入分析了高分辨率遥感影像目标分类与识别,在滤波降噪、特征提取、目标检测、场景分类、目标分类和目标识别的关键技术及其所存在的问题;最后,结合并行计算、神经计算和认知计算等技术,讨论了目标分类与识别的可行性方案。具体包括：（1）高性能并行计算在高分辨率遥感图像处理的主流技术,并给出了基于Hadoop+OpenMP+CUDA的高分辨率遥感影像混合并行处理架构;（2）深度学习对于提升目标分类和识别精度的应用前景,以及基于深度神经网络的多层次遥感影像目标识别方法;（3）认知计算在解决遥感影像大数据不确定性分析的模型与算法,并讨论了层次主题模型的多尺度遥感影像场景描述方案。此外,根据媒体神经认知计算的相关研究,探讨了遥感影像大数据的目标分类和识别的发展趋势和研究方向。     

大数据架构的遥感资源存储管理方法

随着遥感数据获取能力的日益增强,一方面导致遥感数据的多元化和海量化,使“存不起”的问题日益突出,另一方面由于缺少有效和高效的存储管理方法,难以及时发现终端应用所需的数据,使结果“存而无用”。本文围绕巨量、高吞吐、空间结构化的遥感影像数据及其基础土地信息产品的存储与管理问题,提出采用大数据架构的遥感资源存储管理方法,并基于MongoDB数据库实现了原型系统;通过使用PB量级数据进行试验,证明了该方法满足大数据时代对遥感矢栅数据的存储管理需求。     

多时相遥感影像变化检测综述

近几十年来,多时相影像处理和变化检测是遥感领域一个较为活跃的研究方向.虽然在环境变化监测和检测方面成功的应用有很多,但是从多时相影像及时提取地球环境和人类活动的动态信息仍面临很多挑战.近年来,随着新型遥感平台和传感器的发展,在克服技术障碍方面取得了很大进步.历史影像档案提供范围的扩大也使得长期变化检测和建模成为可能.这...     

中国浮空器遥感遥测应用现状与展望

浮空器是一种新型的航空遥感遥测平台,适合于中小面积高分辨率的遥感遥测,尤其是中低空小型遥控飞艇,可依靠动力推进与操纵系统实现可操作飞行,具有飞行时间长、覆盖面积大、载重能力强、效费比高等特点,与其他几种航空平台相比,飞艇平台具有综合优势,在基础地理数据采集、国土资源勘查、环境监测、农业植被监测等各个领域具有广泛的应用前景。本文分析了中国有人飞机、无人机和中低空飞艇、平流层飞艇平台在遥感遥测中应用案例,以及各个航空平台的性能特点、工作方式、技术难点等,对比了各种平台的技术特点;探讨了中小型遥控飞艇平台在遥感遥测中应用的优势,研究了平流层飞艇的发展现状与关键技术;并结合国际相关领域的研究进展,对未来浮空器遥感应用的前景进行了展望。     

极地海冰-海洋参数遥感反演模型分布式共享研究

本文以SOA开放式架构与OGC标准规范,提出了极地海冰-海洋参数遥感反演模型分布式共享服务体系。服务体系以"模型服务"为核心,探讨了模型服务接口和模型服务的互操作问题。为了简化极地海冰-海洋参数遥感反演模型的分布式共享过程,提出了极地海冰-海洋参数遥感反演模型共享服务平台的概念。共享服务平台处于模型与模型应用客户端之间,可以实现两者之间的数据转化和功能协同,以及实现模型算法与其他功能的分离,使模型开发者可以专注于模型算法的设计和实现。最后,以海冰密集度遥感反演模型和冰间湖识别模型为例,实现了极地海冰-海洋参数遥感反演模型分布式共享方法。     

Retinex图像增强在GPU平台上的实现

伴随着无人机时代的到来,对海量数据处理的实时性要求越来越高。本文在GPU（Graphic Processing Unit）平台上实现了Retinex图像增强算法的并行处理,提升了Retinex图像增强算法处理高分辨率数字图像的处理速度。首先,通过数据合并访问和内存数据交互技术实现了数据的快速访问,缩短了数据在不同种类内存间的传输时间,提升了数据访问的效率;然后,采用内核指令优化和数据并行计算技术,实现了Retinex图像增强算法在GPU平台上的多核程序设计;最后,采用主机端和设备端的异步执行模式,在数据传输的同时进行内核数据的并行计算,通过任务级的并行进一步缩短了算法在GPU平台上的执行时间。研究表明,对于不同分辨率的图像,Retinex图像增强算法的处理速度相比于CPU平台均有数十倍的提高,如处理一帧分辨率为2048像元×2048像元的图像仅需要38.04 ms,算法的处理速度较CPU提高了40倍。     

矢量瓦片并行构建与分布式存储模型研究

矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数,将原始矢量数据GeoJson转换成mvt瓦片集;对于生成的矢量瓦片集,本文基于分布式内存文件系统Alluxio设计一个瓦片存储模型-VectorTileStore,模型以键值对进行数据存储,瓦片元数据占据前八个键值对,单个瓦片占据一个键值对,在数据写入的同时,基于键构建一个哈希索引,用于快速访问,模型兼容海量瓦片的组织存储,具有很强的扩展性。通过实验结果表明,本文提出的矢量瓦片并行构建算法较单机构建算法运行时间平均减少49.6%,分布式存储模型VectorTileStore较传统方案更适合海量矢量瓦片存储,存取时间效率更高。     

基于MapReduce的多机并行DP算法与实验分析

随着网络地图不断发展,个性化网络地图也得到快速发展。个性化网络地图需要以矢量数据为数据基础,以满足人们对地图色彩、符号等个性化要求,所以需要实时、快速进行大量数据化简。本文以经典Douglas-Peucker算法作为曲线化简算法,利用开源云计算平台Hadoop建立多机协作的曲线并行化简服务框架,设计和实现了多机并行Douglas-Peucker算法,并在集群上进行实验分析,验证算法的效率和适用性。算法核心是设计数据的逻辑分片,利用MapReduce计算原理,将分片分配到集群中,实现并行运算。实验分别分为两个方面:(1)比较在固定阈值不同数据量情况下,传统DP算法与多机并行DP算法效率;(2)比较在相同数据量不同阈值情况下,传统DP算法与多机并行DP算法效率。实验表明,在大数据量和高复杂度情况下,多机并行DP算法的效率更高。