并行地理计算算法性能评测技术研究

从并行地理算法的正确性评测、性能评测、评测流程和评测工具实现等角度,研究了高性能集群环境下的评测技术。在正确性评测假设基础上,将评测用例在不同进程数环境下的计算结果与该算法在单进程环境下的运算结果逻辑求差得出相对误差,提出了问题规模计算方法。根据评测用例的问题规模确定评测用例的权重,提出了性能指标和评测流程,并通过评测工具自动获得同一个并行地理计算算法。在多个不同评测用例下的评测指标来衡量算法的计算误差与性能,形成评测报告。经实验验证,本文方法能较好地满足并行地理计算算法评测的需求,为并行空间分析算法性能优化提供技术保障。     

pGTIOL:GeoTIFF数据并行I/O库

在地理栅格并行计算处理中,数据I/O 已成为制约计算性能的主要瓶颈之一。本文针对该问题,首先分析广泛应用于GIS 栅格数据存储的GeoTIFF 格式,重点研究数据的2 种存储模式(即条带存储与块状存储),并根据这2 种存储方式,分别构建了栅格数据从逻辑结构向物理存储结构的映射模型。然后,针对地理空间并行计算的需要,提出了栅格数据的并行读写框架,并利用MPI 并行I/O 技术的文件视图方法,实现了GeoTIFF 数据并行I/O库(pGTIOL)。结果表明,对比开源栅格空间数据转换库(GDAL)的主从I/O 模式,本文提出的pGTIOL 准确读写数据,具有更高的性能。该库隐藏了底层并行I/O 的细节,提供简单易用的并行读写GeoTIFF 栅格数据的接口,支持多数据类型和多种空间分割,实现了对条带存储与块状存储数据的异步并行读写,从而满足动态负载均衡的需求。     

“地理计算并行化”专辑征稿

正随着地理学各种相关应用领域中对应急响应、决策支持的实际需求不断增长,对地理计算效率需求的日益突出,地理计算的并行化是当前提高计算效率的重要方式。本刊特围绕"地理计算并行化"的主题征稿,内容包括但不限于:?地理计算并行化策略研究     

基于集群MPI的图层级多边形并行合并算法

在集群环境下,基于MPI并行编程模型和OGC简单要素规范进行并行多边形合并时,需要处理叠加图层间要素的“多对多”映射关系,由于空间上相邻的多边形在要素序列上并不一定连续,导致无法按要素序列为子节点分配任务,给并行任务映射带来了困难。本文以集群环境下的并行多边形合并算法为研究对象,通过比较叠加分析中两种多边形映射关系对算法并行化带来的影响,基于R树空间索引、MySQL精确空间查询,以及MPI通信机制,提出了6种不同的并行任务映射策略;通过实验分析和比较了6种策略的优劣。结果显示：基于R树预筛选的直接合并策略,在各算法中具有最高的串行计算效率和优秀的并行性能表现。虽然MySQL精确空间查询的预筛选过程较为耗时,但可有效地过滤掉不真正相交的多边形,从而提高合并操作的效率。因此,在集群MPI环境下,基于R树和MySQL精确空间查询的预筛选策略是解决并行任务映射难题,实现图层级多边形并行合并算法的有效途径。     

地理栅格数据并行I/O的研究与实现

随着遥感和测绘技术的进步,日益增大的数据量和高效的数据I/O矛盾逐渐凸显。本文针对这个问题提出了地理栅格数据的一种并行I/O模式,并对该I/O模式进行了相应的编程实现。通过设计实验验证其正确性和效率,我们发现相比传统的栅格数据I/O库(GDAL库)而言,采用本文提出的并行I/O模式对应的I/O库将能同时保证结果的正确性和高效性。     

全空间下并行矢量空间分析研究综述与展望

新一代并行空间分析将面临空间大数据分析和实时空间分析服务的挑战。矢量空间计算作为GIS系统中的重要组成部分,在并行化算法设计中存在负载不均,并行扩展性差,IO性能低等技术瓶颈。本文首先从应用需求和技术发展的演变历史回顾了矢量空间分析算法发展过程;然后,从研究现状的角度详细阐述了并行矢量空间分析计算的研究成果,总结了并行空间分析算法的算法特征和技术瓶颈,对不同并行编程模型进行了对比,并提出了并行空间分析算法的研发流程;最后,从发展前景的角度预测了全空间信息系统中基于多粒度时空对象的空间数据模型和计算方法的发展趋势,提出了以内存计算等技术实现存算一体化的新型空间数据模型和分析方法的技术趋势。     

并行栅格数据处理网格服务节点软件的关键技术

提出了栅格数据处理共享环境的概念,它包括栅格数据计算节点内部集群环境中的共享内存、共享处理器、共享硬盘、共享显示等方面的技术和计算节点间的远程图像对象调用技术。前者通过在近于操作系统层为用户提供一个便于编程、效率高的图像并行处理接口(API),屏蔽用户对操作系统层的系统调用,使用户在编程时只关心图像处理算法正确性和精度。后者通过远程对象调用技术在中间件层实现对象间的分布式计算,从而对程序员屏蔽了系统的分布性和异构性。最后介绍了基于该共享环境构建的空间信息栅格服务节点软件的体系结构,即构建空间信息栅格网格服务节点的框架。     

“地理计算并行化”专辑导言

<正>随着地理学的相关应用领域,对应急响应、决策支持的实际需求不断增长,以及地理计算效率的需求日益突出,并行化成为当今提高地理计算效率的重要方式。为此,《地球信息科学学报》以"地理计算并行化"为主题组织专栏,共征集、录用了10篇文章,这些文章一部分来自于中国地理信息科学2014学术年会(中国     

基于Storm的地理编码引擎

近年来,随着Web 2.0和具有位置感知能力的移动计算设备的普及应用,带来了大量含有时空语义的地理大数据。在这个背景下,以地图厂商人工方式和半自动方式更新地名地址库为基础的传统地理编码服务,已难以满足新的应用需求。本文提出一种地理大数据驱动的自适应地理编码引擎的构建思路和方法,通过引入实时计算和流式计算平台Storm,实现对网络中的多源地理大数据的爬取与实时处理,加速地名地址库及相关资源的生成与更新过程,并给出了相适应的地理编码匹配方法。在实时流式计算框架基础上,通过JTS Topology Suite实现流式并行的空间操作,设计并实现了基于Storm的地理编码引擎原型系统,满足多源地理大数据的高效处理和地理编码要求。实验结果表明,该引擎通过实时流式处理可加速地址库的扩充与更新过程,并且利用地址库持续更新的方法,提升了地理编码的匹配率和定位准确度。     

基于Python的“地理处理”并行方案

在传统方式下,ArcGIS地理处理工具的执行过程不能充分利用高性能多核计算机的全部运算能力处理日益增加的地理数据,导致数据处理效率低下。本文在分析地理处理工具特点的基础上,充分利用Python语言的并行编程特点,构建具有通用性的地理处理任务并行运行解决方案。结合ArcGIS软件自身的特质,有效解决了并行运行所带来的数据竞争、数据共享与进程通讯等问题,达到了一定硬件环境条件下ArcGIS工具执行效率最大化的目的。通过典型地理处理任务中不同运行方式效率的对比测试与分析,证明了并行运行的有效性。     

微机小型网络并行计算系统的搭建与讨论

详细讨论了微机网络并行计算(集群系统)的模式(包括抽象模型和物理模型)、网络分层协议和协议.着重研究了基于消息传递接口的并行计算环境.使用语言编写了并行测试程序,并分析了测试结果.利用微机来架构并行计算环境,有较高的性能价格优势和较大的可扩展性,使微机解决大运算量问题成为可能.     

MySQL集群与MPI的并行空间分析系统设计与实验

 GIS应用正面对空间数据规模日益增加和空间分析算法复杂度逐渐提高的挑战,本文提出一种基于MySQL空间数据库集群与MPI的并行计算库分布式空间分析框架的解决方案。该框架使用MySQL空间数据库集群解决大量空间数据存储与管理问题,利用MySQL Spatial的Replication机制加强空间数据的冗余备份和并发访问控制,同时使用MPI负责分布式计算节点间的通信减少人工控制通信的开发成本。并行框架的任务管理与调度系统采用优先队列式管理,通过Master节点监控集群状态,合理分发计算任务实现负载均衡和容错。最后,以多边形Overlay算法为例,研究其在该并行空间分析系统下的并行策略,采用数据并行的管道流水线作业方式在框架中运行测试,结果表明,该并行框架相比串行算法可以得到可靠的加速比。     

基于MPI的大规模遥感影像金字塔并行构建方法

影像金字塔是实现影像数据多分辨率组织的重要方式,是提高影像可视化性能的有效手段。传统串行金字塔构建算法,对大规模影像数据的构建性能已无法满足遥感影像快速浏览的预处理需求。故此,其成为一个亟待解决的问题,而利用多核、多节点的高性能集群计算环境和并行机制是一个重要的技术途径。本文在共享外存的高性能集群环境下,提出使用消息传递接口(MPI)的金字塔并行构建算法,对构建遥感影像金字塔过程中的重采样与I/O 过程进行并行处理,大大缩短了遥感影像金字塔构建时间。实验结果表明:(1)该算法比传统串行构建方法的加速效果明显,对于单波段遥感影像,其加速效果可达到GDAL的5 倍以上,而对于多波段遥感影像,加速效果可达到GDAL的2 倍以上;(2)遥感影像数据量越大,并行构建算法加速效果越显著,对于大规模的遥感影像,本文提出的金字塔并行构建算法的速度可达到GDAL的10 倍左右。     

基于自定义RDD的海量遥感图像并行镶嵌方法

图像镶嵌是遥感图像处理中的重要内容,在跨区域遥感图像分析中发挥重要作用。为了解决传统遥感图像并行算法中存在的计算节点利用率低、频繁数据I/O等问题,本文根据Spark分布式内存计算框架,充分利用Spark利于迭代数据处理的优势,提出了一种基于Spark自定义RDD（弹性分布式数据集）的并行镶嵌方法。该方法首先在集群的多个节点上通过相位相关法执行图像重叠区域估计操作,从而提高了图像重叠区域估计的多节点并行计算;然后,通过重写Spark中RDD的compute和getPartitions方法,自定义针对遥感图像处理的RDD,并将图像镶嵌中的重叠区域估计、图像配准和图像融合3个关键步骤作为自定义RDD的Transformation类型的操作算子;最后,通过隐式转换创建自定义RDD,并调用自定义RDD的操作算子实现图像镶嵌的并行处理。实验结果表明,与传统基于MPI的并行镶嵌算法相比,该方法在保证图像镶嵌效果的基础上,能够有效提高大数据量的图像镶嵌效率。     

基于C-SOM和Spark的并行空间离群挖掘方法及应用

空间离群挖掘可以发现空间数据集中非空间属性值与邻域中其他空间对象明显不同的空间对象。随着空间数据量的快速增加,传统集中式处理模式面临单机性能瓶颈、难以扩展等问题,已逐渐不能满足应用需要。因此,本文根据Spark并行计算框架,充分利用Spark快速内存计算和扩展性的优势,提出了一种基于考虑约束条件的空间离群挖掘算法（C-SOM）和Spark的并行空间离群挖掘算法和原型系统。该并行算法以C-SOM为核心,并行地在多个计算节点对全局数据集和各局部数据集执行C-SOM算法,得到全局离群和局部离群。轻量级的原型系统基于Spark实现了该并行算法,采用Browser/Server架构,提供给用户可视化的操作界面,简洁实用。最后,通过福建省东南沿海土壤化学元素调查数据和人工合成数据的离群分析,验证了该并行算法和原型系统的合理性、有效性和高效性。     

景观指数的并行计算方法

随着地理信息科学和系统的发展,GIS数据的时空分辨率和数据量呈现爆炸式的增长趋势。传统的基于个人计算机的景观指数计算软件难以有效快速地完成海量数据的空间分析。针对该问题,本文提出了一个高效的景观指数并行计算方法。首先对原有的并查集连通域标记算法进行了2点改进：① 在第2次遍历数据时,增加了计算斑块面积、周长等斑块基本信息的功能,为景观指数的计算提供必要参数;② 在第2次遍历过程中,增加了重新标记连续序号的功能,减少了原有算法在合并操作后造成的序号不连续,需要重新遍历数据的开销。在此基础上,本文利用MPI并行编程库,采用数据分割和主从进程协同的并行计算模式实现了景观指数的并行计算。实验表明,在保证计算正确性的基础上,本文的并行算法大幅度提高了景观指数的计算性能,为快速分析大规模数据的景观形态和格局提供了有效手段。     

���ڳ��������ƽ̨�IJ��н⼼�����������������е�Ӧ��

???????????????????н?????????????????????е???????????漰??????????л?????????????????????????????????????λ????????С????????,?????OpenMP??MPI??????л??????????Ч???     

采用动态负载均衡的LiDAR数据生成DEM并行算法

随着高性能计算的发展,并行技术已经广泛应用于LiDAR数据的分析处理。本文针对现有LiDAR数据生成DEM并行算法所存在的负载不均衡问题,设计并实现了动态负载均衡的LiDAR数据生成DEM并行算法。该算法采用主从式并行策略,管理进程负责LiDAR点云的高效自适应条带划分,计算进程负责LiDAR点云生成DEM的计算。本文设计了任务量的动态调度策略:首先,由所有进程并行创建任务量由大到小排列的待处理任务队列;然后,管理进程根据计算进程的反馈对待处理任务进行动态分配,以达到负载均衡。在24 核集群环境下,用30 GB(约12 亿点)LiDAR数据对本文算法进行测试,生成分辨率为1 m的格网DEM,算法加速比峰值达到15.16;同时,与静态调度策略进行对比实验,结果显示本文的动态负载均衡策略可更好地保证进程间的负载均衡,有效地提高了LiDAR生成DEM并行算法的整体效率。     

MKL��OpenMP��˲����㷨����߽׵�����������Ч�ʷ���

??OpenMP??????????Intel Math Kernel Library10.2??????????????????????????????????????????Ч??????????????1?????????????????γ??????????????????OpenMP????????????洢???????????????????????С??2???????????????????????????????γ?????????MKL?????????????Ч?????3??MKL??????Ч???????OpenMP????4?????????OpenMP??MKL??????????????????????????????????Ч???