MySQL集群与MPI的并行空间分析系统设计与实验

 GIS应用正面对空间数据规模日益增加和空间分析算法复杂度逐渐提高的挑战,本文提出一种基于MySQL空间数据库集群与MPI的并行计算库分布式空间分析框架的解决方案。该框架使用MySQL空间数据库集群解决大量空间数据存储与管理问题,利用MySQL Spatial的Replication机制加强空间数据的冗余备份和并发访问控制,同时使用MPI负责分布式计算节点间的通信减少人工控制通信的开发成本。并行框架的任务管理与调度系统采用优先队列式管理,通过Master节点监控集群状态,合理分发计算任务实现负载均衡和容错。最后,以多边形Overlay算法为例,研究其在该并行空间分析系统下的并行策略,采用数据并行的管道流水线作业方式在框架中运行测试,结果表明,该并行框架相比串行算法可以得到可靠的加速比。     

分治法在GIS多边形快速合并算法中的应用及效率提升评价模型

分治法采用分解-解决-合并的问题处理模式,应用于多边形合并算法能规避结点累积效应,与经典的“滚雪球”处理模式相比能有效提升多边形合并算法的计算效率。本文以多边形合并算法为研究对象,首先通过分析基于Vatti算法实现的多边形合并算子的效率相对于多边形顶点数的变化特征,指出合并过程中的结点累积效应是“滚雪球”多边形合并模式的潜在性能瓶颈和隐患。考虑分治法的“分而治之”思想在解决多边形合并问题上的适用性以及在归并排序算法中表现出的高效率,提出分治法的多边形“树状”合并处理模式,实现了面向要素集合或者要素层的多边形快速合并算法,最后给出了面向多边形合并的算法效率提升评价模型。实验结果显示,当仅有400个多边形时,“滚雪球”模式的时间开销约是“树状”合并模式的26倍,当需要合并11 200个多边形时,前者的时间开销约是后者的926倍。因此,基于分治法的多边形树状合并策略是对多边形合并算法以及应用到多边形合并算法的高级空间分析算法进行优化的可行途径。     

基于异构集群计算的地统计面插值并行算法

地统计面插值算法在空间统计分析中有广泛应用,其目的是通过一组面要素的某已知属性值估算另一组面要素的属性值。地统计面插值算法多是基于克里金（Kriging）插值及其衍生算法。克里金插值算法考虑属性在空间位置上的变异性,需计算要素之间的协方差,是典型的计算密集型算法。本文分析了基于克里金插值的地统计算法计算过程,该算法中面要素间协方差计算相互独立,可作为并行计算单元划分。另外,面要素间协方差计算可使用快速傅里叶变换（FFT）快速计算,而FFT是一种非常适合并行处理的计算密集型算法。本文根据算法特征设计了基于异构集群计算的并行算法,并使用MPI+CUDA实现了该算法。实验结果表明,本文实现的算法比使用MPI实现的CPU集群的算法有更好的性能,具备良好的可扩展性,并且随着插值精度提高表现出更好的性能。     

基于Pfafstetter规则的流域编码算法并行化方法

流域编码是以子流域划分进行流域相关研究的重要内容。Pfafstetter 流域编码以编码唯一、顾及流域拓扑关系及编码效率高等优点而被广泛采用。本文在流域相关研究的分析范围不断增大、数据精度越来越高的需求背景下,以Pfafstetter 编码为基础,对流域编码并行化方法进行研究。首先,分析了Pfafstetter 编码不全面和码位不一致的问题,改进了Pfafstetter 编码规则;然后,从数据并行的角度,讨论了并行计算环境下的数据划分及并行化策略,进而设计了流域编码并行算法;最后,利用长江中上游流域SRTM数据,在集群系统上对流域编码并行算法的正确性和并行性能进行了测试。实验结果表明,本文设计实现的流域编码并行算法可获取与实际较为一致的计算结果,且提高了编码计算效率,可为基于子流域划分的流域分析并行化提供参考。     

基于优化合并的高分辨率遥感影像分割算法

高分辨率遥感影像的分割算法研究对遥感数据处理与应用具有重要意义。本文提出了一种优化合并的分割算法以提高运算效率,该算法包含局部最优合并和全局最优合并2个阶段。第1阶段采用凝聚层次聚类（Hierarchical Agglomerative Clustering,HAC）方法实现局部最优合并,并对其合并规则进行了优化,使优化后的合并规则先注重光谱特征,再考虑待合并区域的几何特征。第2阶段采用区域邻接图（Region Adjacency Graph,RAG）方法实现全局最优合并,其合并规则主要考虑了区域的光谱和边界信息,减少了区域尺度对合并规则函数产生的负面影响,并且该阶段利用了红黑树来实现全局最优合并,以提高对RAG的搜索效率。最后,利用OrbView3高分辨率遥感影像开展了分割实验,结果表明本文算法可以得到令人满意的分割精度。本文的成果为遥感影像分割及其相关研究提供了新思路。     

基于空间填充曲线排列码划分的并行缓冲区算法

缓冲区计算是地理信息系统空间分析的基本功能之一。在矢量缓冲区研究方面,以往大多聚焦缓冲区生成算法,这些优化方法在单机计算环境中针对大规模空间数量数据的计算效率提升是有限的,因而需要并行环境下的改进方法来进一步破解计算瓶颈。本文基于Map Reduce计算模型和分布式内存计算框架,提出了一种基于空间填充曲线排列码划分的并行缓冲区分析算法(SPBM),基于空间填充曲线编码进行数据排序和范围划分,对跨越网格的数据采用近似切分方法,在考虑负载均衡的前提下对任务并行分解,之后按照给定深度的"树状"方式进行结果合并。本文在单机和集群两种环境下利用实际道路网等数据进行了实验。同等环境下,相较于目前流行的GIS软件——QGIS和Post GIS计算性能提升明显,相较于现有其他并行优化方法效率提升超过50%。这样的优化分析方法对于GIS中其他矢量分析算法的并行算法也具有一定的借鉴意义。     

景观指数的并行计算方法

随着地理信息科学和系统的发展,GIS数据的时空分辨率和数据量呈现爆炸式的增长趋势。传统的基于个人计算机的景观指数计算软件难以有效快速地完成海量数据的空间分析。针对该问题,本文提出了一个高效的景观指数并行计算方法。首先对原有的并查集连通域标记算法进行了2点改进：① 在第2次遍历数据时,增加了计算斑块面积、周长等斑块基本信息的功能,为景观指数的计算提供必要参数;② 在第2次遍历过程中,增加了重新标记连续序号的功能,减少了原有算法在合并操作后造成的序号不连续,需要重新遍历数据的开销。在此基础上,本文利用MPI并行编程库,采用数据分割和主从进程协同的并行计算模式实现了景观指数的并行计算。实验表明,在保证计算正确性的基础上,本文的并行算法大幅度提高了景观指数的计算性能,为快速分析大规模数据的景观形态和格局提供了有效手段。     

制图数据多边形区域符号自动填充算法实现

DLG建库数据是基础测绘生产的主要成果之一,而且在不断的更新,由于很多部门需要DWG格式的制图数据,因此实现DLG建库数据到制图数据的自动转换十分必要。多边形(面)要素是DLG数据的重要组成部分,实现制图数据多边形区域符号自动填充是DLG建库数据到制图数据自动转换的关键部分,该文提出面状区域符号自动填充的方法,该方法考虑到了多种复杂图形的情况,同时解决了小面积区域保证一个符号的问题,实验证明,该方法能够实现DLG入库数据多边形要素到制图数据的自动转换。     

多边形叠加Vatti算法的VCS优化方法与GPU并行化

Vatti算法是常用的矢量多边形裁剪算法之一,在其构建扫描束实现交点计算的过程中,二叉树的数据结构和递归计算方法导致其计算效率受矢量多边形边界顶点数量影响显著。本文针对Vatti算法执行过程中较为耗时的扫描束构建环节,提出了一种多边形边界顶点预排序的优化方法——VCS（Vertex Coordinate Pre-Sorting）方法,并基于该方法实现了对Vatti算法的GPU细粒度并行化。VCS方法使用双向链表对Vatti算法原有的二叉树数据结构进行了替换,以较小的额外存储空间取得了多边形边界顶点信息查找效率的明显提升。在GPU环境下采用双调排序算法对多边形边界顶点数组元素进行并行化排序并过滤出有效值,克服了原始算法使用二叉树存储导致效率低下的问题。实验结果表明,改进后的算法与原始算法相比,具有相同的计算精度;当多边形顶点数量为92万,CUDA每个线程块中的线程数量为32时,使用VCS优化方法,与采用CPU计算构建扫描束方法相比,GPU并行化方法获得了39.6倍的相对加速比,矢量多边形叠加分析算法效率总体上提升了4.9倍。     

栅格地理计算并行算子对区域计算算法并行化的可用性分析——以多流向算法为例

栅格地理计算并行编程库的研发有助于实现对栅格地理计算算法的并行化。在现有的研究中,Qin 等(2014)设计并初步研发的栅格地理计算并行算子(PaRGO),在设计思路上能较好地隐藏与并行编程软硬件环境相关的复杂细节,实现栅格地理计算通用步骤的并行化,且较其他类似思路的编程库而言,PaRGO能兼容多种常用的并行计算平台,具有明显优势。但PaRGO目前在设计上仅直接支持本地、邻域及全局计算特点的栅格地理计算算法并行化,对于更为复杂的区域计算特点算法并行化的支持能力尚未探究。对此,本文选取栅格数字地形分析中具有区域计算特点、递归设计的多流向算法为算例,利用PaRGO进行并行化设计、实现及测试,以计算时间、相对加速比和相对并行效率为定量指标。通过可运行性和并行性能进行评价,结果表明:PaRGO虽然不能直接支持对递归的多流向算法进行并行化,但在根据多流向计算的原理将该递归算法转变为非递归的设计之后,可将算法由原区域计算改造为邻域迭代计算,就能利用PaRGO 实现并行化,并得到较好的并行效果。在集群环境下,MPI版本并行程序的并行效果优于MPI/OpenMP混合版本。     

一致性哈希算法在数据库集群上的拓展应用

在数据库集群的研究中,可扩展性是一个重要的性能指标.为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略.将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案.最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好.     

一致性哈希算法在数据库集群上的拓展应用

在数据库集群的研究中,可扩展性是一个重要的性能指标。为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略。将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案。最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好。     

Retinex图像增强在GPU平台上的实现

伴随着无人机时代的到来,对海量数据处理的实时性要求越来越高。本文在GPU（Graphic Processing Unit）平台上实现了Retinex图像增强算法的并行处理,提升了Retinex图像增强算法处理高分辨率数字图像的处理速度。首先,通过数据合并访问和内存数据交互技术实现了数据的快速访问,缩短了数据在不同种类内存间的传输时间,提升了数据访问的效率;然后,采用内核指令优化和数据并行计算技术,实现了Retinex图像增强算法在GPU平台上的多核程序设计;最后,采用主机端和设备端的异步执行模式,在数据传输的同时进行内核数据的并行计算,通过任务级的并行进一步缩短了算法在GPU平台上的执行时间。研究表明,对于不同分辨率的图像,Retinex图像增强算法的处理速度相比于CPU平台均有数十倍的提高,如处理一帧分辨率为2048像元×2048像元的图像仅需要38.04 ms,算法的处理速度较CPU提高了40倍。     

基于平行算法的非扩张映像的最小范数不动点

非扩张映像的不动点问题在近代数学分支中有着广泛的应用,针对这一情况,利用平行算法和最近点投影映射方法,构造一个关于有限多非扩张映像的迭代算法,并且在一定的条件下,证明所构造的迭代序列不仅收敛,而且收敛于这族有限多非扩张映像的公共最小范数不动点。