基于空间填充曲线排列码划分的并行缓冲区算法

缓冲区计算是地理信息系统空间分析的基本功能之一。在矢量缓冲区研究方面,以往大多聚焦缓冲区生成算法,这些优化方法在单机计算环境中针对大规模空间数量数据的计算效率提升是有限的,因而需要并行环境下的改进方法来进一步破解计算瓶颈。本文基于Map Reduce计算模型和分布式内存计算框架,提出了一种基于空间填充曲线排列码划分的并行缓冲区分析算法(SPBM),基于空间填充曲线编码进行数据排序和范围划分,对跨越网格的数据采用近似切分方法,在考虑负载均衡的前提下对任务并行分解,之后按照给定深度的"树状"方式进行结果合并。本文在单机和集群两种环境下利用实际道路网等数据进行了实验。同等环境下,相较于目前流行的GIS软件——QGIS和Post GIS计算性能提升明显,相较于现有其他并行优化方法效率提升超过50%。这样的优化分析方法对于GIS中其他矢量分析算法的并行算法也具有一定的借鉴意义。     

采用动态负载均衡的LiDAR数据生成DEM并行算法

随着高性能计算的发展,并行技术已经广泛应用于LiDAR数据的分析处理。本文针对现有LiDAR数据生成DEM并行算法所存在的负载不均衡问题,设计并实现了动态负载均衡的LiDAR数据生成DEM并行算法。该算法采用主从式并行策略,管理进程负责LiDAR点云的高效自适应条带划分,计算进程负责LiDAR点云生成DEM的计算。本文设计了任务量的动态调度策略:首先,由所有进程并行创建任务量由大到小排列的待处理任务队列;然后,管理进程根据计算进程的反馈对待处理任务进行动态分配,以达到负载均衡。在24 核集群环境下,用30 GB(约12 亿点)LiDAR数据对本文算法进行测试,生成分辨率为1 m的格网DEM,算法加速比峰值达到15.16;同时,与静态调度策略进行对比实验,结果显示本文的动态负载均衡策略可更好地保证进程间的负载均衡,有效地提高了LiDAR生成DEM并行算法的整体效率。     

局部型地形因子并行计算方法研究

 随着分析区域的扩展及需求精度的提高,数据-计算密集型地形分析亟需通过并行化来满足用户的时间响应需求。局部型地形因子是以一定半径的分析窗口(通常为3×3)计算且具有单元计算结果独立性的地形信息,是数字地形分析的基本参数。本文在分析局部型地形因子串行算法特征的基础上,以坡度算法为样本,对局部型地形因子的并行计算方法进行了深入研究。从数据并行的角度,对并行计算环境下的数据划分粒度、方式及结果融合策略进行了分析,构建了局部型地形因子的并行计算方法。利用SRTM陆地表面地形DEM数据,设计了坡度并行计算的实验以验证其方法的正确性和实用性。实验结果表明,本文提出的并行计算方法顾及了任务、数据及计算环境,可快速对局部型地形因子串行算法进行并行化改造,提高算法的执行效率,具有较好的并行性能。     

面向D-TIN并行构建的动态条带数据划分方法与实验分析

 数据划分是并行算法设计的重要步骤,其结果的均衡性与高效性是提高并行算法性能的重要前提。对于集聚分布的点集数据,传统的D-TIN(Delaunay Triangulation)并行算法尚未给出划分结果均衡、划分效率高效的理想解决方案。针对上述问题,本文在传统D-TIN并行算法规则条带划分方法的基础上,提出采用动态条带实现针对集聚分布点集数据的均衡、高效划分方法。首先,获取点集的最小外接矩形,并使用规则矩形条带按照同一方向进行点集粗分,然后,按顺序进行相邻条带的合并,必要时需动态调整合并区域边界以达到满足负载均衡的要求。为了提高划分效率,尽量减少边界移动次数,采用了对半移动的规则进行边界的动态调整。为了验证动态条带划分方法的适用性,本文使用人工模拟点集数据,进行加速比测试,使用实验区域真实数据进行D-TIN并行构建效率的统计,实验证明,采用该数据划分方法可以获得更高、更稳定的并行加速比,并且数据分布形态和数据规模对加速比的影响较小,进行D-TIN构建可以获得更好的执行效率,并且加速效果更加明显。     

栅格地理计算并行算子对区域计算算法并行化的可用性分析——以多流向算法为例

栅格地理计算并行编程库的研发有助于实现对栅格地理计算算法的并行化。在现有的研究中,Qin 等(2014)设计并初步研发的栅格地理计算并行算子(PaRGO),在设计思路上能较好地隐藏与并行编程软硬件环境相关的复杂细节,实现栅格地理计算通用步骤的并行化,且较其他类似思路的编程库而言,PaRGO能兼容多种常用的并行计算平台,具有明显优势。但PaRGO目前在设计上仅直接支持本地、邻域及全局计算特点的栅格地理计算算法并行化,对于更为复杂的区域计算特点算法并行化的支持能力尚未探究。对此,本文选取栅格数字地形分析中具有区域计算特点、递归设计的多流向算法为算例,利用PaRGO进行并行化设计、实现及测试,以计算时间、相对加速比和相对并行效率为定量指标。通过可运行性和并行性能进行评价,结果表明:PaRGO虽然不能直接支持对递归的多流向算法进行并行化,但在根据多流向计算的原理将该递归算法转变为非递归的设计之后,可将算法由原区域计算改造为邻域迭代计算,就能利用PaRGO 实现并行化,并得到较好的并行效果。在集群环境下,MPI版本并行程序的并行效果优于MPI/OpenMP混合版本。     

基于MapReduce的空间敏感性分析并行算法设计

近年来,随着遥感空间数据广泛应用于生态系统,推动了区域尺度生态遥感参数模型的发展。敏感性分析对识别模型关键参数,降低模型不确定性和完善模型具有重要作用。区域尺度的生态遥感参数模型,在进行模型参数敏感性分析时,由于涉及到空间数据的复杂运算,单机环境无法满足快速分析的要求。为了提高生态遥感参数模型空间敏感性分析效率,本文以青藏高原为研究区域,利用植被光合模型VPM(Vegetation Photosynthesis Model)和开源云计算平台Hadoop,设计和实现了基于Sobol′的生态遥感参数模型空间敏感性分析并行算法,并在实验室集群环境下进行算法分析,验证了算法的有效性和适用性。该算法的核心是利用MapReduce并行编程技术,对空间敏感性分析中的地图抽样和模型迭代过程进行任务分割,将分割后的子任务分配至不同的计算节点进行并行计算。实验表明,本文提出的并行策略,能有效缩短地图抽样和模型迭代计算时间,相比于单机算法,并行算法的运行速度提高了14倍左右。     

并行网络机群的网络通信时间分析

LogP模型作为一种并行算法设计模型，它的性能参数较好地反映了并行计算的实际问题。讨论了它的特点，分析了轻载条件下的网络延迟、额外开销时间，并对相应参数进行试验测试。提出在网络机群并行计算环境中，依据LogP模型设计并行算法，以粗粒度发送长消息是减少通信开销，提高并行效率的有效方法。     

基于计算网格的DEM空间分析系统

计算网格技术可以解决DEM空间分析中大数据量和高密度计算对计算资源的需求。计算网格平台Alche-mi给出了模型系统的架构设计和层次设计,将系统划分为DEM分析服务器、计算网格节点和空间数据库服务器;通过集中式空间数据库服务器和基于数据分解的方法设计了系统的并行算法。实例结果表明,应用网格技术可以显著提高大计算量DEM模型分析的运算效率,具有重要理论和现实意义。     

Arc Hydro Tools及多源DEM提取河网与精度分析——以洮儿河流域为例

本文简要分析了HYDRO1K、SRTM3-2、ASTER GDEM 3种数据源基本特征,对数据的水平空间分辨率、现势性、覆盖范围、误差来源进行了比较;阐述了Arc Hydro Tools提取数字河网、划分流域及子流域方法的关键步骤;并以洮儿河流域为研究对象,分析了有(无)河网辅助条件下,3种初始DEM在不同地貌类型中数...     

“地理计算并行化”专辑征稿

正随着地理学各种相关应用领域中对应急响应、决策支持的实际需求不断增长,对地理计算效率需求的日益突出,地理计算的并行化是当前提高计算效率的重要方式。本刊特围绕"地理计算并行化"的主题征稿,内容包括但不限于:?地理计算并行化策略研究     

基于状态转移矩阵的Hilbert码快速生成算法

空间填充曲线的空间排列码可实现多维空间到一维空间的线性映射,广泛应用于空间查询、空间索引、空间划分及影像编码等领域。Hilbert是一种优秀的空间填充曲线,具有非常好的空间聚集性。传统的Hilbert排列二进制循环位操作算法的算法复杂度为O(n²)。本文首先分析了Hilbert的分形自相似特性,推导并归纳出Hilbert状态转移矩阵,按位编码顺序定义了空间划分中的象限顺序,将Hilbert状态转移矩阵转换为C++中的数组运算,减少了Hilbert码计算过程中的嵌套循环及迭代处理,将算法复杂度降为O(n)。其次,采用位域共用体以数值计算替代了传统计算过程中的数值与字符串间类型转换,提高了Hilbert码生成算法的性能。最后,在C++环境下实现了Hilbert码快速生成算法的相关代码,并完成算法的正确性验证实验和性能对比实验。实验结果表明,本文提出的算法计算结果与二进制循环位算法的结果一致,在性能上本文算法与二进制循环位算法及空间层次分解算法相比有明显的优势。     

海量卫星重力梯度观测数据确定地球重力位模型的数值方法

基于空域最小二乘法,对卫星重力梯度数据确定地球重力场中的Cholesky分解法、预条件共轭梯度法以及OpenMP并行算法3种数值方法进行比较与分析。研究表明,在计算机硬件资源有限的情况下,传统的Cholesky分解法已经无法满足求解要求;预条件共轭梯度法的求解效率较之Cholesky分解法有改进,但其以损失小量精度为代价;OpenMP并行算法在不损失求解精度的条件下,可提高求解的效率。     

空间数据库电子接图表的设计与实现

目前,我国已建立多种基础空间数据库,但现有空间数据库管理系统中,地图制作、标准地图管理等仍需要采用标准分幅来满足统一管理的需要。如何更有效地管理海量分幅空间数据,并实现对其快速检索成了多尺度基础空间数据库建设亟需解决的问题之一。本文分析了电子接图表,实现了空间数据接图表的可视化,集成了现有的空间数据库管理与数据库可视化操作的功能;依据空间数据不同的比例尺类型、要素类型、几何类型,自动计算标准分幅编号、绘制分幅边界;提供空间数据库海量数据检索技术方法与参数传递方案、基于数据存储的逻辑结构设计数据检索方案,并总结出空间数据优化存储策略与高效管理方法。应用案例表明,空间数据库电子接图表能够提高分幅空间数据的可视化管理与检索效率,对涉及大规模空间数据库可视化管理和检索应用需求,有很好的理论和实际应用价值。     

GPU加速的改进PAM聚类算法研究与应用

空间聚类是空间数据挖掘的重要方法,而K-Medoids是一种常用的空间聚类算法。K-Medoids聚类算法存在初始点选择问题,而且计算复杂。为了提高算法的有效性和时间效率,本文结合模拟退火算法思想,改进了传统的K-Medoids算法PAM,提出一种基于GPU计算的并行模拟退火PAM算法。类比矩阵乘法运算,定义了一种新的矩阵计算方法,可以有效减少数据在GPU全局内存和共享内存之间的传输,提高了算法在GPU中的执行效率。利用模拟退火算法搜索聚类中心点,保证了聚类结果的全局最优性。基于不同的数据集,将串行和并行模拟退火PAM算法以及已有的遗传PAM算法进行比较,结果表明并行模拟退火PAM算法聚类结果正确,且时间效率高。最后,应用本文改进算法对贵州省安监系统的安全监管隐患数据进行聚类分析,发现了隐患聚集中心,相关结果对政府的决策具有一定的实际应用价值。     

多源海量统计遥感数据集成管理技术研究

统计遥感业务是国家统计局基于统计业务对空间信息的发展和应用需求,将GIS、RS和GPS空间信息技术全面应用于统计数据的获取、管理与分析中,从而提高统计效率和统计科技含量,构建新型国家统计业务体系。统计遥感业务数据具有多源、海量的特点,实现统计遥感数据的集成与管理是新型统计遥感业务成功运转的基础。针对统计遥感业务及数据应用需求,通过对各类空间数据集成与管理技术进行研究,提出在建立统计遥感空间数据库基础上,将影像以县级为单位进行拼接、然后压缩存储到统计遥感空间数据库,同时结合影像编目技术实现海量遥感影像的管理;提出将元数据管理和数据转换、数据直接访问以及数据互操作方式,实现多源统计遥感数据的集成与管理。通过多种方式,从应用层面较好地解决了海量、多源统计遥感数据的集成与管理,提升了统计遥感数据的应用范围。     

基于密度的线数据分组算法研究

目前,地理空间数据面临着由于数据量膨胀和计算量高速增长而引起算法效率低的问题,采用"分而治之"的数据分组策略提高运算效率已成为研究的热点。面向分布不均匀的线数据,本文提出了基于密度的线数据分组算法(简称LGAD)。首先,算法通过查找高密度区提取样本线段,保证了分组算法的起点落到高密区;其次,考虑线空间拓扑关系的复杂性,引用水平、垂直和夹角距离度量线段间距离,创建样本线段与其他线段的距离矩阵;最后,以距离矩阵和最优选择方法实现数据负载均衡分组。实验结果显示,对数据分组和分组后数据进行线段聚类的2个过程中,该算法体现了较好的时间优势,与串行计算相比,在分组数为2-12 时,平均比率达4.3,提高了应用的响应速度,具有较好的实际意义。     

一种异构多核架构快速查询多边形图层间空间关系的方法

目前,空间关系查询中常用的Plane Sweep 算法是一种串行方法,而关于多核CPU的并行查询算法,在面对海量数据查询时,由于CPU核心数及线程数量的限制,其难以满足查询效率需求。针对该问题,本文提出了一种全新的异构多核架构多边形图层间空间关系查询的并行算法。首先,利用STR 树索引过滤不相交的多边形;然后,对过滤后多边形的线段构建四叉树索引,利用CPU+GPU架构并行计算线段的相交以判断多边形环间的拓扑关系;再根据环间的拓扑关系计算多边形间的维度扩展九交模型(DE-9IM)参数值,据此确定多边形间的空间关系;最后,通过实验验证了该算法的准确性和高效性。实验表明,本算法能有效缩短大数据量的空间查询时间。在实验中逐渐增加目标数据集和源数据集多边形的数量,当两数据集都为50 000 个多边形时,以包含关系为例,相比于ArcGIS,本文提出的算法可达到2 倍的加速比。     

全空间下并行矢量空间分析研究综述与展望

新一代并行空间分析将面临空间大数据分析和实时空间分析服务的挑战。矢量空间计算作为GIS系统中的重要组成部分,在并行化算法设计中存在负载不均,并行扩展性差,IO性能低等技术瓶颈。本文首先从应用需求和技术发展的演变历史回顾了矢量空间分析算法发展过程;然后,从研究现状的角度详细阐述了并行矢量空间分析计算的研究成果,总结了并行空间分析算法的算法特征和技术瓶颈,对不同并行编程模型进行了对比,并提出了并行空间分析算法的研发流程;最后,从发展前景的角度预测了全空间信息系统中基于多粒度时空对象的空间数据模型和计算方法的发展趋势,提出了以内存计算等技术实现存算一体化的新型空间数据模型和分析方法的技术趋势。     

基于C-SOM和Spark的并行空间离群挖掘方法及应用

空间离群挖掘可以发现空间数据集中非空间属性值与邻域中其他空间对象明显不同的空间对象。随着空间数据量的快速增加,传统集中式处理模式面临单机性能瓶颈、难以扩展等问题,已逐渐不能满足应用需要。因此,本文根据Spark并行计算框架,充分利用Spark快速内存计算和扩展性的优势,提出了一种基于考虑约束条件的空间离群挖掘算法（C-SOM）和Spark的并行空间离群挖掘算法和原型系统。该并行算法以C-SOM为核心,并行地在多个计算节点对全局数据集和各局部数据集执行C-SOM算法,得到全局离群和局部离群。轻量级的原型系统基于Spark实现了该并行算法,采用Browser/Server架构,提供给用户可视化的操作界面,简洁实用。最后,通过福建省东南沿海土壤化学元素调查数据和人工合成数据的离群分析,验证了该并行算法和原型系统的合理性、有效性和高效性。     

一种基于信息网格的空间数据分解算法

针对空间数据库数据海量且分布的特点,为了能从这些空间数据中更加有效的收集信息和发现知识,介绍了基于信息网格的空间数据挖掘计算模型,在分析空间数据划分一般原则和方法的基础上,针对该计算模型给出了一个数据划分的初步算法,并通过模拟实验对算法的时间性能进行了评价与分析。