一种大规模空间数据流式并行处理方法研究

针对空间数据的读写(I/O)时间占比过高问题,文章提出一种流式并行化方法:通过将空间计算过程与数据I/O过程相重叠,使传统并行空间计算方法中的性能提升瓶颈得到显著缓解;并且,方法所采用的数据分片策略,能够使数据单次I/O所产生的高内存使用率得到降低,进一步提高了具体地学算法的适用性。最后以地理国情普查基本统计分析中地表面积计算为例进行验证,结果表明:该算法的计算效率与内存使用率相对于直接并行方法均获得明显改善,且空间数据流式并行处理方法与具体地学算法耦合度低。该方法已成功应用于多个其他统计分析算法中。     

大数据时代的地理国情统计分析

统计分析是实现地理国情数据向地理国情信息转换的重要手段，可以从不同维度反映资源、环境、生态、经济等要素的内在空间特性及其相互作用。针对大数据统计分析面临的高效管理、高强度计算和深度服务需求，提出了地理国情大数据统计分析的技术框架，并从大数据存储与融合、统计计算关键技术、服务建模与应用3个维度探讨了地理国情统计分析的核心流程。该研究成果将有助于提升地理国情监测和统计分析在自然资源监管、生态保护修复等领域中的应用水平，推动测绘地理信息产业的转型升级。     

多核处理器的机载激光雷达点云并行三角网渐进加密滤波方法

滤波是机载LiDAR点云数据处理的关键步骤之一,点云数据的海量化特性使得一般的串行化滤波处理方法无法满足快速成图的应用需求。提出一种基于多核计算技术的并行三角网渐进加密滤波方法,将串行方法中最耗时的三角网构建与脚点判别过程进行了并行化改造。三角网构建算法的并行化基于分治法实现,脚点判别算法的并行化采用一种随机分配策略将三角网划分为多个离散分布的三角形子集合来实现负载均衡。并行滤波方法在8核环境下多次渐进加密的实际加速比达到3.1左右。试验证明,该方法可以充分发挥多核计算优势,并且对不同分布形态点云数据具有良好的适应性。     

基于ISAPI技术的栅格数据瓦片服务研究

在分析Google Maps瓦片式服务模型的基础上,提出可扩展性的数据服务方案.以ISAPI技术为通讯手段,设计并实现了高性能的栅格数据瓦片服务系统.从系统的数据存储设计、Web服务架构、应用服务模块与服务接口设计等方面进行论述,并给出系统性能测试与相关的服务应用.     

图划分支持下的大规模点要素并行缓冲分析方法

缓冲分析是解决邻近度问题的基础工具,由于算法本身包含大量的复杂运算,处理效率亟待优化。针对大规模点要素的缓冲分析,引入图表达建立了面向数据和分析过程的空间计算域,通过图划分实现了任务的均衡分割。图式化的空间计算域首先从图节点和图边两个角度定义了点要素及其空间关系的处理函数,然后对相应的时间复杂度进行拟合,获取了图节点和图边的计算权重,最后利用图划分方法实现了缓冲分析的均衡分割,从而构建与计算资源相匹配的并行任务。实验结果表明,基于图划分实现的并行缓冲分析方法在负载均衡性和整体性能方面优于主流的四叉树和规则格网划分方法,可为大规模矢量数据的空间分析优化提供参考。     

地理国情大数据基本统计的多进程并行计算

地理国情监测数据具有精度高、数据量大等特性,随着新型硬件构架(单机多核、集群等)计算机资源能力的不断升级,传统的数据处理技术和串行计算技术难以满足高精细化地理国情大数据处理的需求。对此,本文提出了一种基于TPL和管道技术的多进程并行计算方法。通过实例验证,在同一台计算机上该方法比串行方法的计算效率提高了12倍;并且在此基础上,实现了计算节点的负载均衡及可扩展,满足了多核应用,有效地提高了地理国情监测大数据处理的实际效率。     

多核并行计算在地形因子计算中的应用

为了满足地理国情监测中地形统计指标的高性能计算需求,该文提出在多核计算环境下将地形因子串行计算进行并行化的方法:通过对串行算法耗时部分进行线程级并行化改进,尽可能使计算过程中的线程负载均衡、计算任务的分配更加均匀,从而有效提升程序运算效率。试验对比了不同地形因子算子在计算栅格数据时串行方式和并行方式的执行效率差异,测试结果表明,并行算法在单机16核环境下的计算效率提升明显。     

基于MongoDB的地名信息管理

地名数据具有数据量大,数据结构复杂,查询方式多样等一系列特征。传统的关系数据库在存储地名信息数据时,往往需要预先定义数据表结构,从而难以支持无模式化存储以支持多样化地名标注。此外,多样化的地理查询接口需求也难以得到支持。提出一种基于非关系型数据库MongoDB的地名数据存储管理方式,可同时满足地名存储各种需求。各种查询方式,包括名称查询,空间邻近查询,空间范围查询等均能得到有效的支持。     

基于北京二号与地理国情数据的林地提取

由于地理国情林地数据不包含实地面积小于400 m²的树木或四旁单排林,若仅利用地理国情的林地数据统计区域森林覆盖率,将对四旁树面积较大地区的林地统计结果产生较大误差。为提取区域内准确的林地覆盖与空间分布状况,本文借助地理国情地表覆盖数据,提出了一种基于北京二号高分辨率遥感影像的林地提取方法。首先,根据遥感影像光谱特征,将研究区按植被、道路、铁路、建筑用地进行地类划分,并基于遥感影像进行各地类的样本提取,通过可分离检验的样本利用最大似然分类提取研究区内植被覆盖范围;然后,借助地理国情地表覆盖数据,使用叠置分析剔除误分、错分地类,得到区域林地的空间分布。试验结果表明：(1)研究区内林地覆盖率为20.3%,尚未满足北京新一轮林地规划需求;(2)地理国情地表覆盖数据内林地面积占提取林地总面积的54.03%,说明在部分地区使用本文方法对地理国情林地数据进行补充是有必要的。通过将试验结果与遥感影像进行目视比对并结合外业调查结果发现,提取的林地空间分布情况与实际分布基本相符。本文为地理国情的应用提供了一种新方法,研究结果可辅助区域的绿色发展规划,有助于构建科学的生态空间格局。