高性能集群式遥感数据并行处理系统及关键技术浅析

高性能集群并行处理技术已成为海量遥感数据快速处理的重要方法。本文给出了一套精简的遥感数据高性能集群处理系统的结构,阐述了系统的并行处理机制,并从遥感数据并行处理策略、作业与资源管理系统、可视化流程定制、高性能计算编程模型等多个方面对集群式遥感数据处理中的关键技术进行了分析与说明。该研究成果可为遥感处理专业人员和高性能集群系统的设计和开发人员提供一定的参考作用。     

PC集群环境下地图切片的并行计算方法

WebGIS的地图服务普遍采用地图数据切片的发布策略,切片数量随着地图渲染精细程度的加大以几何级数增长,以单机或单服务器的计算方式已经无法满足地图切片生成与更新的效率需求,而构建高性能计算机集群或采用高端分布式环境增加了计算的成本和复杂度。本文以相同条件进行PC集群环境下地图切片的并行计算实验与分析,随着计算节点的加入,并行计算执行时间相对于串行计算缩短了2-6倍。实验结果表明,PC集群环境下进行地图切片的并行计算,是一种成本相对较低、具有伸缩性和提升效率的解决方法。     

集群环境下网络空间信息服务高性能内存缓存方法

针对现有集群环境下网络空间信息服务性能优化策略的特点和弊端进行分析,提出集群环境下网络空间信息服务高性能内存缓存方法,重点研究网络空间信息服务高性能内存缓存体系结构、可扩展的高性能内存缓存控制设计、内存缓存工作流程,最终实现集群环境下基于内存缓存的网络空间信息服务的加速,解决传统WebGIS模型中存在的I/O瓶颈问题。最后,使用五个常用的网络空间信息服务类型对文中提出的方法进行实验,结果证明与传统的集群环境下网络空间信息服务相比,文中设计的网络空间信息服务高性能内存缓存方法能够有效地提升服务并发处理能力,具有良好的可扩展性。     

一种矢量瓦片地图离线部署与架构

时空数据规模的急剧增长、泛在时空信息服务模式的发展,对在线地图的表达和性能提出了更高要求。矢量瓦片具有数据量小、渲染速度快、交互性强的优势已经成为地图应用的首选。本文基于Mapbox矢量瓦片地图框架,以构建高性能技术框架和离线部署为目标,围绕矢量瓦片数据模型、瓦片渲染、应用路线、离线部署、集群架构设计方面展开,提出了一种支持离线、计算资源动态扩展的集群架构,并以空间地理数据对其进行了验证,为地理信息系统工程项目提供了高效可靠、成本低廉的矢量瓦片地图应用框架。     

集群环境下的影像并行匹配算法

遥感影像的快速匹配是3维信息实时获取的关键,而采用并行处理技术能够有效地解决匹配的速度问题.在对基于概率松弛的匹配算法进行分析的基础上,结合集群并行计算平台的特点,从负载平衡和数据通信两个方面出发,对并行匹配算法中的数据划分关键问题进行了深入讨论,提出一种负载平衡的并行匹配算法.实验结果证明,该算法能够达到计算节点的负载平衡,通信开销更小,适合在集群计算平台进行高性能影像匹配处理.     

基于GPGPU的并行影像匹配算法

提出一种基于GPGPU的CUDA架构快速影像匹配并行算法,它能够在SIMT模式下完成高性能并行计算。并行算法根据GPU的并行结构和硬件特点,采用执行配置技术、高速存储技术和全局存储技术三种加速技术,优化数据存储结构,提高数据访问效率。实验结果表明,并行算法充分利用GPU的并行处理能力,在处理1280×1024分辨率的8位灰度图像时可达到最高多处理器warp占有率,速度是基于CPU实现的7倍。CUDA在高运算强度数据处理中呈现出的实时处理能力和计算能力,为进一步加速影像匹配性能和GPU通用计算提供了新的方法和思路。     

多核并行计算在地形因子计算中的应用

为了满足地理国情监测中地形统计指标的高性能计算需求,该文提出在多核计算环境下将地形因子串行计算进行并行化的方法:通过对串行算法耗时部分进行线程级并行化改进,尽可能使计算过程中的线程负载均衡、计算任务的分配更加均匀,从而有效提升程序运算效率。试验对比了不同地形因子算子在计算栅格数据时串行方式和并行方式的执行效率差异,测试结果表明,并行算法在单机16核环境下的计算效率提升明显。     

大范围复杂三维场景并行绘制实时帧同步技术

针对复杂三维模型在实时绘制过程中的帧同步策略,该文提出改进。基于Windows集群开发了一种sort-first数据分布式体系结构的并行图形绘制系统;基于缓存交换技术提出一种多路并行的帧同步算法来提高集群的通信效率。在Windows集群系统上进行了验证实验,结果表明:(1)该算法较大程度地提高了集群的帧同步性能并缩短了同步重建时间;(2)集群并行系统有效地完成了大范围复杂三维GIS场景的流畅绘制显示。     

地图兴趣点分布式空间分析服务

针对互联网地图上海量兴趣点的应用分析需要提高效率的问题,该文利用MongoDB设计并搭建了一个分布式集群,对这些互联网兴趣点数据进行了储存;然后通过MapReduce机制改进并实现了适用于海量兴趣点数据的空间同位模式挖掘的Apriori算法和几个常用的空间分布特征值计算方法;最后依据开放地理信息系统协会的Web处理服务规范,设计并实现了一个互联网兴趣点分布式分析服务实验系统。该文所提出的改进后的算法在数据吞吐量和计算效率上有优越性,且计算效率比传统空间分析工具和传统Apriori算法有所提高。     

使用ContextCapture软件搭建倾斜摄影实景三维数据处理集群

为提升城市级大范围、高分辨率、高精度的海量倾斜摄影航测数据的建模效率,在分析当前建模软件、设备配置、集群架构的基础上,搭建倾斜摄影实景三维数据快速处理集群。该集群以ContextCapture为倾斜摄影数据处理软件,选择最优的计算节点设备配置,合理规划集群架构,布设万兆光纤,搭建100个计算节点的倾斜摄影实景三维数据网格处理集群;同时,研发集群监控平台,实时监控集群运行状态。通过济南市倾斜摄影实景三维数据的生产验证了集群的有效性。     

集群环境下并行GIS的体系结构设计

从高性能计算的角度,将集群系统和GIS有机结合,提出了一种采用层次结构设计思想的新的并行GIS体系结构设计方法,并对其中的任务管理、状态侦测、节点通信、GIS并行应用、编译系统和设计语言、安全机制和计算网格等关键技术做了进一步的讨论。     

近圆轨道卫星交叉点概略位置理论计算

轨道交叉点在标校卫星系统偏差参数、评估卫星载荷性能以及卫星精密定轨方面具有重要作用.针对现有轨道交叉点计算多采用搜索法结合多项式拟合方法,虽能够获取精确交叉点位置但较难分析交叉点整体分布特征的问题,该文从二体问题解析解出发,推导了交叉点概略位置理论计算公式,并分析了不同卫星轨道交叉点特性,提出了基于交叉点函数的计算方法,并用仿真试验数据对本文方法有效性进行了验证.该文方法为分析交叉点概略位置空间分布特性提供了一种思路.     

面向移动终端的专题热图实时绘制方法

针对传统基于Flash、Slivelight的移动终端热图绘制中存在的数据表现单一、绘制效率低、用户体验差等问题,以及HTML5的渲染效率差、数据复用率低等性能缺点,该文提出一种改进的HTML5专题热图实时绘制方法。引入四叉树结构进行专题数据组织,大幅度提升热图实时绘制中服务器端数据汇聚效率;采用网格化数据缓存调度方法,有效降低客户端与服务器端的数据请求,实现移动终端数据缓存最大限度的重复利用;以异步I/O消息机制,解决了热图绘制过程中的消息通道堵塞、客户端假死等问题。实验证明,该方法符合移动终端对专题热图的绘制要求,能够在提高数据利用率和系统整体性能的同时,降低移动终端的计算量,提高系统的运行效率。     

基于Netty的多源交通GNSS数据获取方法

随着城市化程度的不断深化,以大数据为基础的智慧交通在解决出行、管控交通、处理突发情况方面发挥着日益重要作用。GNSS技术具备定位精度高、自动化程度高与可测量点的三维位置与速率等特点,在智能交通中已成功应用。面对海量数据,为提升数据处理效率,优化数据传输框架,急需一种能够稳定传输多源高并发GNSS数据的方法,对数据进行稳定高效接收并进行多平台处理。基于Netty框架技术,对收集的GNSS数据进行收集、解析与转发,利用了Kafka集群实现数据的持久化,并针对具体的智能交通问题进行实践验证,将传统的简单数据处理统计转向智能辅助决策,全面提升了数据的获取与挖掘效率,为智能交通的数据资源整合奠定了基础。     

一种利用GPU加速的轨迹线热力图生成显示方法

为解决大数据量带来的热力图生成效率低的问题,引入基于图形处理器(graphic processing unit,GPU)的并行计算方法,并结合轨迹线模型,提出了一种利用GPU加速的轨迹线热力图生成显示方法。首先,针对轨迹点分布不均、邻域半径设置不合理等条件下产生的热力值不连续、不均等问题,采用轨迹线模型提升了热力图的效果。其次,针对大规模数据计算产生的热力图生成效率低的问题,通过GPU并行计算并配合内核函数参数调优、循环展开、像素缓冲对象显示等策略大幅提升算法计算效率。实验结果表明,所提方法较传统的基于中央处理器（central processing unit, CPU）的方法计算效率提升了5~30倍,且随着图像分辨率和轨迹数据的增加,算法加速比有逐步上升的趋势。     

MPI+OpenMP环境下的特征函数空间滤值并行化方法研究

针对现有的特征函数空间滤值方法存在算法复杂、计算效率低下、难以满足海量空间数据应用需求等问题,提出一种特征函数空间滤值并行化方法。基于主从模型(master/slave模型)和MPI+OpenMP混合编程模式,充分挖掘多核集群下计算机的性能,并在多核集群平台上与纯MPI算法进行了对比实验。结果表明,基于MPI+OpenMP的方法能够获得更高的并行加速比和计算效率。     

环境遥感云服务平台与高性能平台对比分析

云计算技术迅猛发展并不断开拓应用行业。为探索云计算技术在环境遥感领域的应用,基于虚拟化、大数据技术,研究环境遥感数据处理云服务平台架构、网络拓扑和服务功能,选取138景高分一号卫星数据进行产品生产实验,对比分析云服务平台和高性能平台在海量遥感数据处理中的效率。实验证明,在现有运行环境下,高性能平台数据处理效率是云服务平台的2. 5倍左右。总体而言,相对于云服务平台,专用的高性能计算处理平台在计算、通信和存储等方面具有一定优势,更适合海量环境遥感数据的高效处理和参数产品反演。     

基于Spark的矢量数据叠加赋值方法研究与实现

随着GIS数据获取与处理技术的迅速发展,以土地利用为代表的矢量空间数据规模不断膨胀,大量生产应用对图层间矢量数据叠加赋值操作性能提出了更高要求.本文提出了基于Apache Spark技术的矢量数据叠加赋值方法,通过扩展Spark技术的弹性分布式数据集,使其提高对于GIS空间数据的表达能力,通过空间索引的构建使得叠加计算可以在Spark集群各节点上分布式高效运行.通过十万、百万、千万3种量级的数据进行实验,结果表明,相比传统算法,基于Spark技术的矢量数据叠加赋值方法有30%—90%的性能提升.     

跨平台高性能地图渲染技术研究

随着终端设备及操作系统多样化的发展,对地图的渲染性能提出了更高的要求.传统的地图渲染引擎,依赖于相应操作系统图形库,存在不能跨操作系统、渲染性能低、渲染风格不一致等问题.针对上述问题,本文提出一种跨平台的高性能地图渲染技术,采用蒙板绘制技术、纹理字典文本绘制技术,基于OpenGL(open graphics library)图形库,实现了在不同的硬件平台、不同的操作系统下,统一的高性能地图渲染引擎,保持了在不同平台下一致的地图渲染风格,性能比通用地图(MapBox)渲染引擎性能提高了1.75倍,矢量切片渲染性能为MapBox的80倍.     

基于并行编程计算模型的索贝尔滤波技术

随着遥感影像数据量的骤增,单机环境下完成索贝尔边缘滤波运算所需的计算时间也剧增.根据遥感数据的分幅特征,结合MapReduce并行分布式计算模型,本文提出了一种将该运算迁徙到Hadoop集群环境中的方法,以完成海量影像数据的索贝尔滤波运算.实验结果表明集群运算能够显著缩短计算时间,并且该计算时间会随着集群节点数目的增加而趋于减少.