pGTIOL:GeoTIFF数据并行I/O库

在地理栅格并行计算处理中,数据I/O 已成为制约计算性能的主要瓶颈之一。本文针对该问题,首先分析广泛应用于GIS 栅格数据存储的GeoTIFF 格式,重点研究数据的2 种存储模式(即条带存储与块状存储),并根据这2 种存储方式,分别构建了栅格数据从逻辑结构向物理存储结构的映射模型。然后,针对地理空间并行计算的需要,提出了栅格数据的并行读写框架,并利用MPI 并行I/O 技术的文件视图方法,实现了GeoTIFF 数据并行I/O库(pGTIOL)。结果表明,对比开源栅格空间数据转换库(GDAL)的主从I/O 模式,本文提出的pGTIOL 准确读写数据,具有更高的性能。该库隐藏了底层并行I/O 的细节,提供简单易用的并行读写GeoTIFF 栅格数据的接口,支持多数据类型和多种空间分割,实现了对条带存储与块状存储数据的异步并行读写,从而满足动态负载均衡的需求。     

面向GeoGlobe的Oracle GeoRaster应用研究

GeoRaSter是Oracle公司最新推出的用于栅格数据组织与管理的技术模块,其底层数据模型和高层开发接口非常适合于海量栅格数据的管理、应用和共享.本文讨论了如何在“天地图”核心支撑软件——GeoGlobe中接入Oracle GeoRaster栅格数据源,设计了面向GeoGlobe的库表结构和集成框架,针对影像黑边和...     

基于ACE的海量三维空间数据通信研究

三维可视化已成GIS发展的潮流,这必然会导致空间数据量的激增,通过集群系统和并行数据库系统可以很方便地解决海量数据的存储管理问题。但是,在海量环境下,一般数据库管理系统提供的查询接口,仍然难以满足实时三维场景可视化的速度需求。因此研究C/S模式下海量三维空间数据的高效调度成为三维GIS发展亟须突破的难点。在数据库服务器端和客户端之间加上应用服务器端,提供数据缓存、预调度等功能,减少服务器端磁盘I/O所带来的时间消耗,可以明显加速数据调度。本文系统分析了这种客户端/应用服务器端/数据服务器端模式下三维空间数据通信的难点和主要设计挑战,并针对三维GIS的数据访问特征,设计了一套能满足三维GIS实时调度的通信应用层协议。以ACE中前摄器框架为基础,结合线程池技术提出分层策略,搭建了海量三维空间数据的通信架构,它是一种面向对象的构架,可以方便地进行功能的定制和扩展。     

基于MPI的大规模遥感影像金字塔并行构建方法

影像金字塔是实现影像数据多分辨率组织的重要方式,是提高影像可视化性能的有效手段。传统串行金字塔构建算法,对大规模影像数据的构建性能已无法满足遥感影像快速浏览的预处理需求。故此,其成为一个亟待解决的问题,而利用多核、多节点的高性能集群计算环境和并行机制是一个重要的技术途径。本文在共享外存的高性能集群环境下,提出使用消息传递接口(MPI)的金字塔并行构建算法,对构建遥感影像金字塔过程中的重采样与I/O 过程进行并行处理,大大缩短了遥感影像金字塔构建时间。实验结果表明:(1)该算法比传统串行构建方法的加速效果明显,对于单波段遥感影像,其加速效果可达到GDAL的5 倍以上,而对于多波段遥感影像,加速效果可达到GDAL的2 倍以上;(2)遥感影像数据量越大,并行构建算法加速效果越显著,对于大规模的遥感影像,本文提出的金字塔并行构建算法的速度可达到GDAL的10 倍左右。     

并行地理计算算法性能评测技术研究

从并行地理算法的正确性评测、性能评测、评测流程和评测工具实现等角度,研究了高性能集群环境下的评测技术。在正确性评测假设基础上,将评测用例在不同进程数环境下的计算结果与该算法在单进程环境下的运算结果逻辑求差得出相对误差,提出了问题规模计算方法。根据评测用例的问题规模确定评测用例的权重,提出了性能指标和评测流程,并通过评测工具自动获得同一个并行地理计算算法。在多个不同评测用例下的评测指标来衡量算法的计算误差与性能,形成评测报告。经实验验证,本文方法能较好地满足并行地理计算算法评测的需求,为并行空间分析算法性能优化提供技术保障。     

一种基于高性能GIS平台的直方图生成算法

提出了一种基于高性能GIS平台的直方图生成算法,该算法通过对原始栅格数据进行一定的预处理,减少了计算直方图时对原始栅格数据的访问量,并引入分辨率因子对算法进行优化,同时利用高性能GIS平台将算法并行化。为用户提供服务时,用户可以根据需求在客户端屏幕自由框选任意多边形区域并快速获取该区域的直方图。实验表明,用户选定区域内的栅格点数量达到10亿,可在0.5s内获取该区域的直方图结果,可以满足与用户实时交互的需求。     

栅格数据矢量化及其相关问题的解决方法

矢量结构和栅格结构是GIS的两种主要数据结构形式,而栅格数据不能满足GIS中进行空间分析的要求,因此栅格数据的矢量化在GIS中具有十分重要的意义。本文在总结前人算法的基础上,以拓扑关系的原理为指导,提出了改进的栅格结构数据矢量化方法,即根据4个相邻栅格的异同关系来判定交汇点是坐标点还是结点,并且在提取结点和坐标点过程中,同时提取水平和垂直的所有线段信息,以便快速、有效地实现栅格数据的矢量化。此外,还采用动态打断和粗网格等方法,解决了在栅格数据矢量化过程中,经常出现的诸如多边形自交、孤岛等问题。作者用VisualC⁺⁺语言实现了本文的算法,与ENVI矢量化结果相比,该方法的矢量化结果具有简单方便、编辑工作量小、实用性强等显著优点。因此,该改进方法更有利于遥感图像的信息提取及其与GIS技术的集成。     

大规模栅格数据集的瓦片金字塔快速构建方法

高分辨率影像数据获取技术获得突破后,大规模栅格数据集的快速可视化成为GIS领域内亟待解决的问题,高效瓦片金字塔构建是实现影像数据快速可视化的关键技术。本文对业界常用的数据集可视化方法、流程和相关技术进行了研究,并针对大规模栅格数据集文件数目庞大的特点,提出一种多层级自适应的瓦片生成方法,优化了可视化引擎,实现了大规模栅格数据集瓦片金字塔的快速构建,具有较高的通用性和稳定性。     

栅格成本距离计算的改进蚁群算法

栅格数据模型是地理信息科学领域的主要数据模型,成本距离分析是其重要的应用方向之一。但当栅格数据量较大时,传统的Dijkstra求解效率较低,因此本文提出了一种用改进蚁群算法来求解栅格成本距离的方法。首先,构建了适合人工智能算法的栅格数据模型及编码方法;然后,在此基础上初始化蚁群,采用状态概率选择机制计算相邻栅格单元之间距离成本,以及距离成本路径方向选择,同时利用改进的信息素更新机制加强蚁群之间信息交流,加快算法收敛速度;最后,引入了遗传算法的选择、交叉和变异等算子优化生产的成本距离的解,增加解的全局性。本文以北极地区的海冰密集度栅格数据为基础,求解北极地区适合航行路线的成本距离。实验表明,结合了蚁群算法和遗传算法优势的改进蚁群算法,能够快速有效地求解出基于栅格数据的成本距离。     

面向数据传输的地理栅格数据快速压缩方法

随着对地观测技术的高速发展,高分辨率地理栅格数据已被广泛应用于地貌、环境、水文等领域,传输与存储海量数据亟需通过数据压缩来解决有限信道容量的制约。本文分析了地理栅格数据特征,并基于数据保真性和压缩即时性原则,提出了融合转换压缩和编码压缩的地理栅格数据两阶段压缩方法,并从精度和效率2个视角构建了两阶段压缩方法的评价方法。利用不同大小的规则格网DEM数据,在集群系统上对两阶段压缩方法的数据保真性和压缩性能进行了测试。实验结果表明,本文构建的两阶段压缩方法在数值和地表形态上均有较好的精度,数据保真性高。同时,其压缩率一般在50%以上,解/压速率达到实时层次,能够显著地减少数据传输时间消耗,提高网络传输效率。两阶段压缩方法具有较好的普适性,可为高性能地学并行计算等领域提供技术支撑。     

基于栅格数据的最短距离快速求解方法

目前,学者们在点到目标物的最短路径方面研究的很多,但在点到目标物的最短距离方面研究的很少,基于栅格数据求解点到目标物的最短距离方面研究的就更少。基于栅格数据传统的全部点逐点计算比较求出最短距离的算法效率偏低,为找到高效的解决办法,快速地求出点到目标物的最短距离,本文利用Arc Engine和VS2010平台,对基于栅格数据求解点到目标物的最短距离问题,提出了独到的算法和实现方法。     

栅格地理计算并行算子对区域计算算法并行化的可用性分析——以多流向算法为例

栅格地理计算并行编程库的研发有助于实现对栅格地理计算算法的并行化。在现有的研究中,Qin 等(2014)设计并初步研发的栅格地理计算并行算子(PaRGO),在设计思路上能较好地隐藏与并行编程软硬件环境相关的复杂细节,实现栅格地理计算通用步骤的并行化,且较其他类似思路的编程库而言,PaRGO能兼容多种常用的并行计算平台,具有明显优势。但PaRGO目前在设计上仅直接支持本地、邻域及全局计算特点的栅格地理计算算法并行化,对于更为复杂的区域计算特点算法并行化的支持能力尚未探究。对此,本文选取栅格数字地形分析中具有区域计算特点、递归设计的多流向算法为算例,利用PaRGO进行并行化设计、实现及测试,以计算时间、相对加速比和相对并行效率为定量指标。通过可运行性和并行性能进行评价,结果表明:PaRGO虽然不能直接支持对递归的多流向算法进行并行化,但在根据多流向计算的原理将该递归算法转变为非递归的设计之后,可将算法由原区域计算改造为邻域迭代计算,就能利用PaRGO 实现并行化,并得到较好的并行效果。在集群环境下,MPI版本并行程序的并行效果优于MPI/OpenMP混合版本。     

Linux下一种多核网络服务器模型设计与实现

传统的基于Linux操作系统的网络服务器程序在高负载情况下不能充分利用多核服务器硬件资源,其原因主要在于没有找到一种高效的服务器编程解决方案.为了解决这一问题,在分析了线程池技术和linux 2.6内核下的I/O多路复用技术各自的优缺点的基础上,设计并实现了一种在多核服务器平台上结合线程池和I/O多路复用的高性能网络服务器编程模型.通过实验表明,新的编程模型相对于线程池模型和单纯的I/O多路复用模型,其任务平均响应时间只占其它两种模型的8%和29%,而其平均吞吐量则达到了其它两种模型的8.4倍和1.9倍.     

基于自定义RDD的海量遥感图像并行镶嵌方法

图像镶嵌是遥感图像处理中的重要内容,在跨区域遥感图像分析中发挥重要作用。为了解决传统遥感图像并行算法中存在的计算节点利用率低、频繁数据I/O等问题,本文根据Spark分布式内存计算框架,充分利用Spark利于迭代数据处理的优势,提出了一种基于Spark自定义RDD（弹性分布式数据集）的并行镶嵌方法。该方法首先在集群的多个节点上通过相位相关法执行图像重叠区域估计操作,从而提高了图像重叠区域估计的多节点并行计算;然后,通过重写Spark中RDD的compute和getPartitions方法,自定义针对遥感图像处理的RDD,并将图像镶嵌中的重叠区域估计、图像配准和图像融合3个关键步骤作为自定义RDD的Transformation类型的操作算子;最后,通过隐式转换创建自定义RDD,并调用自定义RDD的操作算子实现图像镶嵌的并行处理。实验结果表明,与传统基于MPI的并行镶嵌算法相比,该方法在保证图像镶嵌效果的基础上,能够有效提高大数据量的图像镶嵌效率。     

一种基于Harris角点检测的SVG转换可视化效果评价方法

SVG作为移动互联时代获得各种丰富图形信息的有效表达方法,已成为LBS中空间信息表达与描述的热点应用之一,但目前的研究大多没有考虑多源数据格式向SVG格式转换后的图像质量评价问题。针对多源空间数据向SVG格式转换方法和转换效果评价技术,本文设计了栅格数据和矢量数据向SVG格式转换的表达方法,分别利用直接载入栅格图像和编程实现矢量数据转换的方法实现了多源空间数据向SVG格式的有效转换;从定性与定量相结合的角度分析了转换前后的图像质量,设计了角点检测评价指标和流程,提出了基于Harris角点检测的SVG转换前后图形几何质量的评价方法。实验证明:SVG格式比较适用于位置服务中对空间数据尤其是矢量数据的表达,经过SVG转换后的图像,无论是栅格数据还是矢量数据都具有较高的图像质量,且栅格数据的转换效果相对略差于矢量数据;验证了一种基于SVG的移动位置空间服务信息表达和组织模式,对普及和强化SVG在位置服务系统中的应用具有一定的推动作用。     

基于ArcGIS镶嵌数据集的正射影像数据库构建方法初探

数字正射影像数据具有直观、信息量大、覆盖面广和经济、方便、获取快速等优点,是我国基础地理信息数据库的重要内容。本文讨论了基于ArcGIS镶嵌数据集栅格模型构建数字正射影像数据库的一些基本问题。首先对近年来的影像空间数据库技术进行了梳理,然后基于ArcGIS镶嵌数据集模型提出了数字正射影像数据库构建方法,其中对影像入库涉及的栅格数据存储模型、建库步骤、相关参数等问题进行了分析与探讨。最后,开展了海南省某测区小型正射影像数据库构建试验,通过试验证明了文中方法的可用性与可靠性。     

基于ORDBMS的GIS空间数据管理模式及其应用

从GIS系统中矢量数据与栅格数据优势互补、管理分离这一实际出发,分析了对象关系数据库(ORDB)的特点和适用性,提出了将矢量数据和栅格数据纳入对象关系数据库管理系统(ORDBMS)统一管理的基本模型和具体实现方法,并以湖南省基础地理数据为例,在国产地理信息系统软件ViewGIS中实现。     

一种面向栅格的空间-属性双重约束聚类方法

针对栅格数据,传统聚类方法大都基于专题属性进行聚类,分裂了栅格对象的空间特性与专题属性,而兼顾空间与专题属性的现有空间聚类方法又存在算法复杂、参数设置多等问题,因此本文提出了一种面向栅格的空间-属性双重约束聚类算法（A Raster-oriented Clustering Method with Space-Attribute Constraints, RoCMSAC）。RoCMSAC利用栅格数据空间邻域和空间连通特性,重新定义栅格簇的相似性度量准则,通过属性均质簇生成,空间相邻栅格簇合并和空间邻近栅格簇合并3个步骤对栅格数据进行空间-属性双重约束聚类。利用太平洋海域海表温度栅格数据对算法的可行性以及有效性进行验证,并与现有算法进行对比分析。通过实例验证与对比发现：① RoCMSAC方法能够保证栅格簇空间域的邻近性和属性域的均质性;② RoCMSAC方法可发现复杂形状的栅格簇,且算法时间复杂度低,需输入参数较少。     

局部型地形因子并行计算方法研究

 随着分析区域的扩展及需求精度的提高,数据-计算密集型地形分析亟需通过并行化来满足用户的时间响应需求。局部型地形因子是以一定半径的分析窗口(通常为3×3)计算且具有单元计算结果独立性的地形信息,是数字地形分析的基本参数。本文在分析局部型地形因子串行算法特征的基础上,以坡度算法为样本,对局部型地形因子的并行计算方法进行了深入研究。从数据并行的角度,对并行计算环境下的数据划分粒度、方式及结果融合策略进行了分析,构建了局部型地形因子的并行计算方法。利用SRTM陆地表面地形DEM数据,设计了坡度并行计算的实验以验证其方法的正确性和实用性。实验结果表明,本文提出的并行计算方法顾及了任务、数据及计算环境,可快速对局部型地形因子串行算法进行并行化改造,提高算法的执行效率,具有较好的并行性能。     

基于面向对象的GIS制图数据与建库数据一体化系统的设计与实现

针对数据生产、建库、使用过程中,制图数据与建库数据矛盾问题,以及各项数据的采集、编辑所具有的工序复杂,工作量大,数据冗余,人工交互多,人为数据错误的可能性大等特点,本文提出基于制图表达的一体化建库模式,通过面向对象技术开发了制图数据与建库数据一体化系统平台,实现数据一体化编辑和数据库一体化管理。