大规模栅格数据集的瓦片金字塔快速构建方法

高分辨率影像数据获取技术获得突破后,大规模栅格数据集的快速可视化成为GIS领域内亟待解决的问题,高效瓦片金字塔构建是实现影像数据快速可视化的关键技术。本文对业界常用的数据集可视化方法、流程和相关技术进行了研究,并针对大规模栅格数据集文件数目庞大的特点,提出一种多层级自适应的瓦片生成方法,优化了可视化引擎,实现了大规模栅格数据集瓦片金字塔的快速构建,具有较高的通用性和稳定性。     

基于MPI的大规模遥感影像金字塔并行构建方法

影像金字塔是实现影像数据多分辨率组织的重要方式,是提高影像可视化性能的有效手段。传统串行金字塔构建算法,对大规模影像数据的构建性能已无法满足遥感影像快速浏览的预处理需求。故此,其成为一个亟待解决的问题,而利用多核、多节点的高性能集群计算环境和并行机制是一个重要的技术途径。本文在共享外存的高性能集群环境下,提出使用消息传递接口(MPI)的金字塔并行构建算法,对构建遥感影像金字塔过程中的重采样与I/O 过程进行并行处理,大大缩短了遥感影像金字塔构建时间。实验结果表明:(1)该算法比传统串行构建方法的加速效果明显,对于单波段遥感影像,其加速效果可达到GDAL的5 倍以上,而对于多波段遥感影像,加速效果可达到GDAL的2 倍以上;(2)遥感影像数据量越大,并行构建算法加速效果越显著,对于大规模的遥感影像,本文提出的金字塔并行构建算法的速度可达到GDAL的10 倍左右。     

一种大文件多版本遥感影像数据组织管理方法

近年来,遥感技术的飞速发展使得影像数据的使用也越来越广泛和深入,而影像分辨率的增加,使得数据量急剧增长,对数据的存储和管理提出了很高的要求。针对传统遥感影像数据组织存储的不足,本文提出了一种大文件金字塔数据存储结构,用来高效存储管理影像数据;同时针对多时相遥感影像数据,提出了基于版本机制的影像数据管理模式。实验表明这种方法具有更高的存储检索效率。     

矢量瓦片并行构建与分布式存储模型研究

矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数,将原始矢量数据GeoJson转换成mvt瓦片集;对于生成的矢量瓦片集,本文基于分布式内存文件系统Alluxio设计一个瓦片存储模型-VectorTileStore,模型以键值对进行数据存储,瓦片元数据占据前八个键值对,单个瓦片占据一个键值对,在数据写入的同时,基于键构建一个哈希索引,用于快速访问,模型兼容海量瓦片的组织存储,具有很强的扩展性。通过实验结果表明,本文提出的矢量瓦片并行构建算法较单机构建算法运行时间平均减少49.6%,分布式存储模型VectorTileStore较传统方案更适合海量矢量瓦片存储,存取时间效率更高。     

一种与地图服务结合的栅格瓦片计算模型

随着遥感影像数据的快速增长,对于栅格数据高效的信息处理和价值挖掘方式提出了更大的挑战,传统地图服务聚焦于内容的共享与可视化,缺乏对影像实时分析处理功能。本研究以地图服务的形式实现了对栅格瓦片数据实时分析处理能力,将云优化的GeoTIFF（Cloud Optimized GeoTIFF,COG）作为数据组织方式,设计了分布式协同预取策略,实现了栅格瓦片数据的冷热加载,优化了从云端读取影像数据的效率。在栅格瓦片数据高效加载的基础下,提出了一种基于表达式的栅格瓦片处理模型,通过对表达式转换建模为计算工作流,在地图服务的请求中实现对栅格瓦片的实时处理,对存储在云端的海量遥感数据进行快速分析,实现原始数据到数据产品的直接可视化转换。针对全量数据参与的场景,使用合适的重采样数据进行简化计算,以满足地图服务的实时性。使用了NDVI、地物分类、植被覆盖度三类不同复杂度模型,在地图服务中对Landsat 8影像进行了实时计算分析。实验结果表明,该处理模型能对栅格瓦片进行有效分析,且能进行分布式扩展,在高并发场景下能够提供稳定的地图服务能力,适应各层级尺度的计算,对未来地图服务的发展提供了一种新思路。     

基于混合瓦片的海量DEM/DOM数据高效存储管理方法——以应急救灾数据库为例

针对传统DEM/DOM数据存储管理采用同一瓦片剖分导致大量DEM小文件入库效率极低的问题,在传统地形金字塔的数学基础上,建立DEM/DOM混合瓦片的金字塔模型。该模型考虑相同空间范围内DEM瓦片文件远小于DOM瓦片文件大小的数据特点,通过为DEM和DOM划分不同的瓦片范围,平衡瓦片文件大小;将空间相关的DEM瓦片打包,以减少文件数量,提高入库效率;设计了瓦片ID的编码方式,隐式存储非均衡瓦片范围的DEM瓦片和DOM瓦片的映射关系,支持无缝调度和浏览。以分布式数据库MongoDB为平台进行实验,验证了本文方法的可行性和有效性。     

遥感大数据实时渲染与交互可视化研究

数据可视化是遥感应用的重要服务出口。针对静态的预生成瓦片地图难以满足数据查看、地图配置、空间分析等专业应用问题,本文提出了一套面向遥感大数据的实时渲染与交互可视化的解决方案。在渲染节点构建影像的渲染瓦片结构,以提高数据的读取速度;在可视化服务上,提出“数据-计算”相一致的负载均衡策略,优化地图的渲染效率;在可视化服务方面,设计交互的地图服务接口。与传统技术的对比分析表明,该解决方案不但实现了遥感大数据的实时渲染与交互可视化,并且达到了与预生成瓦片地图服务相当的服务性能。基于这一解决方案,研发了遥感大数据的动态可视化原型,并在影像数据实时查看、可视化计算、可视化分析等方面开展了示范应用。     

基于TileStache的多源投影矢量数据瓦片生成技术研究

瓦片技术的出现改变了传统Web GIS的服务架构,提高了地图数据请求响应的效率。针对多种地图投影类型或地理坐标的矢量数据在瓦片划分过程中遇到的问题,本文基于OGR地理数据模型,设计了多投影数据转换Python模块,扩展至开源应用程序Tile Stache,得到适用于多源投影矢量地理数据的瓦片生成工具OTile Tool;从而实现矢量地理数据瓦片的快速生成,为网络地理信息系统提供了表达地理信息的Geo JSON格式瓦片数据。     

异构GIS瓦片地图转换共享模式研究

瓦片地图技术是WebGIS中的关键技术,不同GIS平台由于自身的特点其瓦片地图数据格式各异,这给地图数据共享带来了巨大的困难.本文通过对异构GIS平台瓦片地图数据和瓦片数据国际标准的研究,比较了不同平台瓦片数据与标准瓦片数据的联系与区别,在此基础上探索了适用于不同平台的瓦片数据转换共享方法,旨在提高瓦片地图数据的重用性,减少重复生产过程.研究结果表明本文的研究成果为瓦片地图相互转换提供了一种可行有效的解决方法。     

基于改进DeepLabv3+孪生网络的遥感影像变化检测方法

传统遥感影像变化检测方法依赖人工构建特征,算法设计复杂且精度不高;而将2幅不同时相影像叠加后输入神经网络的遥感影像变化检测方法会造成不同时相的特征相互影响,难以保持原始影像的高维特征,且模型鲁棒性较差。因此,本文提出一种基于改进DeepLabv3+孪生网络的遥感影像变化检测方法,以经典DeepLabv3+网络的编解码结构为基础对网络进行改进：① 在编码阶段利用共享权值的孪生网络提取特征,通过2个输入端分别接收2幅遥感影像,以保留不同时相影像的高维特征;② 在特征融合中用密集空洞空间金字塔池化模型代替空洞空间金字塔池化模型,通过密集连接的方式结合每个空洞卷积的输出,以提高对不同尺度目标分割的精度;③ 在解码阶段中针对不同层级特征图信息差异较大,难以融合的问题,引入基于注意力机制的特征对齐模型,引导不同层级的特征对齐并强化学习重要特征,以提升模型的鲁棒性。应用开源数据集CDD验证本文方法的有效性,并与UNet-EF、FC-Siam-conc、Siam-DeepLabv3+和N-Siam-DeepLabv3+网络对比试验。试验结果表明,本文方法在精确率、召回率、F1值和总体精度上达到87.3%、90.2%、88.4%、96.4%,均高于UNet-EF、FC-Siam-conc、Siam-DeepLabv3+网络和N-Siam-DeepLabv3+网络,检测结果较为完整,对边界的检测也更为平滑,且对尺度变化具有更高的鲁棒性。     

面向多源遥感影像数据的溯源模型研究

遥感卫星技术的快速发展推动了多层次、多角度、全方位、全天候的对地观测，遥感影像数据极大丰富了起来，已广泛应用于众多领域。然而，影像数据时空分辨率不一、质量参差不齐，从原始遥感数据到数据产品的处理算法多样、业务流程复杂，导致遥感数据处理结果的质量追溯较为困难。针对此，本文对多源遥感影像数据溯源信息模型进行研究，根据遥感影像的分发、处理等特点，构建了遥感影像元数据溯源信息概念模型，图谱化表示遥感影像衍生过程中的事件、实体、关系和属性信息；为了提高遥感影像溯源信息的互操作能力，对W3C（万维网联盟）PROV溯源模型进行了继承与扩展，构建了溯源信息概念模型与W3C PROV溯源模型的映射框架，实现了溯源信息的表达；提出了遥感影像元数据模型扩展方法，以支持溯源信息的嵌入。本研究丰富了遥感影像元数据的溯源信息，支持用户对遥感数据产品追踪溯源，评估其可用性和可靠性；同时，提出了基于溯源信息的遥感数据查询优化方法，提高了数据查询效率。     

网络环境下的遥感影像金字塔纹理压缩算法与实验

 建立不同分辨率的遥感影像金字塔模型是现阶段虚拟地球平台的主要技术手段,遥感影像数据的高效压缩是模型应用的基础。论文在分析多种图像压缩技术的基础上,提出以小波变换的JPEG2000标准来压缩网络环境中遥感影像金字塔的纹理瓦片数据。首先,介绍了小波变换的JPEG2000标准的基本原理和EBCOT算法特点,然后,结合实例实现了网络环境中遥感影像金字塔纹理压缩/解压缩的具体过程,对4幅影像图像进行5级离散小波变换,分别对在1024×1024、512×512、256×256、128×128、64×64不同分块大小和1∶15、1∶30、1∶60不同压缩倍率情况下进行图像压缩和重构耗时实验,通过改变分块大小参数和压缩倍率,对压缩性能进行了对比分析,最后,从主观视觉质量和客观辐射质量,对JPEG2000压缩、DXT压缩和JPEG压缩几种方法的压缩图像进行了评价与对比分析。实验结果表明,小波变换的JPEG2000具有高质量、高压缩率、良好的抗误码能力等特性,重构图像的视觉质量与原始图像相比人眼看不出失真,而峰值信噪比较好,是一种简单有效、易于快速实现的压缩方法,更适合于网络环境下空间遥感图像数据的近无损实时压缩。     

遥感数据的高斯金字塔尺度上推方法研究

尺度转换是遥感信息科学领域的研究热点,其传统研究方法大多局限于统计模型,对数据的空间结构信息考虑较少,很难满足遥感数据的多尺度表达要求。基于此,针对遥感数据的尺度不一致问题,本文提出了一种利用高斯金字塔的图像模糊特性进行遥感数据尺度上推的方法,在对金字塔每一层的数据高斯模糊的基础上,通过多次连续的降采样,得到一系列不同尺度的数据,从而满足实际应用的空间分辨率要求。为了验证本文所提方法的有效性,本文选择Landsat7 ETM影像和ASTER GDEM为研究数据进行尺度上推,并与传统的最邻近、双线性以及立方卷积等方法进行了实验对比,采用均值、方差、均方根误差、平均绝对误差等评价指标,以及相同分辨率的ASTER GDEM和SRTM DEM的等高线套合结果来衡量高斯金字塔方法的性能。实验结果表明,本文使用的高斯金字塔尺度上推方法能够有效地实现连续遥感数据的尺度转换,在保持遥感数据局部细节特征的基础上,较好地保持了原始遥感数据的信息量以及空间结构特征。     

矢量瓦片地图线化简算法研究

线状要素化简对提高矢量瓦片地图服务过程中数据传输效率和可视化表达效果至关重要。常见经典化简算法大多不考虑化简前后曲线空间关系的一致性保持,导致易发生化简结果尖锐化、局部极值点缺失和产生相交等异常问题,如果考虑化简前后空间关系的一致性,则影响化简效率。鉴于此,结合矢量瓦片地图服务应用需求,本文提出一种改进的Visvalingam算法,采用最小堆技术解决了最小权重值查找效率低下问题,利用线自相交拓扑关系判断策略,从全局考虑线上其它点对当前点的影响,解决了线化简前后拓扑关系的一致性保持问题。将改进的算法与原始算法在拓扑关系、几何特征、位置精度和化简效率等方面进行实验对比分析,结果表明改进算法可顾及线状要素的拓扑关系,保证化简前后线状要素的整体形态及其拓扑关系不变,能够更高效地应用于矢量瓦片地图在线服务中。     

瓦片数据版权保护方法及应用研究

 随着"天地图"等网站的建设与不断发展,地理信息资源的共建共享得到了积极推动。然而,网络环境下瓦片数据非法下载、违法使用等安全问题日益严重和突出,如何保护网络环境下瓦片数据版权是当前迫切需要解决的问题。为了节省存储空间,海量瓦片数据存储方式往往采用索引机制,这种存储机制与常见的图像、栅格地图等数据对水印技术的要求不同。本文首先着重分析了采用索引机制存储的瓦片数据特征及其对水印技术的要求;在水印信息生成方面,采用了m序列生成无意义水印信息,而在水印嵌入方面,提出了映射机制的瓦片数据数字水印嵌入算法,采用红色和绿色通道生成的映射函数,将水印信息嵌入到蓝色通道中,其中水印检测为水印嵌入的逆过程;最后,实现了水印技术的瓦片数据实时版权保护系统,并通过了实例验证。     

基于MapReduce的多机并行DP算法与实验分析

随着网络地图不断发展,个性化网络地图也得到快速发展。个性化网络地图需要以矢量数据为数据基础,以满足人们对地图色彩、符号等个性化要求,所以需要实时、快速进行大量数据化简。本文以经典Douglas-Peucker算法作为曲线化简算法,利用开源云计算平台Hadoop建立多机协作的曲线并行化简服务框架,设计和实现了多机并行Douglas-Peucker算法,并在集群上进行实验分析,验证算法的效率和适用性。算法核心是设计数据的逻辑分片,利用MapReduce计算原理,将分片分配到集群中,实现并行运算。实验分别分为两个方面:(1)比较在固定阈值不同数据量情况下,传统DP算法与多机并行DP算法效率;(2)比较在相同数据量不同阈值情况下,传统DP算法与多机并行DP算法效率。实验表明,在大数据量和高复杂度情况下,多机并行DP算法的效率更高。     

基于用户历史瓦片浏览记录的兴趣点智能搜索方法优化研究

在网上各种信息呈现爆炸式增长的背景下,传统方法往往难以顾及用户兴趣,而导致查询无法体现个性化。针对这一问题提出一种基于用户历史瓦片浏览记录的兴趣点智能搜索方法。首先对智慧城市平台下的用户历史瓦片浏览记录数据进行分析,并以热力图可视化形式展现出用户关注的热点区域,得出空间热度;然后根据属性查询中加入空间热度影响因子来影响兴趣点搜索结果,使搜索结果更加符合用户搜索意图,针对热点区域给不同用户以相应服务;以滕州市兴趣点为实验数据,使用Elasticsearch构建索引数据库,采用Web前端技术搭建搜索框架,经过实验对比分析发现,该方法能够有效地提高搜索的查准率,并且可随着数据量的丰富变得更加智能化。     

基于中间件的瓦片地图服务设计与实现

为了对WebGIS遗留系统进行平滑升级,提高传统WebGIS服务器的响应速度和改善用户体验,设计并实现了一个瓦片地图服务中间件(Tile Map Service,TMS,又译为缓存服务)。通过分析其工作原理和体系结构,从瓦片空间索引、瓦片切图策略及系统部署等三个方面,给出了优化对策,并与传统WMS进行了性能对比。实验测试数据采用世界地图的第8缩放级别,在该缩放级别下地图瓦片总数为32768个,随机生成21000个包含3×3个瓦片的地图请求窗口,将随机生成的测试数据分成20组,每组依次包含100-2000个请求窗口。实验分别采用WMS请求和TMS请求两种请求方式,其中,WMS请求直接向GeoServer发送WMS数据请求,TMS请求采用多线程同时向瓦片地图服务中间件发送9个WMS瓦片请求。实验结果表明,该瓦片地图服务中间件比WMS的平均响应时间减少约46%,并具有很高的瓦片动态切图效率,对提高传统WebGIS的响应速度和平滑升级现有遗留系统具有重要的应用价值。     

基于深度学习的遥感影像目标自动提取技术研究

为研究重要目标信息的自动化快速提取,本文基于PyTorch、CUDA等环境并在GPU运行下,利用CycleGAN算法进行深度学习的模型训练.通过GeoServer对谷歌影像进行地图切片等处理,制作上海市浦东新区的船舶、机场、岸线的训练数据集.模型训练后其模型测试的结果实现了基于高分辨率遥感影像的目标信息自动化提取的科学目标.比较目标地物如船舶、机场、岸线等的信息提取效果,结果表明3种瓦片等级尤其17级瓦片下进行的多种目标信息自动化提取效果均较好,且在地物目标监测及军事应用方面具有重要意义.     

高分辨率影像分割的分形网络演化改进方法

分形网络演化是针对高分辨遥感影像的高精度分割方法。它是以像元自下而上进行地物域合并,直至满足区域对象间异质性值大于预设阈值,停止区域合并得到最终分割结果。当对大数据量遥感影像进行分割时,形成初始区域对象的速度较慢,并且数量较多,导致分割时间长,有待在整体分割效率上进一步提高。一种有效的改进措施是采用某种分割方法,快速生成初始区域对象,然后再以初始分割结果区域对象进行区域合并。本文提出一种自动种子点的并行区域生长分割方法,用于快速生成初始区域对象;提出均匀数据划分的并行区域生长策略及消除数据划分线两侧的区域对象方法;采用OpenMP并行技术实现并行区域生长过程。分割效果对比和效率分析结果表明,本文提出的初始分割方法效率较高,并且分割结果可重现,从可信度、通用性角度来看,具有较高的实用价值。