地理栅格数据并行I/O的研究与实现

随着遥感和测绘技术的进步,日益增大的数据量和高效的数据I/O矛盾逐渐凸显。本文针对这个问题提出了地理栅格数据的一种并行I/O模式,并对该I/O模式进行了相应的编程实现。通过设计实验验证其正确性和效率,我们发现相比传统的栅格数据I/O库(GDAL库)而言,采用本文提出的并行I/O模式对应的I/O库将能同时保证结果的正确性和高效性。     

栅格地理计算并行算子对区域计算算法并行化的可用性分析——以多流向算法为例

栅格地理计算并行编程库的研发有助于实现对栅格地理计算算法的并行化。在现有的研究中,Qin 等(2014)设计并初步研发的栅格地理计算并行算子(PaRGO),在设计思路上能较好地隐藏与并行编程软硬件环境相关的复杂细节,实现栅格地理计算通用步骤的并行化,且较其他类似思路的编程库而言,PaRGO能兼容多种常用的并行计算平台,具有明显优势。但PaRGO目前在设计上仅直接支持本地、邻域及全局计算特点的栅格地理计算算法并行化,对于更为复杂的区域计算特点算法并行化的支持能力尚未探究。对此,本文选取栅格数字地形分析中具有区域计算特点、递归设计的多流向算法为算例,利用PaRGO进行并行化设计、实现及测试,以计算时间、相对加速比和相对并行效率为定量指标。通过可运行性和并行性能进行评价,结果表明:PaRGO虽然不能直接支持对递归的多流向算法进行并行化,但在根据多流向计算的原理将该递归算法转变为非递归的设计之后,可将算法由原区域计算改造为邻域迭代计算,就能利用PaRGO 实现并行化,并得到较好的并行效果。在集群环境下,MPI版本并行程序的并行效果优于MPI/OpenMP混合版本。     

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

一种与地图服务结合的栅格瓦片计算模型

随着遥感影像数据的快速增长,对于栅格数据高效的信息处理和价值挖掘方式提出了更大的挑战,传统地图服务聚焦于内容的共享与可视化,缺乏对影像实时分析处理功能。本研究以地图服务的形式实现了对栅格瓦片数据实时分析处理能力,将云优化的GeoTIFF（Cloud Optimized GeoTIFF,COG）作为数据组织方式,设计了分布式协同预取策略,实现了栅格瓦片数据的冷热加载,优化了从云端读取影像数据的效率。在栅格瓦片数据高效加载的基础下,提出了一种基于表达式的栅格瓦片处理模型,通过对表达式转换建模为计算工作流,在地图服务的请求中实现对栅格瓦片的实时处理,对存储在云端的海量遥感数据进行快速分析,实现原始数据到数据产品的直接可视化转换。针对全量数据参与的场景,使用合适的重采样数据进行简化计算,以满足地图服务的实时性。使用了NDVI、地物分类、植被覆盖度三类不同复杂度模型,在地图服务中对Landsat 8影像进行了实时计算分析。实验结果表明,该处理模型能对栅格瓦片进行有效分析,且能进行分布式扩展,在高并发场景下能够提供稳定的地图服务能力,适应各层级尺度的计算,对未来地图服务的发展提供了一种新思路。     

矢量数据属性信息无损栅格化的实现方法——以全国1:25万土地覆被数据为例

矢量和栅格是GIS应用中两种基本的地学数据格式。与矢量数据相比,栅格数据利于空间建模和空间分析,且是空间尺度分析应用中常用的数据格式。一般来讲,较大尺度的矢量数据,涉及到保密性和知识产权的问题,若将这类矢量数据栅格化后,所得栅格数据由于其空间坐标精度相对降低而更易于实现数据共享。随着地学信息收集技术的不断发展,栅格数据正逐渐成为地学应用主要的数据格式。然而,传统的栅格化是一个伴随有属性信息损失的过程,主要原因在于一个栅格单元区域内存在混合类型。针对现阶段栅格化过程中的这个问题,本文以2005年全国1:25万土地覆被矢量数据为例,提出了一种在ArcGIS软件环境下,依据"在一个单元格网中,一种土地覆被类型表达为一个GRID图层"的原则,结合POLYGRID命令及其{LOOKUP_TABLE} INFO文件进行土地覆被矢量数据无属性信息损失栅格化的方法。该方法可为相关研究人员在今后处理和分析地理空间数据的工作提供新的思路,以及为空间尺度的应用研究提供有价值的参考。     

面向数据传输的地理栅格数据快速压缩方法

随着对地观测技术的高速发展,高分辨率地理栅格数据已被广泛应用于地貌、环境、水文等领域,传输与存储海量数据亟需通过数据压缩来解决有限信道容量的制约。本文分析了地理栅格数据特征,并基于数据保真性和压缩即时性原则,提出了融合转换压缩和编码压缩的地理栅格数据两阶段压缩方法,并从精度和效率2个视角构建了两阶段压缩方法的评价方法。利用不同大小的规则格网DEM数据,在集群系统上对两阶段压缩方法的数据保真性和压缩性能进行了测试。实验结果表明,本文构建的两阶段压缩方法在数值和地表形态上均有较好的精度,数据保真性高。同时,其压缩率一般在50%以上,解/压速率达到实时层次,能够显著地减少数据传输时间消耗,提高网络传输效率。两阶段压缩方法具有较好的普适性,可为高性能地学并行计算等领域提供技术支撑。     

分布式栅格空间数据库引擎设计与实现

栅格空间数据库引擎RasSDE是实现海量栅格数据的分布式查询和高效管理的关键。提出一种面向对象的栅格空间数据组织模型,设计了分布式四层RasSDE的体系结构,分析了数据库服务层、应用接口层、应用层等相关技术,讨论了RasSDE核心组件OMSAC开放多数据源空间数据访问组件的架构,给出了基于RasSDE的中国海监飞机扫描仪图像处理及三维仿真平台应用系统实例,系统实现面向对象的栅格空间数据组织、统一的海量栅格空间数据管理以及分布式栅格空间数据计算等主要目标。对RasSDE和ArcSDE的磁盘读写、网络传输综合性能对比试验表明,RasSDE的栅格数据网络传输效率比ArcSDE的要高,可以满足海量栅格空间数据传输的要求。     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

基于ArcGIS镶嵌数据集的正射影像数据库构建方法初探

数字正射影像数据具有直观、信息量大、覆盖面广和经济、方便、获取快速等优点,是我国基础地理信息数据库的重要内容。本文讨论了基于ArcGIS镶嵌数据集栅格模型构建数字正射影像数据库的一些基本问题。首先对近年来的影像空间数据库技术进行了梳理,然后基于ArcGIS镶嵌数据集模型提出了数字正射影像数据库构建方法,其中对影像入库涉及的栅格数据存储模型、建库步骤、相关参数等问题进行了分析与探讨。最后,开展了海南省某测区小型正射影像数据库构建试验,通过试验证明了文中方法的可用性与可靠性。     

基于Hadoop的地理国情监测高性能计算分析研究

随着常态化地理国情监测在我国的全面开展,地理国情时空数据规模不断增大,使得对地理国情数据综合分析和信息挖掘的要求越来越高。本文针对传统空间数据存储和分析平台存在的性能瓶颈问题,提出了一种基于Hadoop的地理国情高性能计算框架,论述了通过服务封装实现分布式并行计算能力与成熟平台地理空间分析能力的无缝聚合实现最优化地理国情分析计算的理念,并以地理国情地表覆盖面积统计为例,探讨了分布式计算技术在地理国情海量数据分析方面的适用性。结果表明,随着数据量的增加,分布式计算集群的性能优势逐渐凸显,比传统集中式空间数据库更适合于海量数据的分析计算,而集群的良好横向拓展性,也为大规模地理国情空间数据分析提供了可行解决方案,研究结果将为进一步构建开放性地理国情分析服务平台奠定基础。     

基于混合瓦片的海量DEM/DOM数据高效存储管理方法——以应急救灾数据库为例

针对传统DEM/DOM数据存储管理采用同一瓦片剖分导致大量DEM小文件入库效率极低的问题,在传统地形金字塔的数学基础上,建立DEM/DOM混合瓦片的金字塔模型。该模型考虑相同空间范围内DEM瓦片文件远小于DOM瓦片文件大小的数据特点,通过为DEM和DOM划分不同的瓦片范围,平衡瓦片文件大小;将空间相关的DEM瓦片打包,以减少文件数量,提高入库效率;设计了瓦片ID的编码方式,隐式存储非均衡瓦片范围的DEM瓦片和DOM瓦片的映射关系,支持无缝调度和浏览。以分布式数据库MongoDB为平台进行实验,验证了本文方法的可行性和有效性。     

矢量瓦片并行构建与分布式存储模型研究

矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数,将原始矢量数据GeoJson转换成mvt瓦片集;对于生成的矢量瓦片集,本文基于分布式内存文件系统Alluxio设计一个瓦片存储模型-VectorTileStore,模型以键值对进行数据存储,瓦片元数据占据前八个键值对,单个瓦片占据一个键值对,在数据写入的同时,基于键构建一个哈希索引,用于快速访问,模型兼容海量瓦片的组织存储,具有很强的扩展性。通过实验结果表明,本文提出的矢量瓦片并行构建算法较单机构建算法运行时间平均减少49.6%,分布式存储模型VectorTileStore较传统方案更适合海量矢量瓦片存储,存取时间效率更高。     

大数据架构的遥感资源存储管理方法

随着遥感数据获取能力的日益增强,一方面导致遥感数据的多元化和海量化,使“存不起”的问题日益突出,另一方面由于缺少有效和高效的存储管理方法,难以及时发现终端应用所需的数据,使结果“存而无用”。本文围绕巨量、高吞吐、空间结构化的遥感影像数据及其基础土地信息产品的存储与管理问题,提出采用大数据架构的遥感资源存储管理方法,并基于MongoDB数据库实现了原型系统;通过使用PB量级数据进行试验,证明了该方法满足大数据时代对遥感矢栅数据的存储管理需求。     

瓦片数据版权保护方法及应用研究

 随着"天地图"等网站的建设与不断发展,地理信息资源的共建共享得到了积极推动。然而,网络环境下瓦片数据非法下载、违法使用等安全问题日益严重和突出,如何保护网络环境下瓦片数据版权是当前迫切需要解决的问题。为了节省存储空间,海量瓦片数据存储方式往往采用索引机制,这种存储机制与常见的图像、栅格地图等数据对水印技术的要求不同。本文首先着重分析了采用索引机制存储的瓦片数据特征及其对水印技术的要求;在水印信息生成方面,采用了m序列生成无意义水印信息,而在水印嵌入方面,提出了映射机制的瓦片数据数字水印嵌入算法,采用红色和绿色通道生成的映射函数,将水印信息嵌入到蓝色通道中,其中水印检测为水印嵌入的逆过程;最后,实现了水印技术的瓦片数据实时版权保护系统,并通过了实例验证。     

分布式环境下矢栅一体化数据组织模型设计

随着地理信息技术与计算机网络技术的结合和发展,基于全球框架的地理信息服务对海量数据管理的要求越来越高,传统的单中心的关系数据库的管理模式已经不能满足要求。分布式文件系统、半结构化数据库和关系数据库技术优势互补,为海量数据高效管理提供了新的技术思路。本文提出了分布式环境下空间数据一体化存储管理架构,设计了矢量和栅格数据的数据逻辑组织和物理存储模型,通过统一的分层+分块的数据划分规则,实现了矢、栅数据分布式环境下的一体化管理。在该模型中,利用关系数据库和半结构化数据库的特点,对空间索引和实体数据分开管理,有效地提高了数据处理和访问效率。实验表明,该模型具有更高的数据管理能力,可为分布式环境下数据服务中心构建提供一个有效的解决方案。     

采用动态负载均衡的LiDAR数据生成DEM并行算法

随着高性能计算的发展,并行技术已经广泛应用于LiDAR数据的分析处理。本文针对现有LiDAR数据生成DEM并行算法所存在的负载不均衡问题,设计并实现了动态负载均衡的LiDAR数据生成DEM并行算法。该算法采用主从式并行策略,管理进程负责LiDAR点云的高效自适应条带划分,计算进程负责LiDAR点云生成DEM的计算。本文设计了任务量的动态调度策略:首先,由所有进程并行创建任务量由大到小排列的待处理任务队列;然后,管理进程根据计算进程的反馈对待处理任务进行动态分配,以达到负载均衡。在24 核集群环境下,用30 GB(约12 亿点)LiDAR数据对本文算法进行测试,生成分辨率为1 m的格网DEM,算法加速比峰值达到15.16;同时,与静态调度策略进行对比实验,结果显示本文的动态负载均衡策略可更好地保证进程间的负载均衡,有效地提高了LiDAR生成DEM并行算法的整体效率。     

基于ACE的海量三维空间数据通信研究

三维可视化已成GIS发展的潮流,这必然会导致空间数据量的激增,通过集群系统和并行数据库系统可以很方便地解决海量数据的存储管理问题。但是,在海量环境下,一般数据库管理系统提供的查询接口,仍然难以满足实时三维场景可视化的速度需求。因此研究C/S模式下海量三维空间数据的高效调度成为三维GIS发展亟须突破的难点。在数据库服务器端和客户端之间加上应用服务器端,提供数据缓存、预调度等功能,减少服务器端磁盘I/O所带来的时间消耗,可以明显加速数据调度。本文系统分析了这种客户端/应用服务器端/数据服务器端模式下三维空间数据通信的难点和主要设计挑战,并针对三维GIS的数据访问特征,设计了一套能满足三维GIS实时调度的通信应用层协议。以ACE中前摄器框架为基础,结合线程池技术提出分层策略,搭建了海量三维空间数据的通信架构,它是一种面向对象的构架,可以方便地进行功能的定制和扩展。     

大规模室外动态场景调度机制研究

论文分析了传统的地形流式处理方法和八叉树场景组织的优缺点,然后把松散八叉树引入动态场景的组织,并提出了数据调度流水线的概念,在此基础提出了粗粒度页和细粒度片的动态调度方法。该方法是基于外存(Out-Of-Core)的实时调度方法,用粗粒度页Page组织地形,用细粒度片Tile渲染地形,既避免了频繁读取外存,又实现了对大范围的地形场景数据的精细调度;通过把调度过程分散到流水线的各阶段和各帧,减少了"爆发式"内存和磁盘I/O请求,确保了渲染的平稳性;利用数据调度流水线的阶段性管理Page和Tile的生命期,避免了Page和Tile不必要的状态转移带来的开销。