环境遥感云服务平台与高性能平台对比分析

云计算技术迅猛发展并不断开拓应用行业。为探索云计算技术在环境遥感领域的应用,基于虚拟化、大数据技术,研究环境遥感数据处理云服务平台架构、网络拓扑和服务功能,选取138景高分一号卫星数据进行产品生产实验,对比分析云服务平台和高性能平台在海量遥感数据处理中的效率。实验证明,在现有运行环境下,高性能平台数据处理效率是云服务平台的2. 5倍左右。总体而言,相对于云服务平台,专用的高性能计算处理平台在计算、通信和存储等方面具有一定优势,更适合海量环境遥感数据的高效处理和参数产品反演。     

时空遥感云计算平台PIE-Engine Studio的研究与应用

随着遥感大数据时代的到来,为快速处理和分析海量遥感数据,国内外涌现了众多遥感云计算平台,使得全球尺度、长时间序列遥感数据的快速分析和应用成为可能。本文在分析国内外遥感云计算平台现状的基础上,针对大数据时代国内缺少功能完备的遥感云计算平台,且国外遥感云计算平台对国产卫星数据支持不足等问题,基于容器云技术,构建了包含国产卫星数据且集数据、算力和技术于一体的时空遥感云计算平台PIE（Pixel Information Expert）-Engine Studio,实现了脚本驱动的遥感数据的按需获取以及海量数据的快速处理。采用Landsat 8数据,以生长季植被指数NDVI（Normalized Difference Vegetation Index）的计算为例,对比了本平台与GEE（Google Earth Engine）的数据处理能力。结果表明,由于计算资源的限制,本平台的计算和导出时间均比GEE稍长,但计算结果的空间分布一致,其中近68%的值均分布在（0.48,0.77）,且二者差值的95.33%集中在（-0.13,0.13）,结果较为可信。因此,本文构建的基于共享、开放的中国自主遥感云计算平台PIE-Engine Studio,可为地球科学领域的研究提供数据和算力支持,将有助于推进中国遥感云计算平台的发展进程,推动国产卫星数据在云计算平台上的应用。     

基于云计算的智慧唐山时空信息平台数据库构建

随着云计算技术的不断发展,大数据与信息化时代的优势越来越突出,应用越来越广泛。时空信息平台作为智慧城市建设的重要内容,管理海量基础地理信息数据,是智慧城市建设的基础。因此,海量数据的管理成为时空信息平台设计的关键。以智慧唐山建设为例,结合云计算技术,探讨时空信息平台数据库的构建,针对云平台基础地理信息数据体系、云平台数据库体系架构以及云平台数据库管理系统等方面进行设计,明确基于云计算时空信息平台数据库建设内容,探讨适用于智慧城市建设的时空信息云平台解决方案。     

Hadoop框架下海量影像数据库管理系统的研究与实现

针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台Hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型（RSC-DOM）,利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管理系统,实现了海量影像数据的高效组织、管理及应用。     

基于Google Earth Engine和pydeck的遥感云数据三维可视化研究

采用云计算技术,整合各种遥感信息和技术资源的遥感云服务正以前所未有的速度发展。本文基于谷歌地球引擎Google Earth Engine提供的海量遥感云存储数据,研究通过Google Earth Engine的Python API以及空间可视化库pydeck、第三方earthengine-layers库提供的图层拓展能力,完成从遥感数据筛选、实时数据云计算到三维场景展示、网页端页面自动导出的全流程实践,旨在快速高效地实现遥感云数据三维可视化方案。     

房产测绘中3S技术的应用研究

随着城市化的迅猛发展,传统房产测绘方法面临房屋定位难、数据现势性差、数据集成低等现实问题。3S技术从数据获取、数据处理、数据管理、数据应用等方面提供了新的途径。将3S技术融入房产测绘中可以有效解决面临的问题。房产测绘信息化中涉及基于无人机的数据获取、基于GPS的房屋定位、基于Inpho的数据处理、基于SuperMap平台的海量数据存储和管理。本文通过案例研究,研究探讨了3S技术在房产测绘中应用的全过程和重点环节。     

大型GNSS观测网的并行计算

CGCS2000精化及其全球拓展需要采用最新的模型,处理长期积累的大型GNSS观测网数据,大型GNSS网联合、快速和协同解算是空间基准精化、维持与服务的重要技术方向.在大数据技术背景下,以并行计算、云计算为代表的高性能计算技术逐渐成为大规模数据处理的首选方法.针对海量、多源、异构GNSS数据在解算处理与平差分析等方面面...     

GPS及InSAR数据支持下的甘肃黑方台滑坡监测云平台设计与分析

通过对主流云计算平台技术的深入研究和思考,针对滑坡灾害监测数据量大、数据类型多这一特点,设计了基于GPS及InSAR数据的滑坡监测云平台;并以甘肃黑方台滑坡为例,使用ArcGIS对该滑坡进行了风险评估和分析。Hadoop技术的应用明显提高了滑坡监测中海量数据存储和处理的效率,为云计算技术在灾害监测方面的进一步应用进行了有益的探索。     

面向海量数据的快速处理模型设计研究

基于多年从事遥感数据处理的相关工作经验,以面向海量数据的快速处理模型设计为研究对象,首先分析了云计算模型构建的需求,其次进行了云计算模型的架构,在此基础上,探讨了云计算处理模型的运行机制和具体的模型实现。     

陕西时空大数据资源体系构建关键问题研究

针对时空大数据环境下现有测绘地理信息管理及服务不足,陕西测绘地理信息局依托多年海量数据资源积淀,顺应现实需求与未来发展趋势,通过海量数据组织、资源目录体系管理、基础设施环境建设、混合存储体系架构设计、时空信息云平台构建等关键问题研究,完成了融结构化/半结构化/非结构化海量数据资源的组织管理、混合存储、云平台构建等众多功能为一体的时空大数据环境下的陕西测绘地理信息大数据资源体系构建;同时,基于所设计的资源体系架构,选取范围约2 700 000km~2内多源/多时相/多分辨率/多区域的海量影像开展数据处理,超2 200站的全国基准站网GNSS解算及陕西省域205 600km~2范围内的数据入库存储/镶嵌数据集构建等测试验证。实践结果表明,该时空大数据资源体系架构设计合理,作业效率大幅度提升,为充分发挥陕西测绘地理信息局海量数据资源沉淀与技术优势,以及更好地服务新时代下自然资源管理与社会公众应用提供了良好的数据及技术支撑。     

云计算环境下空间索引构建研究

空间数据索引对于空间数据管理和分析具有重要作用,与数据处理速度和效率密切相关。随着人类社会进入大数据时代,遥感矢量数据具备了大数据的特点,传统的空间索引构建方法无法有效满足矢量大数据处理的需求,为此引入云计算环境来进行空间索引构建,目的是提高空间索引构建速度。首先,对常见的空间索引及现阶段云计算环境下基于MapReduce模型的空间数据管理进行了综述;然后以云计算环境下R树索引构建为例,对云计算环境下空间索引的构建进行了研究;最后,通过实验验证,证明了云计算环境下空间索引构建的速度与单机索引构建相比,加速比为28~40倍;在相同云环境下,网格索引构建速度最快,R+索引构建速度相对较慢。     

点云场景认知模式——泛化点云EI北大核心CSCD

随着传感器技术和观测平台的迅速发展,点云大数据作为新型遥感的主要数据形式,已经逐渐成为场景感知的重要信息载体,并在地质灾害态势感知、自然资源定量调查和道路交通安全服务等国家重大战略需求中发挥了越来越显著的作用。与此同时,点云观测装备和国家重大战略需求的双重驱动促使空间场景从感知迈向了认知,也对认知处理的算法和算力提出了新的要求。为此,本文以点云场景认知的基本框架为线索,分析了多源点云耦合观测的研究现状,总结了点云场景认知处理的关键进展及其在国家重大战略需求中的典型应用,并凝练了点云场景认知当前面临的主要问题。在此基础上,本文聚焦点云场景认知的前沿挑战,避开传统欧氏空间而转到高维张量流形空间进行点云数据处理,提出了“泛化点云”的科学概念和技术框架,为突破点云场景认知处理的算法和算力提供研究思路。     

分布式空间数据库中矢量数据多级空间索引方法研究

随着网格计算、云计算等技术在地理信息领域的应用,海量空间数据的高效组织与管理成为提供各种数据和功能服务的基础,空间索引是其中的关键问题,文中在分布式空间数据库系统架构基础上,提出一种适应分布式环境下的分层+分块的矢量数据存储组织模型,设计包括矢量数据面片索引、矢量数据层索引、矢量数据块索引以及数据块内索引在内的多级空间索引。实现表明,文中设计的空间索引支持并发创建和高并发条件下的数据高效访问。     

论空间数据处理与空间数据挖掘

根据现行文献中反复提到的空间数据处理内涵的理解．将空间数据处理分为空间数据处理技术和空间数据处理理论，简要论述了各自的主要内容．讨论了空间数据挖掘的现状和今后研究的重点，比较了空间数据处理与空间数据挖掘的异同。     

遥感云计算平台相关文献计量可视化分析

在遥感大数据时代背景下,遥感云计算平台的出现改变了遥感数据处理和分析的传统模式,极大地提高了运算效率,使得全球尺度的快速分析成为可能.国内外已有众多学者利用遥感云计算平台开展研究,然而相对缺乏对遥感云计算平台发展和应用的客观性综述.本文基于Web of Science (WoS)和中国知网CNKI(China Nati...     

海量遥感数据的高可靠并行处理方法

云计算技术不断发展,为对地观测的遥感数据的应用提供快速的解决方法。然而在调度过程中,云计算集群的不可靠性会严重影响数据处理效率。为此,研究一种基于主副版本的调度方法,将遥感数据抽象为DAG任务,在满足系统可调度性前提下,以云计算虚拟节点及通信链路的可靠性代价为目标,分析主版本任务的开始时间条件,以此限定副版本任务的开始时间,避免节点调度过程中由于发生故障而导致任务无法正常执行的问题。仿真实验表明,文中方法在保证遥感任务可靠调度的前提下,任务的执行周期(Makespan)能达到最佳。     

云计算在GIS系统模型中的应用

云计算是基于网络的计算模型,通过构建云计算基础设施来为上层的云端应用提供支撑环境。将GIS与云计算相结合,能够为GIS的信息存储、处理及其应用提供新的发展前景。结合云计算与GIS,提出了基于云计算的GIS系统模型。以云计算的数据存储和透明化用户服务为基础,构建以GIS基础服务设施为服务支撑平台和以GIS基础信息数据与GIS应用程序为应用支撑平台。从而使GIS能够在通过云计算进行底层数据和服务的网络化资源分配,同时为用户提供稳定高效可靠的GIS服务。     

基于云环境的集中式处理作业模式研究

本文通过对传统DSM、DEM、DOM影像数据处理生产作业模式进行难点分析,并经过大量的前期测试和研究,利用基于超融合基础架构、GPU云计算、云桌面的方式完成了底层系统架构,构建了多租户模式的生产资源池,解决了传统生产作业模式的弊端。通过试验数据对比,基于云环境下的集中式处理方式在资源利用率与管理方式方面具有较大幅度的提升,且能够充分发挥底层硬件的能力,进一步提高了生产效率。同时也能够有效解决重复采购、重复部署造成的资源浪费问题。本文的研究成果可在项目实际生产中得到进一步的推广和应用。     

LiDAR点云数据的栅格化重心压缩方法

本文分析了国内外点云数据处理中数据压缩方法的研究现状.针对车载LiDAR点云数据量庞大、冗余信息多的问题,提出了栅格化重心压缩方法,介绍了该方法的原理和实现过程.通过实例分析,得出了压缩结果,建立了栅格化重心压缩的预测模型,可用于栅格化重心压缩效果的预测.