陆地观测卫星数据中心:大数据挑战及一种解决方案

为应对陆地观测卫星数据及应用的多样性、存储数据规模的急速增长、数据处理与应用的高时效性、系统高可扩展性、系统资源整合的紧迫性等挑战,结合大数据技术,提出了一种基于Hadoop平台支持大数据处理与分析的陆地观测卫星数据中心架构解决方案,以提高陆地观测卫星数据利用水平与决策支持能力,提升国家空间信息资源应用水平,培育我国陆地观测卫星数据应用新的经济增长点。     

高分辨率卫星地面处理系统研制

高分卫星地面处理系统是高分辨率对地观测系统重大专项的重要组成部分,实现高分一号到高分七号卫星各载荷数据录入、各级标准产品生产、存档、仿真、评价、分发服务、定标检校以及有效载荷管理等。地面处理系统采用了基于HADOOP平台的计算与存储统一的云计算地面处理架构,通过HDFS分布式文件系统将节点内部存储聚合为海量数据存储系统,通过YARN资源管理系统实现海量数据的统一调度和大规模并行处理,结合多光谱、高光谱、红外、微波、激光雷达和大气探测等多种卫星遥感数据高精度处理算法,构建多星通用大数据综合处理平台,大幅提升数据综合处理、数据存储与管理、分发服务等能力,为各类用户提供高精度、高质量的标准数据产品。