可扩展的迭代自组织分析并行处理算法

随着遥感影像数据量的增加,传统非监督分类迭代自组织分析(ISODATA)算法的运算将十分耗时,应用并行计算技术能够有效解决该性能瓶颈。针对现有基于并行计算模型MapReduce的遥感迭代自组织分析并行算法存在的局限性,提出一种可扩展的基于MapReduce的迭代自组织分析并行处理算法。该算法通过其包含的全局子采样算法、聚类中心点集合过滤算法以及聚类映射算法,有效克服了现有并行算法中存在的不足。实验结果表明,在同等规模遥感计算中,该算法效率高于现有并行处理算法,具有良好的加速比,且在处理更大的影像块时具有更高的精度。     

A spatiotemporal algebra in Hadoop for moving objects

Spatiotemporal data represent the real-world objects that move in geographic space over time. The enormous numbers of mobile sensors and location tracking devices continuously produce massive amounts of such data. This leads to the need for scalable spatiotemporal data management systems. Such systems shall be capable of representing spatiotemporal data in persistent storage and in memory. They shall also provide a range of query processing operators that may scale out in a cloud setting. Currently, very few researches have been conducted to meet this requirement. This paper proposes a Hadoop extension with a spatiotemporal algebra. The algebra consists of moving object types added as Hadoop native types, and operators on top of them. The Hadoop file system has been extended to support parameter passing for files that contain spatiotemporal data, and for operators that can be unary or binary. Both the types and operators are accessible for the MapReduce jobs. Such an extension allows users to write Hadoop programs that can perform spatiotemporal analysis. Certain queries may call more than one operator for different jobs and keep these operators running in parallel. This paper describes the design and implementation of this algebra, and evaluates it using a benchmark that is specific to moving object databases.     

MapReduce 编程模型及其在图像处理中应用研究综述

MapReduce在云计算及其相关应用中发挥着重要作用,将其应用到图像处理中可以提高计算效率。然而,该模型设计的初衷是处理文本数据,对图像等二进制文件的处理支持能力相对不足。在充分调研国内外文献基础上,作者从MapReduce概述、图像数据格式设计和图像处理算法研究和在遥感图像处理中的典型应用等方面进行了综述,最后探讨了MapReduce在图像处理研究中的发展趋势。第一次比较全面地对MapReduce在图像处理中的应用进行了论述,对扩展MapReduce的应用范围和提高图像处理速度具有参考价值。     

用MapReduce框架构建虚拟天文台数据节点

MapReduce是一种大规模分布式并行处理框架,最初被用于互联网服务中的海量数据处理,并逐渐扩展到各个行业领域。目前,虚拟天文台面临着越来越多的地面及空间望远镜观测到的海量天文数据。为了提高中国虚拟天文台数据节点处理海量天文数据的能力,首次提出基于MapReduce框架构建中国虚拟天文台数据节点的方法,并以批量星表交叉认证为例描述了具体实现过程,性能评估结果证明基于MapReduce框架构建虚拟天文台数据节点,可以在性能、扩展性与成本等多方面获得收益。     

MapReduce在气象数据传输时效统计中的应用

气象数据的传输时效保障已成为探测和信息部门的重要工作之一,快速统计各类数据到报率和及时率成为一项迫切需求.基于MapReduce编程模型设计了各类数据到报率和及时率的算法,在Hadoop平台上利用该算法实现了各类数据的逐日到报率和及时率的统计,选择文本方式和Sequence File方式作为MapReduce计算模型的输入数据源进行对比试验.试验结果表明,Sequence File作为数据源能更好地提升MapReduce并行运算的性能.     

基于MapReduce的地图代数并行计算方法

针对大规模栅格数据的空间分析,设计并实现了一种基于MapReduce架构的通用地图代数并行计算方法。该方法能将栅格像素矩阵按数据行分割为多个独立的子矩阵,并在并行节点上使用地图代数的四种算子对来自不同矩阵的像素进行分析计算。栅格数据叠加实验结果表明,该方法具备有效性和可靠性,能降低计算对硬件设备的要求,并提升了计算效率。     

利用MapReduce的异常轨迹检测并行算法

异常轨迹检测是移动对象数据挖掘的一个重要研究领域。TRAOD(TRAjectory Outlier Dectection Algorithm)算法是一种经典的异常轨迹检测算法,但它对于海量轨迹数据的异常检测效率低。为提高海量轨迹数据集的异常检测效率,本文提出了一种利用MapReduce 的异常轨迹检测并行算法(Parallel algorithm for TRAjectory Outlier Detection, PTRAOD),并在此基础上提出了网格索引的异常轨迹检测并行算法(Grid-based Parallel algorithmfor TRAjectory Outlier Dectection, GPTRAOD)。GPTRAOD算法在PTRAOD算法的基础上,利用网格索引实现区域查询,进一步提高算法效率。将PTRAOD算法和GPTRAOD算法在Hadoop 平台上加以实现,结果表明:本文提出的2 个并行检测算法,能实现异常轨迹的检测;GPTRAOD算法的效率优于PTRAOD算法;GPTRAOD算法具有较高的可扩展性和较好的加速比。     

基于MapReduce的地震波形数据并行解压缩算法研究

近年来各省级地震台网SEED文件数据量急增。在数据处理过程中,利用原有的串行解压缩算法批量解压缩地震波形数据时存在操作繁琐、耗时较长的问题。本文引入了MapReduce并行编程模型,根据该编程模型思想结合原有串行解压缩算法,提出了一种并行解压缩地震波形数据的算法,并给出了算法的设计与实现。本文从正确性、运行效率以及可扩展性三个方面进行了对比实验,验证了使用并行算法解压缩数据的效率较高,并且能够一次实现批量地震波形数据的解压缩,且操作简单。     

Hadoop在气象数据密集型处理领域中的应用

气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约。针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件。试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义。     

基于MapReduce的网格化优化CURE算法的实现

针对CURE算法处理大量数据时聚类速度较慢的问题,一方面采用网格聚类方法对初始聚类对象进行网格预聚类处理,缩短初始化族聚类时间;另一方面采用MapReduce框架对算法进行并行性扩展,使其能够充分利用集群的计算和存储能力,从而加速海量数据的处理。以联合程序开发网站的数据集和MATLAB人工数据集作为测试数据集,对改进算法Grid-CURE进行实验分析。实验结果表明:方法可有效提升处理大数据的效率以及提升其抗噪声能力。