利用MapReduce的异常轨迹检测并行算法

异常轨迹检测是移动对象数据挖掘的一个重要研究领域。TRAOD(TRAjectory Outlier Dectection Algorithm)算法是一种经典的异常轨迹检测算法,但它对于海量轨迹数据的异常检测效率低。为提高海量轨迹数据集的异常检测效率,本文提出了一种利用MapReduce 的异常轨迹检测并行算法(Parallel algorithm for TRAjectory Outlier Detection, PTRAOD),并在此基础上提出了网格索引的异常轨迹检测并行算法(Grid-based Parallel algorithmfor TRAjectory Outlier Dectection, GPTRAOD)。GPTRAOD算法在PTRAOD算法的基础上,利用网格索引实现区域查询,进一步提高算法效率。将PTRAOD算法和GPTRAOD算法在Hadoop 平台上加以实现,结果表明:本文提出的2 个并行检测算法,能实现异常轨迹的检测;GPTRAOD算法的效率优于PTRAOD算法;GPTRAOD算法具有较高的可扩展性和较好的加速比。     

基于GIS的海绵城市规划区生态敏感性分析

生态敏感性分析是海绵城市规划的重要依据。以长株潭某海绵城市规划区为例,采用层次分析法和专家打分法,选取了6个敏感因子并给各敏感因子赋权重,通过Arc GIS平台的空间分析,得到海绵城市规划区生态敏感度计算结果,并将结果划分为极敏感区、高度敏感区、中度敏感区、轻度敏感区和不敏感区5个等级。此生态敏感性分析结果为该区域的海绵城市规划提供了科学依据。     

厦门城市空间拓展的生态敏感性评价

在综合分析海湾型城市自然生态与社会生态属性的基础上,选取了高程、坡度、河流水库、植被覆盖、土地覆盖和生态保护区等6个因子,作为生态敏感性评价的指标。另外,借助GIS空间分析单因子评价与多因子加权综合评价方法,研究了生态敏感性程度及其空间分布特征,将厦门的生态敏感性划分为4级:不敏感、较敏感、中敏感和高敏感。综合评价结果表明,厦门市生态敏感性在空间分布上差异显著:高度敏感区占研究区总面积的28.1%,低敏感区和不敏感区分别占研究区总面积的27.9%和33.6%。中度敏感区占的比例较小,仅为10.4%。     

空间分析引论

地震学家研究地震的区域分布：地震发生是否存在空间格局及其可预报性?流行病学家分析病例的空间分布规律,及其是否与污染分布有关等等诸如此类的问题;警察通过察看盗窃事件发生的空间位置,寻找其余社会经济特征的空间关联性,据此对未来态势做出估计;遥感专家需要将遥感图像中的噪音过滤掉以恢复其基本空间格局;地质学家需要根据空间离散分布的钻孔点集信息推测矿藏储量;地下水文学家需要用一系列有毒化学浓度样品制作地下水污染地图;零售商可以根据区域科学家利用社会经济数据和空间经济学原理建立起来的购物流模型估计评价对于其所属零售店的需求,以及是否有新的营业网点需要开业、扩张、关闭等。     

传感器波段设置对植被遥感参数反演的影响研究

植被是陆地生态系统的基本组成部分,遥感观测的植被冠层反射特性与植被参数之间的响应关系是植被遥感的基础,也是遥感传感器设计的关键.利用Sobol算法和PROSAIL模型,对叶绿素含量和叶面积指数等植被参数进行全局敏感性分析,研究植被参数在典型遥感波段(蓝、绿、红、红边和近红外)的响应敏感性,并对比了由传感器的中心波长和波...     

基于无人机遥感的村庄地理空间景观格局分析研究

对传统村庄景观格局进行准确检测和分析,由于人工调查费时费力,且导出的数据往往主观、定性且单调,在分析理解其社会文化环境和人与自然的关系时难以发挥关键作用。以河北某古村落为研究背景,探讨了基于低空无人机获取的遥感数据对其空间格局进行测量和分析的方法,建立了四级分层景观识别方案和相应的景观类别规制,使用面向对象的图像分析方法(OBIA)和机器学习分类器构建三级分类模型。经过交叉验证,该模型准确且稳定,最终提取了该村庄五个主要遗产景观元素,基于距离统计和聚类分析,揭示了目标景观的空间格局特征和分布差异。     

DNAPL场地污染通量升尺度预测的敏感性分析

重非水相液体(DNAPL)污染问题日益严重。为评估DNAPL污染场地的环境风险, 常采用升尺度模型推估DNAPL污染源区溶解相的质量通量(溶解通量)。由于升尺度模型中的参数较多, 调查成本较高, 因此需筛选模型中的关键参数, 指导实际污染场地设计合理的观测数据采集方案。首先对升尺度模型中6个参数(地下水平均流速q、标准化浓度C₀/Ceq、离散状DNAPL质量比例GF₀、初始时刻离散状DNAPL贡献的通量比例f_g、拟合参数β₁及β₂)开展全局敏感性分析, 识别其中关键参数, 进而采用局部敏感性分析定量化关键参数的变化对通量预测的影响。研究结果表明, 参数q、C₀/Ceq、GF₀和f_g对通量预测有较大影响。q和C₀/Ceq在整个衰减过程中敏感性均相对较高, GF₀和f_g随着衰减过程的进行, 敏感性不断增高, 分别在衰减中后期和后期达到峰值; 对于不同结构的污染源区, q或C₀/Ceq增大时, 通量的增幅基本不变。随着污染源区中离散状DNAPL和池状DNAPL间的质量比例(GTP)增大, GF₀或f_g增大时, 其对通量预测的影响不断增大或减小。因此在预测溶解通量时需将调查成本重点应用于q和C₀/Ceq; 在合理设计污染源区修复方案时, 应重点调查GF₀; 在预测污染源区寿命时, f_g为重要调查对象; 对于所有结构的污染源区, q和C₀/Ceq均为重要调查对象, 对于GTP较大的污染源区, 应将调查成本重点应用于GF₀, 对于GTP较小的污染源区, 应重点调查f_g。      

基于RTTOV模式的大气二氧化碳反演参数敏感性分析

大气二氧化碳是开展全球气候变化和碳循环研究的关键数据。卫星遥感技术与模式模拟相结合的反演方法已成为获取该数据的重要手段,但模式输入参数本身的误差会对大气二氧化碳反演精度产生影响,须在反演算法设计中加以关注。本文利用RTTOV10快速辐射传输模式模拟Aqua/AIRS红外探测仪17个大气二氧化碳反演通道,计算了这些通道上大气顶出射辐射对温度廓线、臭氧廓线、水汽廓线、地表温度和地表发射率的参数误差的不确定性,并与二氧化碳增加0.5%时造成的不确定性进行对比,分析二氧化碳对上述参数误差的敏感性。结果表明,温度廓线误差是干扰AIRS大气二氧化碳反演的主要因素,其次是臭氧廓线误差,而水汽廓线、地表温度和地表发射率的误差对二氧化碳反演的影响在除去个别通道后可忽略不计。最后,本文以通道为单位,确定了各通道上的高敏感参数、敏感参数和不敏感参数,为二氧化碳反演通道的选择和反演算法的设计提供了参考。     

基于MapReduce的多机并行DP算法与实验分析

随着网络地图不断发展,个性化网络地图也得到快速发展。个性化网络地图需要以矢量数据为数据基础,以满足人们对地图色彩、符号等个性化要求,所以需要实时、快速进行大量数据化简。本文以经典Douglas-Peucker算法作为曲线化简算法,利用开源云计算平台Hadoop建立多机协作的曲线并行化简服务框架,设计和实现了多机并行Douglas-Peucker算法,并在集群上进行实验分析,验证算法的效率和适用性。算法核心是设计数据的逻辑分片,利用MapReduce计算原理,将分片分配到集群中,实现并行运算。实验分别分为两个方面:(1)比较在固定阈值不同数据量情况下,传统DP算法与多机并行DP算法效率;(2)比较在相同数据量不同阈值情况下,传统DP算法与多机并行DP算法效率。实验表明,在大数据量和高复杂度情况下,多机并行DP算法的效率更高。     

基于MapReduce的网格化优化CURE算法的实现

针对CURE算法处理大量数据时聚类速度较慢的问题,一方面采用网格聚类方法对初始聚类对象进行网格预聚类处理,缩短初始化族聚类时间;另一方面采用MapReduce框架对算法进行并行性扩展,使其能够充分利用集群的计算和存储能力,从而加速海量数据的处理。以联合程序开发网站的数据集和MATLAB人工数据集作为测试数据集,对改进算法Grid-CURE进行实验分析。实验结果表明:方法可有效提升处理大数据的效率以及提升其抗噪声能力。     

洪水预警监测和损失评估系统的设计与应用

介绍了遥感(RS)和地理信息系统(GIS)技术在防洪领域的应用,提出了洪水预警监测和损失评估系统的设计原则,并根据面向对象的思想设计系统的各功能模块,实现数据管理、影像处理、空间分析和模拟输出的功能。     

基于空间分析方法的疾病地理研究进展

健康已成为人类普遍关注的问题,以人类健康为研究对象的医学地理目前正成为全球性的研究热点,其中疾病地理又是相对成熟的分支和主要的研究方向.空间分析方法的引入,开拓了疾病地理研究的新领域,也成为疾病监测和评估的一个辅助工具,这使得疾病时空研究取得了重大进展.本文在前人研究的基础上,从时空两方面揭示了疾病地理近年来主要的研究动态和特点,并提出了当前疾病地理研究的某些不足,最后展望了今后我国疾病地理的研究任务和方向.     

首都圈“京津冀”三轴线城市空间格局的遥感分析

城市空间结构是城市规划和发展的基础研究内容之一,特别是以城市群综合发展的区域经济体成为当前城市发展的主要形态,以首都北京为核心的首都圈则是其中具有代表性的城市群,许多学者将该区域作为城市格局研究的首选对象。本文针对首都圈“京津塘、京唐秦、京保石”三条发展轴线内的主要城市,从区域内城镇体系空间结构、道路基础设施空间布局、...     

基于局部空间信息KFCM的遥感图像聚类算法

针对模糊C均值(Fuzzy C-Means, FCM)算法,不能有效地对夹杂噪声的遥感图像聚类的问题,本文提出了一种基于局部空间信息核模糊C均值(Kernel Fuzzy C-Means, KFCM)的遥感图像聚类算法。首先,运用核函数将遥感图像的所有像元映射到高维特征空间,通过非线性映射优化遥感图像的有用特征;然后,根据相邻像元之间的相关性,利用一种空间函数重新定义像元的模糊隶属度,将像元的局部空间信息引入到FCM算法中,并在高维特征空间中使用这种基于局部空间信息的FCM算法对像元聚类。由于引入了像元的局部空间信息,算法可以直接应用于原始遥感图像,不需要滤波预处理。大量实验结果表明,本文提出的基于局部空间信息KFCM的遥感图像聚类算法具有较强的抗噪能力,可得到较好的同质区域,优于现有的FCM算法、模糊局部信息C均值(Fuzzy Local Information C-Means, FLICM)算法及KFCM算法。     

基于GIS的城镇体系规划空间分析系统研究

基于提高城乡规划工作中城镇体系空间规划分析工作的准确性与效率的目的,本次研究提出了城镇势力圈划分、城镇职能识别、城镇规模等级划分定量分析方法。应用这些方法,基于ArcGIS 9.3系统平台基础上进行二次开发,设计了基于GIS的城镇体系空间规划分析系统。本系统适用于当前城镇体系规划实践,解决城镇势力圈划分、城镇职能识别、城镇规模等级划分等3个核心问题。本系统在城镇经济腹地划分、行政区划调整、经济协作区划定、中心城镇吸引范围的空间识别、中心镇判别、城镇体系结构识别等领域具有应用价值。     

基于MPP架构的并行空间数据库原型系统的设计与实现

快速高效地查询信息是衡量当前空间数据库性能的重要指标之一。传统的单节点关系型空间数据管理方式难以满足大数据量空间数据查询的需求,特别是高性能的复杂空间多表连接任务需求。鉴此,本文设计并实现了基于Massive Parallel Processing（MPP）架构的并行空间数据库中间件原型系统。系统充分利用无共享（shared-nothing）架构的优势,特别是针对空间数据的特性,设计了并行空间数据划分与导入、并行空间多表连接、空间数据查询优化等算法与模型。首先介绍了近年来并行数据库系统的发展现状,接着阐述了基于MPP架构的并行空间数据库中间件系统的查询计划算法及其系统架构,最后作者对一些大规模数据量做查询实验及其查询结果分析。实验表明,在处理挖掘大规模数据量时,该系统有近似线性的加速比,相比于传统单节点数据库,它能充分提高海量空间数据的复杂查询的性能,解决了空间数据库并行化处理海量数据的问题。     

基于概念分析的空间数据挖掘研究进展

空间数据挖掘的过程与空间概念形成和分析的过程密切相关.本文以空间数据中抽取出各层次、各粒度的概念为主线,以概念形成和分析的形式化理论--概念格和云模型为理论基础,总结了基于概念分析的空间数据挖掘方法及应用,包括概念格的空间关联规则挖掘方法及应用、概念格的概念聚类挖掘方法及应用、云模型的空间关联规则挖掘方法及应用、云模型的空间聚类/分类挖掘方法及应用等.概念格提供了一种形式化的概念描述和概念结构分析的理论和方法,云模型提供了一种综合处理模糊性、随机性以及二者之间关联性的不确定性理论和方法,利用概念格、云模型等形式化的理论和方法分析和描述空间数据挖掘过程中空间概念的形成、空间概念的结构关系、空间概念之间以及空间概念层次之间的不确定性是概念分析的空间数据挖掘研究的进一步的研究方向.     

基于几何光学模型的人工林叶面积指数遥感反演

 MODIS等全球叶面积指数(LAI)产品空间分辨率偏低(250m~7km),不能满足高空间分辨率遥感应用的需求。为获取大区域高空间分辨率LAI,有必要对物理模型用于高空间分辨率遥感影像LAI反演的可行性进行探讨。本文基于4-scale模型LAI反演算法,以甘肃省张掖为研究区,利用TM 影像实现研究区人工林LAI反演。反演算法考虑了反射率入射-观测角度对LAI与植被指数关系的影响和植被冠层尺度的集聚程度。利用地面实测LAI数据对反演结果进行验证与分析,并与NDVI经验模型进行对比,同时分析LAI反演结果对波段反射率敏感性。结果表明: 4-scale模型LAI反演结果与实测LAI一致性良好(R²=0.67,RMSE=0.50),且优于NDVI经验模型(R²=0.59,RMSE=0.67);当LAI大于2时,4-scale模型LAI反演算法误差小于NDVI经验模型,能有效避免植被指数的饱和现象;红光波段反射率减小时,引起4-scale模型LAI反演结果的变化幅度比其增大时更高,且影响程度大于近红外波段反射率。研究表明,4-scale 模型LAI反演算法可用于TM数据反演人工林LAI,模型应用普适性较强。