顾及遥感影像场景类别信息的视觉单词优化分类

传统词包模型的视觉词典忽略了场景本身包含的类别信息,难以区分不同类别但外观相似的场景,针对这个问题,本文提出一种顾及场景类别信息的视觉单词优化方法,分别使用Boiman的分配策略和主成分分析对不同场景类别视觉单词的模糊性和单词冗余进行优化,增强视觉词典的辨识能力。本文算法通过计算不同视觉单词的影像频率,剔除视觉词典中影像频率较小的视觉单词,得到每种场景的类别视觉词典,计算类别直方图,将类别直方图和原始视觉直方图融合,得到不同类别场景的融合直方图,将其作为SVM分类器的输入向量进行训练和分类。选取遥感场景标准数据集,验证算法,实验结果表明:本算法能适应不同大小的视觉词典,在模型中增加场景类别信息,增强了词包模型的辨识能力,有效降低场景错分概率,总体分类精度高达89.5%,优于传统的基于金字塔匹配词包模型的遥感影像场景分类算法。     

高分五号高光谱影像的关联对齐域适应与分类

高分五号(GF-5)搭载的高光谱传感器兼顾宽覆盖和高分辨率的特性,但在实际应用中宽覆盖范围内各种地物类别的标注十分困难。当标记样本很少甚至没有标记样本时,遥感图像分类异常困难。此时,可以采用域适应方法,借助已标记的历史数据(源域)实现对未标记数据(目标域)的分类。本文提出了一种基于稀疏矩阵变换的关联对齐域适应分类算法。首先,利用稀疏矩阵变换估计源域和目标域的协方差矩阵;然后,运用协方差关联对齐方法估计源域到目标域的变换矩阵;接着,运用估计得到的变换矩阵将源域数据进行变换,使得其与目标域对齐;最后,在变换后的源域数据上建立分类器,实现对目标域数据的分类。本文的算法在两个真实的GF-5高光谱数据集上进行了验证。实验结果表明,本文算法要优于常用的子空间对齐算法和关联对齐算法。特别地,在黄河口GF-5数据上,本文算法比原始关联对齐方法的最近邻分类准确率提升了3.5%,支持向量机分类准确率提升了2.3%。     

一种基于改进实例分割模型的路面裂缝检测方法

为了解决现有裂缝识别算法准确度不高、检测与分割任务不能同时进行等问题,提出了一种基于改进型Mask R-CNN模型的路面裂缝识别方法。首先,建立裂缝数据集并进行标注,然后使用Mask R-CNN模型对裂缝数据集进行训练和测试,并对模型中锚点的长宽比进行调整,实现在裂缝定位的同时对生成的检测框内的裂缝像素进行分割;其次,针对Mask R-CNN模型生成的裂缝检测框不精准的问题,设计了C-Mask R-CNN多阈值检测方法,通过结合级联不同阈值的检测器来提高候选框质量,实现高阈值检测下的裂缝精准定位;最后,对改进后的模型进行一系列的优化参数和实验对比,并验证所提模型的有效性。实验结果表明,C-Mask R-CNN模型检测部分的平均准确率均值（mean average precision,mAP）达到0.954,与改进前模型相比提升了9.7%,分割部分的mAP达到0.935,与改进前相比提升了13.0%,识别效果较好。综上所述,C-Mask R-CNN模型可以较为完整地对裂缝进行定位及提取,识别精度较高。     

3D点云震害建筑物深度学习样本增强方法

针对震后复杂场景下LiDAR点云建筑物破坏类型自动识别问题，为满足应急救援时效性、准确性需求，告别传统人工震害特征提取，充分挖掘点云数据中灾区建筑物震害信息，进一步实现建筑物自动化智能化识别。本文将3D点云深度学习方法应用于建筑物震害识别，构建了包含倒塌、局部倒塌、未倒塌3种建筑物破坏类型的点云数据集。基于PointNet++网络探究了各类别样本量及其均衡性对识别精度的影响，并提出破坏建筑物样本增强方法，丰富了各类别样本点云形态。利用2010年海地7.0级地震后机载LiDAR数据，在PointNet++网络中进行了样本增强前后分类精度比较、样本量以及均衡性分析实验，样本增强后倒塌和局部倒塌的分类精度分别提高近27%和17%，模型整体平均分类精度、Kappa系数均有近15%的提升。实验结果表明三维建筑物震害深度学习模型在各类别样本量足够且均衡时，才能取得较好的分类识别效果。     

联合SVM和HMM的水上/水下导航场景感知模型构建

导航场景感知是智能化PNT的重要特征,更是实现多场景无缝导航定位的基础。本文聚焦水上/水下导航场景,考虑电磁波的衰减程度差异将其细分为水上、浅水、深水3类场景,利用支持向量机(support vector machine, SVM)进行场景分类与识别,在此基础上,引入隐马尔可夫模型(hidden Markov model, HMM)表达导航场景切换,进一步提升场景识别可靠性。本文分别构建了基于结果联合(SVM-HMM1)及基于概率联合(SVM-HMM2)的水上/水下导航场景感知模型。实测分析表明,两种模型能够实现高精度场景感知,SVM-HMM1与SVM-HMM2识别准确率分别为91.36%与95.11%;与单一的HMM和SVM模型相比,联合模型在结果分类与识别上更为稳定,准确率提升约为0.95%～8.46%。     

基于差分卷积的弱光照车牌图像增强

车牌识别作为现代化智能交通系统中重要的环节,对提升路网效率以及缓解城市交通压力等问题具有重要的社会意义,然而弱光照车牌图像识别仍然具有重大的挑战。构建了一个基于差分卷积神经网络的弱光照车牌图像增强网络,将车牌的纹理信息解耦为水平垂直和对角线两个方向,对不同尺度空间的低照度图像进行纹理增强。为了避免增强结果局部过曝或低曝,该方法使用YCbCr颜色空间的损失函数来优化模型。图像增强实验结果表明,所提出的方法较传统的低照度图像增强方法相比,图像客观质量结果峰值信噪比提升了0.47 dB。同时,在仿真车牌和真实场景的车牌识别实验结果也证明了所提算法对于低照度图像感知质量提升的有效性。     

基于Inception结构的手写汉字档案文本识别方法

针对手写汉字文本识别准确率不高的问题,提出了一种结合卷积神经网络和循环神经网络进行手写汉字文本识别的端到端方法。首先,通过Inception模块构建的卷积神经网络提取文本图像的基本特征;然后,使用循环神经网络对提取的特征进行预测,并输出一个关于汉字字符集的概率分布;最后,采用连接主义序列分类算法计算识别结果并构建损失函数。利用所提方法在手写汉字文本数据集上进行实验, 结果表明,Inception模块和数据增强方法可以有效提升算法的性能,并取得了71.2%的识别准确率和0.060的文本编辑距离,较现有方法性能有所提升,证明了所提方法的有效性。     

复杂场景下农村道路裂缝分割方法

针对农村道路裂缝识别中存在训练样本数量少、场景单一、提取结果不准确等问题,本文首先依托辽宁省多年份实测道路图像数据,构建具有多种类、多场景的路面裂缝数据集(PCDs),以ResNet50为编码器、SegNet为解码器,构建路面裂缝图像识别模型Res-SegNet,通过增大卷积核的大小获取更丰富的裂缝信息,使用Focal Loss损失函数,令模型更专注困难样本。然后采用分块预测方法提升裂缝在图片中的占比,使图片预测更加精细。最后通过网络模型和预测方法进行对比试验。结果表明,使用Res-SegNet识别PCDs的测试集,在不同的场景中F值为0.691,使用Res-SegNet结合分块预测识别PCDs的测试集,在不同的场景中F值达0.753。     

基于子区域多标签学习的露天煤矿区场景识别

露天煤矿开采易对区域生态环境产生不利影响,对其进行高效监管有利于矿区环境保护和可持续发展。随着遥感技术和人工智能的发展,基于高分辨率遥感影像的露天煤矿区场景自动识别成为可能。本文针对单标签学习算法在场景子区域识别中识别率较低的问题,将多标签学习策略和地理学第一定律相结合,提出一种基于子区域多标签学习的露天煤矿区场景识别方法。为了区分露天煤矿区场景与其周边场景,设置了6类矿区标签和7类非矿区标签,对9768张场景子区域图像进行标注,构建多标签数据集,利用该数据集训练基于多标签学习的Inception-v3模型。场景识别时,首先将一幅覆盖研究区的遥感影像划分为相同大小的子区域并进行多标签分类;然后对含有矿区标签的子区域,利用地理学第一定律对其矿区标签的相关性和完整性进行判定,识别出属于露天煤矿区场景的子区域。胜利西露天煤矿区识别实验结果表明：该方法提取的结果最接近真值,显著高于单标签学习的识别精度;其子区域多标签分类F1分数达到0.857,与单标签学习中性能最好的ResNet50模型相比,提高了8个百分点。本文提出的方法能够自动提取子区域内多类标签的有效特征,提高露天煤矿区场景识别的精度,其识别结果可为露天矿区开采管理提供数据支撑。     

利用多尺度特征与深度网络对遥感影像进行场景分类

针对因样本量小而导致的遥感图像场景分类精度不高的问题,结合非下采样Contourlet变换(NSCT)、深度卷积神经网络(DCNN)和多核支持向量机(MKSVM),提出了一种基于多尺度深度卷积神经网络(MS-DCNN)的遥感图像场景分类方法。首先利用非下采样Contourlet变换方法对遥感图像多尺度分解,然后对分解后的高频子带和低频子带分别用DCNN训练得到了不同尺度的图像特征,最后采用MKSVM综合多尺度特征并实现遥感图像场景分类。对标准遥感图像分类数据集的试验结果表明,本算法能够结合低频和高频子带对不同类别场景的识别优势,对遥感图像场景取得较好的分类结果。     

结合数据增广和迁移学习的高分辨率遥感影像场景分类

深度学习在计算机视觉领域取得了显著的成果，如图像分类、人脸识别、图像检索等。对于遥感领域而言，获取用于训练CNN的有标签数据集通常是一个重大挑战。本文研究了如何将CNN用于高分辨率遥感影像的场景分类，为了克服缺乏大量有标签遥感影像数据集的问题，结合CNN采用了两种技术：数据增广和迁移学习。在UC Merced Land Use数据集上，验证了VGG16、VGG19、ResNet50、InceptionV3、DenseNet121等5种网络的性能，分别达到了98.10%、96.19%、99.05%、97.62%、99.52%的分类准确率。     

通过训练样本采样处理改善小宗作物遥感识别精度

训练样本质量是决定农作物遥感识别精度的关键因素,虽然高空间分辨率卫星的发展有效地解决了农作物遥感识别过程中的混合像元问题,但是当区域内不同作物种植面积差异较大时,训练集中不同类别样本数量往往相差较大,这样的不均衡数据集影响分类器的训练,导致少数类别的识别精度不理想。为研究作物遥感识别过程中的不均衡样本问题,本文基于GF-2号卫星数据,首先挖掘了地物的光谱信息、纹理信息,用特征递归消除RFE (Recursive Feature Elimination)方法进行特征优选,然后从数据处理的角度采用了5种采样算法对不均衡训练集进行处理,最后使用采样后的均衡数据集训练分类器,对比数据采样前后决策树与Adaboost(Adaptive Boosting)两种分类器的识别结果,发现:(1)经过采样处理后两种分类算法明显提升了小宗作物的分类精度;(2)经过ADASYS (Adaptive synthetic sampling)采样处理后,分类器性能提升最多,决策树的Kappa系数提高了14.32%,Adaboost的Kappa系数提高了10.23%,达到最高值0.9336;(3)过采样的处理效果优于欠采样,过采样对分类器的性能提升更多。综上所述,选择合适的采样方法和分类方法是提高不均衡数据集遥感分类精度的有效途径。     

面向虚实融合的单体建筑物实时识别与定位

针对当前矢量地图导航缺乏真实环境信息,而视觉地理定位依赖海量图像标注数据的问题,提出了一种面向虚实融合的单体建筑物实时识别与定位方法。该方法以智能手机为载体,利用轻量级深度网络SSD(single shot detector)实时检测手机视频流中的建筑物对象类别,通过调用手机内置传感器获取当前定位信息与拍摄视角,并以矢量地图信息为辅助,在仅需识别出建筑物类别的情况中,准确获得单个建筑物的属性与定位信息,并与矢量地图进行叠加可视化,最终达到真实地理环境与矢量地图融合的增强导航。随机采集了550张建筑物图像,经过处理标注后作为训练标签,在计算机上训练SSD的建筑检测功能并且进行验证;将训练好的SSD网络模型迁移到移动端,结合地理围栏方法与手机传感器开发可识别建筑单体信息的增强导航系统,将系统部署在手机上进行测试。实验结果表明,该方法可充分利用矢量地图与实景图片的互补信息,在仅需少量建筑物标注样本的情况下,实现单体建筑物信息增强的手机端地图导航,有效缓解了矢量地图定位不够直观的问题。     

面向精细化多尺度特征的遥感图像目标检测EI北大核心CSCD

遥感图像目标检测是对目标视觉特征的描述与图像先验知识的表达,解译得到的信息无论在军事领域还是在民用领域都有着广泛的应用。针对复杂场景下遥感图像目标特征提取能力不足,目标尺度差异较大、方向任意且紧密排列,传统目标检测所使用的水平框难以准确定向等问题,提出了一种精细化多尺度特征的遥感图像定向目标检测算法。首先,设计了一种基于空洞卷积的上下文注意力网络,能够利用不同空洞率的卷积核捕获局部和全局语义信息,并利用注意力机制将语义信息整合到原始特征上,提升目标特征提取能力;其次,提出了一个精细化的特征金字塔网络,通过像素混洗的方式减少特征金字塔中的通道信息损失,强化网络对差异性大的多尺度目标特征信息的理解能力;最后,研究利用滑动顶点的方式回归定向的矩形框,更好地表示遥感图像内有向目标的位置。本文以Fast R-CNN OBB为基准,通过在目标检测公开数据集DOTA和HRSC2016上验证了算法的有效性,结果显示本文算法在DOTA数据集上与基准算法比较,平均精度(mAP)提升了22.65%,最终检测精度mAP达到了76.78%。在HRSC2016数据集上,最终检测精度mAP达到了89.95%。此外,本文算法较多种先进算法相比均有具有较好的提升。     

联合稳健跨域映射和渐进语义基准修正的零样本遥感影像场景分类

零样本影像分类技术旨在通过学习数据集的部分类别（可见类）,获得识别在训练阶段未出现类别（不可见类）的能力。该技术在遥感大数据时代具有重要现实意义。目前,遥感领域的零样本场景分类方法对于映射后的语义空间优化关注很少,导致已有方法的整体分类性能较差。基于这一考虑,本文提出了一种基于稳健跨域映射和渐进语义基准修正的零样本遥感影像场景分类方法。在训练的有监督学习模块,基于可见类的类别语义向量和场景影像样本,实现深度特征提取器学习和视觉空间到语义空间的稳健映射。在训练的无监督学习阶段,基于全体类别的类别语义向量和不可见类遥感影像样本,分别通过协同表示学习和k近邻算法来渐进修正不可见类类别的语义向量,从而缓解可见类语义空间与不可见类语义空间的漂移问题和自编码跨域映射模型映射后不可见类语义空间与协同表示后不可见类语义空间的偏移问题。在测试阶段,基于学习所得的深度特征提取器、自编码跨域映射模型和修正后的不见类语义向量,实现对不可见类遥感影像场景的分类。本文整合多个已有公开的遥感影像场景数据集,组建了一个新的遥感影像场景数据集,在此数据集上进行试验。试验结果表明本文提出的算法在多种不同的可见类与不可见类的划分情况下都明显优于已有公开零样本分类方法。     

用于智能驾驶的动态场景视觉显著性多特征建模方法

驾驶场景的视觉显著性建模是智能驾驶的重要研究方向.现有的静态和虚拟场景的视觉显著性建模方法不能适应真实驾驶环境下道路场景实时性、动态性和任务驱动特性.构建真实驾驶环境的动态场景视觉显著性模型是目前研究的挑战.从驾驶环境的特点与驾驶员的视觉认知规律出发,本文提取道路场景的低级视觉特征、高级视觉特征和动态视觉特征,并结合速度和道路曲率两个重要影响因素,建立了多特征逻辑回归模型(logistic regression,LR)计算驾驶场景视觉显著性.使用AUC值对模型进行评价,结果显示精度达到了90.43％,与传统的算法相比具有明显的优势.     

COVID-19 CT影像智能诊断系统

基于肺部CT(computed tomography)影像的人工智能诊断是针对新型冠状病毒肺炎(coronavirus disease 2019,COVID-19)的有效辅助诊断方法之一。使用神经网络以及数字图像处理等技术,设计了一个基于切片内和切片间注意力机制的轻量级COVID-19分类模型,在此基础上开发了集早期筛查、病变评估、病灶分割功能和肺部及病灶像素分布直方图等功能于一体的COVID-19智能诊断系统。通过从武汉大学人民医院采集了247名COVID-19病患、152名其他肺炎患者和92名健康者的肺部CT图像,并制作为训练数据集用于网络训练。实验结果显示,提出的方法在验证集上的筛查任务和病变评估任务上的准确率分别达到88.63%和89.65%,算法模型中每人平均诊断时间缩短到0.4 s,系统具有重要的应用价值。     

改进残差网络的遥感图像场景分类

针对因常规残差网络(ResNet)结构缺少跨维度特征整合而导致遥感图像场景分类准确率不高的问题,该文提出了一种改进残差网络的遥感图像场景分类方法。首先,利用残差结构降低深层网络的复杂度,减少参数量,解决网络退化的问题;然后,采用1×1的卷积结构降低特征维度,增加网络的宽度,整合遥感图像的空间信息和纹理特征。在NWPU-RESISC45数据集上进行实验,准确率达到了93.63%,较集成卷积神经网络方法的分类精度提高了1.1%,体现了改进的残差网络在遥感图像场景分类中的有效性和可行性。     

基于回归CNN特征融合的遥感图像检索方法

针对单一图像特征不能够全面反映图像信息，导致不同图像检索性能差异性较大的问题，该文提出了一种基于回归卷积神经网络(CNN)自适应融合多特征的遥感图像检索方法。该方法利用回归CNN模型对各特征的初始检索结果进行评价和估计权重，然后根据权重融合特征，以弥补单一特征对于图像描述能力的不足，提升检索精度。此外还利用图像到查询类的距离来进一步提高检索性能。在UCMD和PatternNet两个公开遥感检索数据集上进行了算法的测试和验证，mAP较其他方法分别提升了2.13%和1.32%。结果表明，该方法能够提高遥感图像检索的性能。     

MtSCCD：面向深度学习的土地利用场景分类与变化检测数据集

利用遥感影像识别土地利用类型及监测其变化情况在城市规划和土地利用优化等领域发挥着重要作用。当前,相关数据集存在样本量少、类别划分不合理、数据不开源等局限,难以满足样本驱动的深度学习遥感信息提取范式的需求。本文构建了一个面向深度学习的大规模场景分类与变化检测数据集MtSCCD (Multi-temporal Scene Classification and Change Detection)。该数据集包括MtSCCD＿LUSC (MtSCCD Land Use Scene Classification)和MtSCCD＿LUCD (MtSCCD Land Use Change Detection)两个子数据集,分别用于土地利用场景分类与变化检测任务。该数据集具有以下特点：（1） MtSCCD是目前规模最大的公开的土地利用类型识别与检测数据集,包含10种土地利用类型共65548幅图像,并且样本覆盖中国5个城市的中心区域;（2）由于MtSCCD数据集根据城市划分训练集、验证集以及测试集,对于新增的城市土地利用数据,可以根据需求划分为训练集与验证集或测试集,因此可扩展性较高;（3） MtSCCD...