注意力空洞卷积无人机遥感多目标检测方法研究

针对无人机遥感影像中多类别目标的检测问题,本文提出一种单阶段的深度学习新目标检测模型。在特征提取结构内,首先使用空洞卷积核来构建基本的提取结构,让模型在提取过程中获取感受野更大、原始信息保留更充分的特征图;针对小目标检测精度不佳问题,采用通道注意力与空间注意力组合的多路注意力机制来提高模型对真实目标的关注程度;在特征图连续上采样的基础上,将来自同层以及高层下采样的特征图进行融合来获取鲁棒性更强、语义信息更充分的特征图实施最终的检测。以VisDrone、DLR-MVDA数据集和路采影像组成数据集,并使用暗通道先验等方法对其进行强化,组成训练数据集对模型进行训练。实验结果表明,本文所提出的模型对于无人机遥感影像中的多种类别的目标均能够实现较好的检出,其平均精度均值较其余3种基准模型分别提高8.56%、4.58%及15.81%,检测速度可以达到25帧/s的水平,说明所提出模型能够针对遥感影像中的多类别目标实施快速精准的检测,同时具有较好的泛化能力。     

遥感影像目标检测的轻量化密集连接网络北大核心CSCD

针对无人机遥感影像中可能出现的多个密集的小目标,在检测时会出现误检、漏检的难点问题,本文提出了一种基于YOLO v4的具有密集连接网络模块的遥感影像轻量化目标检测算法,实现了对无人机遥感影像中车辆小目标的高精度识别。首先,对YOLO v4主干网络CSP Darknet53的卷积层采用密集连接、稀疏连接两种处理方式,加强特征的提取和重复使用,以缓解梯度消失问题;然后,对此模块进行模型剪裁,减少网络层数并定义为新的密集连接网络模块;最后,在NWPU-VHR-10数据集和笔者所在课题组制作的Vehicle-850无人机影像数据集上进行了对比试验并取得了较好的效果。本文改进后的网络结构在提高遥感影像目标检测准确率的同时,缩短了网络模型的收敛时间,减少了模型占用的内存空间,提高了遥感影像中目标检测的速度。     

无人机遥感影像轻型交通标志实时检测方法研究

常规目标检测模型对于硬件需求较高,难以在无人机载硬件上直接运行并实施流畅交通标志检测。针对这一问题,本文提出一种轻型的交通标志检测模型。该模型基于轻量级卷积神经网络结构设计,利用非对称卷积核级联特征提取层特征以及最大池化层搭建特征提取网络,并利用三层特征增强网络实现对无人机遥感影像中多尺度、多类别交通标志的快速精准检测。同时针对原始图像质量问题设计了图像增强模块,提高了训练后模型的泛化能力。测试结果表明,本文提出的模型能够在无人机硬件上流畅运行,并能够对多场景下的交通标志目标实施精准检测。     

基于深度学习的无人机影像车辆检测研究

本文采用分辨率较高且获取方便的无人机影像作为数据源,利用Faster R-CNN网络提取影像中车辆目标。首先用ImageNet数据集微调Faster R-CNN网络,再用无人机影像制作样本集并对Faster R-CNN网络再次训练,得到目标检测模型。将检测模型用于识别影像中的车辆目标:先提取车辆目标所在区域,排除其它地物干扰,利用分类器识别候选框中目标类别,同时使用回归器修正候选框位置。实验结果表明,Faster R-CNN网络能够有效提取影像中的车辆目标。     

一种基于SVM的无人机影像中单个建筑物的角点检测方法

针对目前无人机影像中单个建筑物角点的检测现状,提出了一种基于支持向量机(SVM)的无人机影像中建筑物的角点检测方法。首先对4个波段的无人机影像进行多尺度分割,计算影像的NDVI,通过植被与非植被区域的波谱差异剔除植被的影响。其次,用面向对象分类法将"建筑物块"从影像中提取出来,对"建筑物块"区域用Harris算子进行边缘检测,形成建筑物边缘点集数据。随后通过设计高斯径向基将边缘样本点映射到高维特征空间,构建特征向量,采用边缘点集训练SVM分类模型,最终通过SVM分类模型从粗提取的边缘点集中检测出正确的建筑物角点,实现了单个建筑物的角点提取。     

结合高效通道注意力的轻量级遥感影像目标检测方法

针对常规遥感影像目标检测模型难以在机载、星载等低算力场景下部署的问题,本文提出一种轻量级遥感影像目标检测模型。模型通过Ghost特征提取模块与高效通道注意力机制组成轻量级骨干网络来进行特征提取与筛选,然后将获取到的特征图送入融合金字塔中生成3张语义特征更为丰富的特征图参与多尺度目标检测。在多源混合数据集上的测试结果表明,本文模型对各类别目标的检测精度均优于其余对比模型,对不同场景下的目标具有良好的泛化能力。训练后模型占用内存小,推理参数量低,在低算力的测试场景下也能够进行实时检测,适合部署于算力较低的边缘计算场景。     

基于深度学习理论的无人机影像分类

针对无人机影像深度学习分类方法缺乏现状,本文利用深度学习理论卷积神经网络方法对无人机影像进行了分类。该法首先抽取无人机影像作为训练集和检验集,然后建立一个2个卷积层-池化层的卷积神经网络模型进行深度学习,通过设定参数并运行模型实现无人机影像分类。实验表明,本文提出的方法可完成较复杂地区无人机影像分类,其分类精度与支持向量机方法相当,为无人机遥感影像分类提供了一个崭新的技术视点。     

基于单阶段神经网络的房屋屋顶检测方法

针对现有方法利用无人机影像对房屋目标进行检测的过程中存在错检、漏检率高等问题,构建了单阶段卷积神经网络来实施无人机影像房屋检测,并在德国宇航中心开源数据集(Deutsches Zentrum für Luft-und Raum fahrt,DLR)3KVehicle的基础上,采用多种数字图像增强手段对原始图像进行数据增强处理,提高训练后模型的泛化能力.在测试数据集上对训练后的网络进行测试,采用精度均值(Average Precision,AP)和每秒传输帧数(Frames Per Second,FPS)指标进行评价.并将检测结果与经典的目标检测模型单激发多盒探测器(Single Shot Multi-Box Detector,SSD)以及YOLOv3的检测结果进行对比.结果表明,所构建的卷积神经网络对于无人机影像中的房屋目标尤其是小目标有着较高的检测精度,检测精度可以达到91.3％AP,相比SSD和YOLOv3在精度方面提高了11.5％和8.3％.同时网络的检测速度可以达到每秒传输帧数21m·s-1,能够快速精确地检测出无人机影像中的房屋目标.     

融合深度特征的无人机影像SfM重建

可靠特征匹配是无人机影像运动恢复结构(SfM)的重要环节。近年来,深度学习被用于特征提取和匹配,在基准数据集表现优于SIFT等手工特征。但是,公开模型往往采用互联网照片进行训练和测试,鲜有用于无人机影像SfM三维重建的性能评价。利用多组不同特点的无人机数据集,本文对比分析手工特征和深度学习特征在无人机影像特征匹配和SfM三维重建的综合性能。试验结果表明,利用公开的预训练模型,结合手工特征的高精度定位和深度学习的特征描述能力,可实现更准确和完整的特征匹配,并在SfM三维重建中取得与SIFT等手工特征相当,甚至更优的性能。     

基于改进YOLOV5模型的嵌入式端航拍图像目标检测

随着基于深度学习目标检测模型日渐成熟,将目标检测模型部署到航拍无人机上已成为重要研究方向,针对无人机机载推理设备算力和内存有限,提出一种结构重参化的YOLOV5(you only look once V5)航拍目标检测算法。首先替换YOLOV5模型的特征提取网络为结构可重参网络,然后借助开源数据集训练多分支YOLOV5模型,再对多分支网络重参化得到单路网络模型,最后把Pytorch模型转化为ONNX模型,完成在无人机嵌入式端推理部署。实验表明：重参化YOLOV5模型推理速度提高3倍左右,检出率增加0.03%,召回率增加0.02%,mAP0.5增加1.22。     

一种面向无人机绝对定位的卫星基准影像检索方法

针对全球导航卫星系统（global navigation satellite system,GNSS）拒止环境下大范围无人机视觉绝对定位问题,提出了一种聚合深度学习特征的卫星基准影像检索方法。首先,利用预训练的深度学习模型提取无人机与卫星基准影像的局部卷积特征;然后,对局部特征描述符进行聚合,生成影像全局表达;最后,利用影像全局特征进行相似性检索,并采用检索结果精匹配重排序的后处理方法,进一步提高检索准确率。设计了一个新的面向无人机绝对定位的卫星基准影像数据集并进行实验,结果表明,使用所提方法检索无人机影像适配区域的卫星基准影像的准确率达76.07%,可为后续基于视觉的无人机绝对定位提供参考。     

一种热红外与可见光影像深度特征匹配方法

针对无人机热红外影像与光学卫星影像的匹配难题,提出一种基于异源地标数据集学习的深度局部特征匹配方法。首先,利用生成对抗网络学习热红外与可见光影像的灰度分布规律,并进一步合成用于特征提取模型训练的热红外影像地标数据集;然后,联合残差网络和注意力机制模型,从数据集中学习深度不变特征;最后,经过对不变特征的匹配、提纯等处理,获得像对的正确匹配点。试验测试了该方法的性能,并与KAZE、特征检测描述网络和深度局部特征模型进行了对比。结果表明,提出的方法对灰度、纹理、重叠率以及几何变化具有较强的适应性,且匹配效率较高,可为无人机视觉导航提供支撑。     

联合卷积神经网络与集成学习的遥感影像场景分类

针对人工设计的中、低层特征难以实现复杂场景影像的高精度分类以及卷积神经网络依赖大量训练数据等问题，结合迁移学习与集成学习，提出了一种联合卷积神经网络与集成学习的遥感影像场景分类算法。首先基于迁移学习的思想，利用在自然影像数据集上训练好的多个深层卷积神经网络模型作为特征提取器，提取图像多个高度抽象的语义特征；然后构建由Logistic回归和支持向量机组成的Stacking集成模型，对同一图像的多个特征分别训练Logistic模型，将预测概率结果融合构建概率特征；最后利用支持向量机对概率特征训练和预测，得到场景影像的分类结果。利用UCMerced_LandUse和NWPU-RESISC 45两种不同规模的遥感影像数据集进行试验，即使在只有10%的数据作为训练样本情况下，本文方法能够分别达到90.74%和87.21%的分类精度。     

无人机遥感影像匹配中的优化SIFT-OCT算法

针对传统尺度不变特征转换(SIFT)算法在高分辨率影像中检测特征点数量多、匹配效率低、无法快速对无人机低空遥感影像进行特征匹配的问题,该文优化SIFT-OCT算法的特征检测、特征匹配方法,主动放弃第一组尺度空间进行特征检测,并采用影像分块的方法加快检测过程;在特征匹配阶段,提出相似性系数进行匹配点对二次筛选,利用随机抽样一致性(RANSAC)算法计算透视变换模型参数进行精匹配.选取同一无人机序列影像中的4组不同地物类型的影像进行对比验证实验,结果表明,优化SIFT-OCT算法极大地限制特征提取数量,提高影像匹配效率,适合无人机低空遥感影像匹配.     

基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测

传统的基于滑窗搜索和人工设计特征相结合的目标检测方法难以适用于海量高分辨率遥感图像的目标检测任务。本文提出了一种基于多尺度形变特征卷积网络的目标检测方法,利用可形变卷积网络对具有尺度和方向变化的遥感图像目标进行特征提取,然后对多层残差模块提取出的形变特征进行区域预测和鉴别。具体模型包括两个子网络：①目标区域预测子网络用于从多层深度特征图提取目标候选区域;②目标区域鉴别子网络用于对目标候选区域进行分类和位置回归。本文在光学卫星图像10类目标数据集上对比了多种基于深度学习的目标检测算法,并将训练好的模型用于谷歌地球影像飞机坟场数据集和高分2号、吉林1号数据集的评估,试验结果表明本文方法能够快速准确地对多类目标进行检测,具有较好的稳健性和迁移性。     

利用无人机多源影像检测车辆速度

交通在人民生活和社会经济中有着举足轻重的作用。车辆速度检测是智能交通管理系统的重要组成部分。本文提出了一种基于无人机（UAV）多源影像数据进行车辆速度检测的方法,首先,搭建小型无人机多源数据采集平台,获取可见光影像与热红外影像。然后,针对采集的多源数据,采用深度学习框架YOLO（you only look once）进行车辆检测。最后,基于卡尔曼滤波进行车辆跟踪,并根据跟踪结果计算车辆速度。本文利用无人机平台增加监测车辆的灵活性,同时综合使用多源数据,不仅提高车辆检测精度,还可以不依赖光照条件跟踪车辆。试验结果表明,本文方法具有有效性和稳健性,为道路监控管理部门提供一种高效率、机动灵活的监测模式。     

结合数据融合与特征选择的遥感影像尺度多样目标检测

基于深度神经网络模型的遥感影像地物检测取得了巨大成功,很大程度上得益于大规模数据集的支撑。但是,从现有遥感影像数据集本身来看,不同类别地物的数量分布不一致,同类地物对象以不同尺寸大小呈现,是导致地物样本的尺度不均衡问题的直接因素。对此,本文采用数据集内影像加权融合与地物多尺度特征选择的策略来缓解该问题。首先,将数据集内两张影像的像素值进行加权并得到融合后的影像,从而使不同类别地物样本更加均衡且具有较高的背景多样性;其次,通过选择合适尺度的特征图预测相应尺度的目标类别,且允许同一尺度目标在相邻特征图上进行预测,这样使模型能根据目标尺度进行训练;最后,基于目标中心区域的特征图预测目标边界框,预测的边界框更符合目标本身的尺度。通过在两个遥感数据集上分别进行实验,表明训练的模型在对复杂背景下的类别不均衡目标的识别更加准确,能够适应遥感影像下不同尺度目标的识别。     

通道剪枝与知识蒸馏相结合的轻量化SAR目标检测

轻量化SAR目标检测方法对快速检测SAR影像中的地物目标具有重要意义。针对轻量化检测方法精度不高的问题,设计了一种通道剪枝与知识蒸馏相结合的轻量化SAR目标检测方法。该方法通过对复杂网络中批归一化层的缩放因子γ进行稀疏化训练,判别对应特征通道的重要程度,进而裁剪次要通道,并在微调训练后将其作为教师网络,构造知识蒸馏框架指导轻量模型训练,提高轻量模型的检测精度。采用YOLOv5-6.1算法搭建了检测框架,并在重组的MSAR和SSDD多类目标数据集上进行了训练和检测试验,结果表明该方法能够在保持模型体积仅3.73 MB的轻量化条件下,提升SAR目标检测精度,验证了本文方法的有效性。     

轻量卷积神经网络遥感影像目标检测方法

针对常规遥感影像目标检测模型在低算力环境难以运行问题,提出一种新的轻量级目标检测方法.采用深度可分离卷积核及通道分组混排构建轻量级特征提取网络,采用K-means聚类获取锚点框,使用跨层连接双层特征金字塔预测多尺度目标.利用遥感影像目标检测数据集(RSOD)数据集对模型训练,采用精度均值,平均精度均值,每秒传输帧数对模...     

基于改进YOLOv7的道路目标检测方法

针对现有方法在道路场景中实施目标检测时存在对小目标检测精度低、泛化性能不佳等问题,提出一种基于YOLOv7的改进方法。在特征融合结构中,引入通道注意力机制来抑制更多负样本参与特征学习,同时在融合层末端输出四个尺寸的特征图,以强化对小尺寸目标的检测精度;使用改进K均值聚类（K-means++）算法生成与真实目标宽高更贴合的锚点框,让模型在训练前期快速收敛;最后在检测输出端使用软性非极大值抑制算法,精准检测重叠度较高的目标。以开源中国交通标志数据集（CCTSDB）与腾讯-清华100K(TT100K)数据集混合构建训练与测试数据集,实验结果表明,与原始YOLOv7相比,改进后模型在mAP@0.5、mAP@0.5:0.95指标上分别提升7.9%与5.6%,同时检测速度仅有少量下降,但仍能完成实时检测,同时在不同场景下保持性能稳定,充分证明了本文所提方法能够在复杂道路场景下开展多类目标的快速精准检测。