一种基于域适应的动态商品视觉识别方法北大核心CSCD

由于变形、遮挡、运动模糊、商品之间外观的相似性及真实场景中未知的分布偏差,商品动态视觉识别在实际应用中仍存在巨大的挑战。本文提出了一种面向智能零售的动态商品视觉识别方法,即首先通过目标检测网络实时检测商品的外接矩形框,然后在此基础上识别商品的类别并给予推荐,辅助完成消费结算。针对商品拿取视频与商品库图像、训练图像之间的跨域差异,引入邻域风格自适应模型(IBN)和卷积注意力模块(CBAM),提升模型的域适应能力。为了验证该方法的有效性,构建了一个真实的场景数据集Commodity247,数据由智能货柜的顶视摄像头采集,包含247类常见的零售商品,以及37 050张带标注框和商品类别的图片。试验结果表明,在Commodity247数据集上,商品识别的准确率(mAP)可达96.84%,第一推荐正确率(Rank1)可达98.41%,最难样本检索准确率(mINP)可达85.24%;与基于ResNet搭建的基础模型相比,mAP提升了2.91%,Rank1提升了0.60%,mINP提升了10.86%,有效降低了多角度、多光线、多背景的影响。     

基于点云卷积的点云分类方法研究

基于深度学习方法,借鉴二维图像卷积的思想,设计了一种适合三维点云的卷积操作。点云卷积的作用域是局部球形邻域,输入为三维坐标和空间几何关系。通过点云卷积提取局部特征,使用最远点采样算法采集邻域中心点,根据半径构建球形局部邻域,使用多层感知器（multi-layer perceptron,MLP）网络学习空间关系权重,将学习到的关系权重和输入特征相乘,实现卷积操作。基于三维点云卷积,构建了一个多层分类网络模型实现点云分类。使用道路场景的黄石路数据集进行分类实验,结果证明了所提方法的有效性。     

基于非局部生成对抗网络的单张散焦图像去模糊

由于相机的景深有限,通常很难从单个相机获得全焦图像。针对因散焦现象而变得模糊的散焦图像,本文提出了一个端到端的非局部生成对抗神经网络DNGAN,通过在真实的数据集下训练模型,实现散焦图像的去模糊和散焦图的估计。DNGAN由散焦图估计和特征融合两大核心模块组成。其中散焦图估计模块采用编码器-解码器的结构实现对输入图像聚焦和散焦区域的判断;特征融合模块采用融合了注意力机制的由粗到细的非局部思想,让散焦图像充分融合周围相似的高频细节纹理信息,并结合散焦图估计模块的结果,指导散焦图像有偏重的进行去模糊图像增强;同时加入生成对抗模块让网络生成更加丰富的纹理特征。本论文实验从客观评价指标和图像视觉对比效果两方面论证了提出的网络在真实数据集下的散焦图像去模糊任务和散焦图估计任务上的优势。     

顾及行人的室内全景影像拼接方法

在室内场景的全景影像拼接过程中,易出现行人运动目标引起的“鬼影”现象。针对此问题,提出一种顾及行人的室内全景影像拼接方法,利用深度学习对整幅影像进行逐像素目标级分割,保持行人目标的完整性,并结合重匹配、显著度检测等对运动类型进行判定,生成带权的运动区域掩膜,结合灰度、梯度差及纹理复杂度等特征,融入基于图割算法的拼接线检测能量方程中,对行人区域进行补偿,最终生成背景干净、无“鬼影”的全景影像。     

基于运动行人目标分割的高动态影像生成

提出一种基于深度学习目标分割的动态场景高动态范围渲染HDR(highdynamicrange)影像生成方法,结合行人目标匹配与光流映射变化的信息对场景中行人目标运动状态进行判断,生成用于后期融合的动态场景掩膜。HDR静态场景使用加权融合的方法生成,HDR动态场景则使用低曝光影像中该区域曝光质量较好的一张填充,最后利用泊松融合算法平滑静态区域与动态区域之间的过渡部分,得到一张"无鬼影"、影像亮度均衡并且各处细节清晰的HDR影像。算法的创新点是基于目标分类,比传统的基于像素的算法更具有可控性。     

多尺度联合特征点检测和描述网络

针对影像视角、光照或尺度变化较大,目前常用特征提取算法匹配效果不理想的问题,提出一种用于联合检测特征点和提取特征描述子的多尺度网络,在特征点检测和描述中融入多尺度信息,提升特征点的鲁棒性。通过在影像数据上对该算法进行实验验证,发现该算法可以有效提高特征点的可重复性以及特征描述子的辨识力,从而提升匹配精度,并且可以得到更准确的单应估计结果。     

一种基于深度学习的户型图矢量化方法

提取房屋结构是重建三维房屋的基础工作,主要被应用在虚拟现实（virtual reality,VR）看房、在线家装设计等新兴领域。针对户型图风格多样以及传统图像处理方法自动化程度低、普适性差的问题,提出一种结合深度学习和图像处理的方法,先通过深度学习方法获取墙、门和窗户在图像中的位置信息,再通过图像处理方法获得矢量化结果。在二维户型图上进行实验,结果表明了所提户型图矢量化方法的有效性和适用性。     

上海市大气颗粒物与能见度的关系

大气能见度成为当前区域大气环境研究的重要指标,不同粒径的颗粒物对能见度的影响有着显著的区别。本研究在线连续监测了上海市嘉定区2008年11月—2009年1月不同粒径大气颗粒物质量浓度和粒子数浓度的日变化,同步收集了相同区域空气水平能见度的数据。比较不同粒径大气颗粒物质量浓度与空气水平能见度和颗粒物消光系数的相关性,结果表明：中值粒径为0.4 μm和0.65 μm的大气颗粒物对上海嘉定空气水平能见度的影响最显著;中值粒径为0.17 μm、0.26 μm、0.40 μm和0.65 μm的大气颗粒物对颗粒物的消光系数影响较大。该相关系数的分布趋势与各种组分(SO42-、NO3-、NH4+、OC和EC)的粒径分布十分一致,证明了这五种组分是影响大气颗粒物消光系数的重要原因。     

基于全卷积编解码网络的视觉定位方法

针对目前视觉定位方法中使用人工特征的限制,提出了一种基于全卷积编解码网络的视觉定位方法。该方法将场景点3D坐标映射到图像的BGR(blue-green-red)通道,建立了图像到场景的直接联系,并通过全卷积编解码网络学习图像与场景结构的关系。给出一张图像,网络可以预测其每个像素点对应的3D点在当前场景世界坐标系的坐标;然后结合RANSAC(random sample consensus)和PnP(perspective-n-point)算法求解位姿并优化,得到最终的相对位姿。在7-Scenes数据集上的实验结果表明本文方法可实现厘米级的高精度定位,并且相比其他基于深度学习的方法,该方法在保证精度的同时,模型尺寸更小。     

深度学习融合局部聚合向量的增强现实标志物检索研究

为了降低计算量,增强现实（augmented reality,AR）经常在真实场景中设置人工标志物,用以协助相机对场景的跟踪,因而对人工标志物的检索与跟踪技术十分关键,是增强现实融入大众生活的重要前提。针对标志物检索问题,设计了一个端到端的神经网络模型,该模型由特征提取和局部特征聚合两大核心模块组成：特征提取模块使用卷积神经网络提取图像高维特征;局部特征聚合模块对高维特征进行降维与压缩,为图像编码全局特征。该网络在文中提出的一种新的损失函数的指导下进行训练。为了解决真实场景数据收集成本较高的问题,提出了一种模拟数据集,网络在模拟数据集上训练及测试,取得了较高的检索准确率,证明了深度学习与局部特征聚合结合的方法在图像检索领域的可行性。