图像检索技术研究进展

近年来,互联网上视觉数据呈现出爆炸式的增长,越来越多的研究工作围绕图像搜索或图像检索技术而展开.早期的搜索技术仅采用文本信息,忽视了视觉内容作为排序的线索,导致搜索文本和视觉内容不一致.基于内容的图像检索（CBIR）技术充分利用视觉内容识别相关图像,在近几年来获得了广泛关注.在图像检索中,最根本的问题是意图鸿沟和语义鸿沟,围绕该问题,近年涌现出大量的基于内容的图像检索的技术.本文主要对2003-2016年间提出的相关图像检索方法进行总结、分类和评估,并对未来的潜在研究方向进行讨论.     

基于多轮交互的人机对话系统综述

近些年来,人机对话系统作为自然语言处理的重要问题之一受到了越来越多的关注.基于大数据的深度学习的方法在对话系统中被广泛应用.本文首先介绍了人机对话系统的研究背景,然后以基于多轮交互的对话系统为例,着重介绍了任务型和非任务型对话系统的主要类型和目前的研究进展,并对评估对话系统的主要方法进行了概述.最后,结合当前研究现状,对多轮交互的人机对话系统的研究方向进行了展望.     

基于用户点击数据的细粒度图像识别方法概述

近年来,细粒度图像识别逐渐成为计算机视觉领域的研究热点.由于不同类别图像间的视觉差异小、语义鸿沟问题严重,传统的基于视觉特征的细粒度图像识别性能往往不尽人意.针对这些挑战,目前许多学者都在研究基于用户点击数据的图像识别.本文围绕点击数据在图像识别中数据预处理、特征提取和模型构建3大模块中的应用,总结了已有的基于点击数据的识别算法及最新的研究进展.     

文本特征提取的研究进展

文本理解是人工智能的一个重要分支,其技术推动了人与计算机之间在自然语言上的有效交互.为了让计算机准确地理解和感知文本数据,文本特征提取是最为基础和关键的步骤之一.基于此,本文介绍文本特征提取研究的发展历史,以及近年来主流特征提取的方法,并对未来的研究方向进行展望.首先,介绍语义最底层的词级表示;接着,总结在词级表示基础上衍生出的句级表示上的研究进展;随后,介绍比词级表示和句级表示更高层的篇分析;最后,通过文本特征提取的一个典型应用——问答系统的介绍,阐述文本特征提取的最新方法和技术在问答系统上的应用,并对未来的研究方向做了展望.     

基于社会多媒体内容的用户建模应用研究

随着互联网和社会媒体平台的发展,社会媒体吸引着数以亿计的用户参与其中进行创造和分享信息,产生了海量的文本、图像、音频和视频数据.面对这些数量巨大、异构多源、模态复杂的社会多媒体内容数据,如何对其进行有效的内容理解和知识表示,从而为用户提供更高效、优质的服务,成为实现社会媒体大数据价值的关键.本文对近年来在社会多媒体内容分析、知识提取和表示以及用户建模应用的相关研究展开综述,并针对社会多媒体特征融合、跨模态知识提取与表示,以及基于社会媒体的用户建模相关应用研究三个方面进行详细总结.随后对社会多媒体内容的知识表示和用户建模的研究与应用的发展趋势进行介绍,最后对多媒体知识表示与用户建模研究进行了总结和展望.     

基于图卷积网络的多标签食品原材料识别

当前,食品图像的营养成分识别主要还是集中在食品类别的识别以及作为多标签任务的识别.但是这两种方法并不具备很好的判别性,因为它们忽略了原材料之间的潜在关系.因此,本文在前期工作的基础上引入了原材料之间的关系.具体地说,我们的工作主要分为图像特征提取和原材料关系学习两部分.图像特征提取通过卷积神经网络提取到图像的低维特征向量.图卷积网络通过使用图数据（图的每个节点表示原材料的词嵌入,边表示节点之间的相关性）,将图数据直接映射到一组相互依赖的分类器中,并与图像的低维特征向量融合,最后进行分类.通过在Food-101和VireoFood-172两个食品数据集上进行实验,并与当前最好的实验模型进行对比,发现基于图卷积的食品多标签分类方法可以有效地提高食品图像的分类性能.     

深度学习技术在智能网格天气预报中的应用进展与挑战

中国智能网格天气预报已初步建立0—30 d涵盖基本气象要素的无缝隙气象预报业务体系。近年深度学习技术兴起,给不同领域带来前所未有的变革。同样,深度学习的非线性映射能力、海量信息提取能力、时空建模能力等优势为进一步提升智能网格预报的准确性和精细化水平提供了新的思路和方法。越来越多的研究将深度学习技术应用于智能网格预报的各个方面,包括数值预报订正和解释应用、集合天气预报、相似集合、统计降尺度、纯数据驱动的预报模型和极端天气预报等,并展示出良好的应用潜力。然而,目前深度学习技术在天气预报领域的应用仍处于起步阶段,将其引入智能网格预报业务体系还面临诸多挑战,主要包括算法的选择、算法的数据基础、多源数据融合以及模型的可解释性、可信度、可用性和工程化等。通过回顾近年来深度学习技术在智能网格预报中的应用进展和前景,同时对面临的挑战与应对进行探讨,将有利于促进深度学习技术在天气客观预报领域更好、更稳定的发展。      

视觉里程计研究综述

视觉里程计（Visual Odometry）作为视觉同步定位与地图构建技术（Visual Simultaneous Localization and Mapping）的一部分,主要通过相机传感器获取一系列拥有时间序列图像的信息,从而预估机器人的姿态信息,建立局部地图,也被称为前端,已经被广泛应用在了多个领域,并取得了丰硕的实际成果,它对于无人驾驶、全自主无人机、虚拟现实和增强现实等方面有着重要意义.本文在介绍经典视觉里程计技术框架模块中的各类算法的基础上,对近年来新颖的视觉里程计技术（VO）的研究和论文进行了总结,按照技术手段不同分为两大类——多传感器融合的视觉里程计（以惯性视觉融合为例）和基于深度学习的视觉里程计.前者通过各传感器之间的优势互补提高VO的精度,后者则是通过和深度学习网络结合改善VO的性能.最后通过比较视觉里程计现有算法,并结合VO面临的挑战展望了视觉里程计的未来发展趋势.     

机器学习技术在现代农业气象中的应用

智慧气象和精准农业结合下的现代农业气象工作意味着对包含遥感影像在内的大型农业和气象数据高时效性的分析与处理,机器学习技术是当代自然科学研究和技术发展的主流技术,亦是现代农业气象科研和业务发展的重要工具。该文系统论述了机器学习技术的主要方法及其在现代农业气象中的主要应用方向,比较了不同方法在农业气象不同领域应用的情况,侧重介绍了基于深度学习技术的成果和近年来的最新研究进展。传统浅层机器学习技术中,以支持向量机和人工神经网络应用最为广泛且效果最为理想。近年来,随机森林和梯度提升机等决策树集成方法普遍取得优于核方法的精度,深度学习技术则在某些任务中取得更优于集成学习的精度。未来,有待检验机器学习技术特别是深度学习技术在更多农业气象问题上的适用性和先进性,更好地迎接现代农业气象发展的新挑战与新机遇。     

三维重建算法研究综述

三维重建技术能够应用在医学中的三维CT图像、机器人中的路径规划及考古工作中的遗迹的展示等诸多领域中.三维重建效果的完整性、精确性与稀疏点云重建（Structure From Motion,SFM）、稠密点云重建（Multi-View System,MVS）有着直接关系,本文对这两个方法展开了具体的介绍.稀疏点云重建中主要介绍了特征点检测与匹配以及SFM重构方法,本文对近几年关于特征点检测与匹配的研究进行了总结,将SFM重构方法分为全局式、增量式、混合式,并进行了详细介绍.稠密点云重建中主要介绍了深度图估计,就传统的几何计算法、深度学习与几何计算相结合的方法、基于深度学习的方法进行了总结,同时介绍了三维重建的评价指标.最后对基于图像的三维重建进行了总结,并列举出了在未来可能面对的问题及发展趋势.     

一种改进的循环神经网络雷达图像外推算法

临近强降水预报目的是预测未来两小时内局地降水强度的分布,准确的外推雷达图像可以为临近强降水预报提供准确的时空参考数据。近两年循环神经网络模型应用于天气雷达回波图象外推得到了较好的结果。本文基于分析现有ConvLSTM和TrajGRU模型的基础上,从输入雷达数据层数和修改模型损失函数两个方面对循环神经网络外推模型进行改进,并对业务上的雷达图象序列和竞赛雷达图象序列进行试验。试验结果表明,改进的外推模型能更好地捕捉时空相关性,具有更精确的外推效果。     

深度细粒度图像识别研究综述

细粒度图像分类是计算机视觉中一项基础且重要的工作,其目的在于区分难以辨别的对象类别（例如不同子类的鸟类、花或动物）.不同于传统的图像分类任务可以雇佣大量普通人标注,细粒度数据集通常需要专家级知识进行标注.除了视觉分类中常见的姿态、光照和视角变化因素之外,细粒度数据集具有更大的类间相似性和类内差异性,因此要求模型能够捕捉到细微的类间差异信息和类内公有信息.除此之外,不同类别的样本存在不同程度的获取难度,因此细粒度数据集通常在数据分布中表现出长尾的特性.综上所述,细粒度数据分布具有小型、非均匀和不易察觉的类间差异等特点,对强大的深度学习算法也提出了巨大的挑战.本文首先介绍了细粒度图像分类任务的特点与挑战,随后以局部特征与全局特征两个主要视角整理了目前的主流工作,并讨论了它们的优缺点.最后在常用数据集上比较了相关工作的性能表现,并进行了总结与展望.     

图像艺术风格化的研究现状

图像艺术风格化作为一个正在蓬勃发展的领域被越来越多的人熟知,也引起了众多学者的研究兴趣.本文总结了图片风格化的发展现状,分析了不同风格化方法的特点,指出了目前风格化方法的缺点,总结了图片风格化的发展趋势,为进一步研究图片风格化提供了方向.     

图像特征检测与匹配方法研究综述

几十年来,图像特征检测与匹配一直是图像处理的最核心领域之一,是计算机视觉的基石.没有特征检测与匹配就没有SLAM、Sfm、AR、通用图像检索、图像配准、全景图像等视觉任务.本文在回顾几十年来的经典检测算法的基础上,阐述了引用最新的以深度学习为首的机器学习算法后,在本领域取得的最新进展,包括特征点、局部特征子、全局特征子、匹配及优化、端到端框架等所有关键点,展示了算法各自的优缺点.总而言之,面对工业界的宽基线、实时、低算力检测的要求,图像特征检测和匹配仍然是一项未能完整攻克的任务,融合特征点、局部特征子、全局特征子、匹配及优化的多任务全局框架成为未来发展的趋势.     

面向智能驾驶视觉感知的对抗样本攻击与防御方法综述

现如今,深度学习已然成为机器学习领域最热门的研究方向之一,其在图像识别、目标检测、语音处理、问答系统等诸多领域都取得了巨大成功.然而通过附加经过特殊设计的细微扰动而构造出的对抗样本,能够破坏深度模型的原有性能,其存在使许多对安全性能指标具有极高要求的技术领域,特别是以视觉感知为主要技术优先的智能驾驶系统,面临新的威胁和挑战.因此,对对抗样本的生成攻击和主动防御研究,成为深度学习和计算机视觉领域极为重要的交叉性研究课题.本文首先简述了对抗样本的相关概念,在此基础上详细介绍了一系列典型的对抗样本攻击和防御算法.随后,列举了针对视觉感知系统的多个物理世界攻击实例,探讨了其对智能驾驶领域的潜在影响.最后,对对抗样本的攻击与防御研究进行了技术展望.