基于三维骨骼信息的动态手势识别

手势识别作为人机交互的有效手段,成为当前研究的热点话题.针对动态手势识别存在时空多变性、特征复杂性等问题,本文提出了一种基于三维骨骼信息的动态手势识别方法.动态手势具有时间上的差异性和复杂性,极大地影响了动态手势识别的准确率.因此,本文设计了一种动态手势关键帧提取算法,该算法可以提取动态手势关键部分,用于进一步的特征提取.另外,单独分类器的分类效果存在差异性,本文采用多个分类器同时对手势特征进行分类,充分利用了所提取的特征.同时,本文还提出了一种自适应融合算法,可以根据分类精度有效融合不同分类器,提高最终分类效果.最后,通过实验验证了本文提出的动态手势识别框架和方法的有效性.     

基于多尺度融合网络的高速公路能见度估计北大核心

为了实现近实时公里级的高速公路能见度监测,提出了一种基于多尺度融合网络的能见度估计方法。首先,从道路监控视频中提取道路场景图像,并对图像进行质量控制;分别采用引导滤波、光谱滤波、景深估计模型从路面场景图像中提取细节结构特征、光谱特征与场景深度特征;然后,构建多尺度融合网络自适应融合结构特征、光谱特征与场景深度特征,并从中提取能见度特征;最后在网络末端输出图像场景所对应的能见度等级。此外,为了训练与测试模型,构建了真实道路场景图像数据集,共包含18 000张标注图像。实验结果表明,多尺度融合网络可显著提升高速公路能见度估计的准确性,能见度等级分类准确率可达81.76%。     

CAST-LSTM：一种用于雷达回波外推的时空LSTM模型

基于循环神经网络的雷达回波外推算法的预报结果随时间逐渐模糊失真，同时难以预报强回波区域。针对上述问题，提出一种上下文融合和注意力机制的时空长短期记忆网络模型。该方法通过上下文融合模块充分提取雷达图像不同尺度的短期上下文信息；通过注意力模块拓宽预测单元的时间感受域，使模型感知更多的时间动态。以2019—2021年4—9月江苏省气象雷达数据为样本，通过试验对比分析，基于上下文融合和注意力机制的时空长短期记忆网络取得了更好的预测性能。在外推60min，阈值为10、20、40 dBz的条件下，临界成功指数和HSS分别达到0.7611、0.5326、0.2369和0.7335、0.5735、0.3075，有效提高了预测精度。     

基于多模态的音乐推荐系统

使用传统协同过滤的方式进行推荐往往会忽视音乐底层特征.通过将音乐的音频特征与歌词信息进行多模态融合,并将融合后的特征信息作为协同过滤推荐的补充,提出了一种基于多模态的音乐推荐系统.主要探讨了音频特征与歌词信息的提取,并在提取歌词信息时利用LDA主题模型进行特征降维.针对多模态融合问题,使用一种特征级联早融合法（EFFC）融合方式,并将多模态融合后的结果与单模态结果进行了比较.对于结果的推荐,以多模态特征信息为依据建立用户兴趣模型,并将该模型通过LSTM神经网络,以过滤与优化协同推荐的用户组.结果表明,基于多模态的音乐推荐系统将推荐结果的误差项平方和（SSE）由传统的2.009降至0.388 6,验证了该方法的有效性.     

关系挖掘驱动的视频描述自动生成

视频的自动描述任务是计算机视觉领域的一个热点问题.视频描述语句的生成过程需要自然语言处理的知识,并且能够满足输入（视频帧序列）和输出（文本词序列）的长度可变.为此本文结合了最近机器翻译领域取得的进展,设计了基于编码-解码框架的双层LSTM模型.在实验过程中,本文基于构建深度学习框架时重要的表示学习思想,利用卷积神经网络（CNN）提取视频帧的特征向量作为序列转换模型的输入,并比较了不同特征提取方法下对双层LSTM视频描述模型的影响.实验结果表明,本文的模型具有学习序列知识并转化为文本表示的能力.     

基于亮度对比度和暗原色先验原理的白天道路图像能见度检测方法

低能见度是对道路通行影响最为严重的气象要素之一。随着数字摄像技术和图像识别技术的发展以及气象和交通部门间信息共享工作的开展,利用高速公路沿线摄像头视频数据快速识别能见度成为提高能见度时空监测精度的重要手段。本文提出了一种基于亮度对比度和暗原色先验原理的白天道路图像能见度检测方法。首先根据霍夫变换直线检测方法提取道路兴趣域,然后根据亮度对比度方法检测人眼可分辨最远像素点,将其作为目标点,最后基于暗原色先验原理求取目标点的透射率,并根据能见度与消光系数的关系公式求取图像能见度值。利用安徽省京台高速吴玗北段和宁绩高速宁国互通段视频图像资料和邻近交通气象站能见度监测资料,采用绝对误差和能见度等级误差对能见度检测效果进行检验。结果表明,本方法对能见度的变化较为敏感,能见度等级的检测效果较好,准确度可达95%,对开展公路交通视频图像能见度识别工作具有较好借鉴应用意义。     

基于图卷积网络的多标签食品原材料识别

当前,食品图像的营养成分识别主要还是集中在食品类别的识别以及作为多标签任务的识别.但是这两种方法并不具备很好的判别性,因为它们忽略了原材料之间的潜在关系.因此,本文在前期工作的基础上引入了原材料之间的关系.具体地说,我们的工作主要分为图像特征提取和原材料关系学习两部分.图像特征提取通过卷积神经网络提取到图像的低维特征向量.图卷积网络通过使用图数据（图的每个节点表示原材料的词嵌入,边表示节点之间的相关性）,将图数据直接映射到一组相互依赖的分类器中,并与图像的低维特征向量融合,最后进行分类.通过在Food-101和VireoFood-172两个食品数据集上进行实验,并与当前最好的实验模型进行对比,发现基于图卷积的食品多标签分类方法可以有效地提高食品图像的分类性能.     

一种基于实景图像的低能见度识别算法

为了利用大量视频监控设备提高能见度数据采集密度,提出一种基于实景图像转换的、采用简单卷积神经网络分类提取能见度等级的算法。该算法假设视频设备水平安装且具备开阔视野, 对原始视频图像进行水平分块,提取各分块的梯度、饱和度和亮度信息组成新的图像,基于简单卷积神经网络建模。采用2019年9月—2020年12月上海洋山港气象站29668张视频图像进行训练,建立识别模型,并采用2021年1—5月5757张视频图像对模型进行测试。采用该算法建立的模型参考雾的预报等级(GB/T 27964—2011)将能见度分为5个等级进行检验,白天准确率为87.99%,夜间准确率为81.32%,优于直接采用AlexNet模型。对1000 m以下低能见度天气的识别准确率达95%以上。利用现有的视频摄像头,可有效弥补气象站点能见度仪数据不足的问题,在气象业务上有一定的应用价值。     

基于多尺度特征融合网络的云和云阴影检测试验

基于深度学习的高分辨率光学影像云检测过程中,云和云阴影及其边缘细节丢失较为严重,主要原因在于不同尺度空间语义信息特征融合存在不足。针对该问题,本文构建一种基于深度学习的多尺度特征融合网络（Multi-scale Feature Fusion Network, MFFN）的云和云阴影检测方法,该算法结合防止网络退化的残差神经网络模块（Res.block）、扩大网络感受野的多尺度卷积模块（MCM）和提取并融合不同尺度信息的多尺度特征模块（MFM）。试验表明,本算法能提取丰富的空间信息与语义信息,可取得较为精细的云与云阴影掩模,具有较高检测精度,其中云检测准确率达0.9796,云阴影检测准确率达0.8307。同时,该工作可为深度学习技术应用于业务云检测提供理论支持及技术储备。     

基于迁移学习和Xception网络的海雾能见度等级估测研究

采用基于Xception卷积神经网络算法构建了一个海雾能见度识别的框架,通过对海雾能见度探测设备同位置摄像头监控图像的采集,将图像样本结合能见度数据进行标签分类,利用迁移学习结合Xception网络进行训练,提取图像能见度特征,构建能见度等级估测模型,实现能见度等级的估测。通过对浙江省宁波市北仑区三山大闸摄像头监控进行图像的采集,抽取万余有效样本进行训练,进行能见度等级识别结果分析,结果显示模型识别精度可达99.36%,验证集准确率可达99.20%。基于Xception算法的海雾能见度等级估测方法如果在数据集健康准确的情况下,能够满足海雾能见度实时性和识别准确率的要求,可以作为未安装能见度探测设备地区的能见度等级辅助监测方法。     

融合无人机LiDAR和高分辨率光学影像的点云分类方法

点云分类是激光点云数据处理的重要环节,探索自动、高效、高精度的点云分类方法具有重要意义.通过分析同机获取的LiDAR点云与高分辨率光学影像的特点,提出了融合无人机LiDAR与高分辨率光学影像的点云分类方法.首先将LiDAR点云投影到二维平面并构建不规则三角网模型,然后寻找同名点对完成与光学影像的配准与融合,进而将光学影像的光谱信息赋予无人机LiDAR点云,接着从光学影像上提取光谱特征、从LiDAR点云上提取多尺度几何特征构建分类特征集,进一步通过CFS特征选择算法实现特征集的降维,最后运用随机森林分类算法实现点云分类.实验结果表明,本文分类方法的总体精度可达89.5%,Kappa系数为0.844,与未经特征选择的分类结果相比精度提高了1.1个百分点,与单纯依靠LiDAR或者光学影像的分类相比,精度分别提高了5.4和14.9个百分点.本文方法不仅有效避免了基于点云属性内插构建新的图像融合方式带来的计算误差,同时解决了单尺度下构建几何特征时难以确定最优空间分析尺度的问题,并且对特征集进行优化选择从而有效提高了数据处理的效率.     

基于注意力特征提取网络的图像描述生成算法

针对解决图像描述生成中对浅层图像特征利用不充分、图像目标间关系提取不足的问题,提出一种基于注意力图像特征提取的图像描述生成算法.通过语言模型上下文信息对不同深度图像特征进行自适应注意力权重分配,使带有注意力的图像特征参与指导图像描述生成,提升了图像描述生成的效果.在MSCOCO测试集中所提算法的BLEU-1和CIDEr得分分别达到0.752和0.934,从而验证了所提算法的有效性.     

基于改进mRMR特征选择的云型识别研究

传统的云型识别主要是提取云的颜色、纹理和形状等特征,但这些特征中存在不相关和冗余特征,导致云型识别率降低.在最大相关最小冗余（max relevance and min-redundancy,mRMR）特征选择方法的基础上,运用互信息标准化形式（Symmetrical Uncertainty,SU）克服互信息偏向于取值较多属性的固有缺点,提出了改进的mRMR特征选择方法,对云的综合特征集进行特征筛选,筛选出最优特征子集,运用支持向量机进行云型识别.试验结果表明该方法优于mRMR方法,使层云、积云、高积云、卷云和晴空5种天空类型的总正确率提高,特征选择前、后的总识别率分别为86.96％、89.04％,识别率提高了2％;对于云型识别研究,经过特征选择后可知纹理特征优于形状特征,基于形状的Zernike矩优于HU不变矩,基于纹理的灰度共生矩阵为最优特征提取方法.     

基于社会多媒体内容的用户建模应用研究

随着互联网和社会媒体平台的发展,社会媒体吸引着数以亿计的用户参与其中进行创造和分享信息,产生了海量的文本、图像、音频和视频数据.面对这些数量巨大、异构多源、模态复杂的社会多媒体内容数据,如何对其进行有效的内容理解和知识表示,从而为用户提供更高效、优质的服务,成为实现社会媒体大数据价值的关键.本文对近年来在社会多媒体内容分析、知识提取和表示以及用户建模应用的相关研究展开综述,并针对社会多媒体特征融合、跨模态知识提取与表示,以及基于社会媒体的用户建模相关应用研究三个方面进行详细总结.随后对社会多媒体内容的知识表示和用户建模的研究与应用的发展趋势进行介绍,最后对多媒体知识表示与用户建模研究进行了总结和展望.     

基于RBF神经网络的人脸识别研究

针对人脸识别技术中存在的高维问题、小样本问题和非线性问题展开研究.围绕人脸特征提取,采用基于主成分分析和Fisher线性鉴别来克服在人脸识别中的小样本问题,同时将人脸图像从高维空间映射到低维空间从而解决了高维问题;在分类识别方面,采用具有很强的非线性映射功能的RBF神经网络进行模式分类,能够解决人脸识别中的非线性问题.在ORL人脸数据库上进行的仿真实验表明,该方法进行人脸识别具有较高的识别率.