多模态融合的家庭音乐相册自动生成

随着大数据以及社交网络的发展,电子相册与在线服务成为如今人们使用计算机与互联网的基础应用.尤其是近年社交网络的流行,电子相册的数量得到了爆炸增长,而如何增强相册的用户体验变得尤为重要.具有某种主题的相册一般都带有一定的情感信息,因此,本文研究了基于多模态融合的家庭音乐相册自动生成问题,旨在使用户能够在享受音乐的同时配以与音乐情感相同的相册图片.针对音乐与图片中所蕴含的情感,本文在音乐和图像中分别选取能够表达其情感的句子级别的音频特征和图像特征,然后在图像与音乐之间异构和跨模态的特征融合问题上,采用局部保持投影（LPP）方法,将图像特征与音乐特征映射到更具情感分类能力的隐式特征空间中,实现了音乐相册的自动生成.在实验中,客观评测结果表明,采用LPP方法在查准率方面高于纯CCA方法;在主观评测中LPP获得72.06%的满意度,与人工推荐的评价结果（78.09%）比较接近,明显高于随机推荐和CCA方法的满意度.     

融合多模态特征的社会多媒体谣言检测技术研究

以微博为代表的社会媒体的蓬勃发展在加速信息交流的同时,也促使虚假谣言信息迅速在社会网络上传播,造成严重的后果.自动谣言检测问题受到了国内外学术界、产业界的广泛关注.围绕社会多媒体谣言检测这一问题,本文总结了融合多模态特征的谣言检测相关技术.首先从基本概念出发,阐述了谣言的定义和社会多媒体的特点,给出了社会多媒体谣言检测问题的定义.针对谣言检测面临的多模态特征抽取和模型构建两大难点,分别总结和归纳了各种类型的特征及其提取方法和不同的机器学习检测模型.这些特征和算法是检测谣言的基本手段,也是接下来研究的基础,可为进一步谣言检测的研究提供参考.     

基于生成对抗网络的音乐标签自动标注

针对如何快速有效地对音乐信息进行查询、检索和组织的问题,提出了一种基于生成对抗网络模型的多标签音乐自动标注系统.通过音乐自动语义标注技术,可以提高音乐检索系统的性能.利用LDA方法对音乐标签进行聚类以获取主题类别,再通过生成对抗网络,找到音乐的音频特征与语义特征之间的映射关系.应用于CAL500数据集的5次交叉验证实验结果表明,该方法的综合性能指标与现有方法相比有较大的提升.     

基于关键帧的双流卷积网络的人体动作识别方法

针对视频序列中人体动作识别存在信息冗余大、准确率低的问题,提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入,送入VGG16网络模型,提取视频的深度特征;其次提取视频的关键帧,通过不断预测每个视频帧的重要性,选取有足够信息的有用帧并汇聚起来送入神经网络进行训练,选出关键帧并丢弃冗余帧;最后将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体动作识别器,实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明,与当前人体动作识别的主流方法相比,该方法具有较高的识别率,并且相对降低了网络的复杂度.     

基于情境感知和序列模式挖掘的气象学习资源推荐算法

随着互联网的快速发展,气象部门职工作为学习者可以获得的学习资源得到极大丰富。信息超载导致检索合适的在线学习资源时遇到了困难;学习者在不同学习环境和序列访问模式上也有不同的学习需求。但是,现有的推荐系统,如基于内容的推荐和协同过滤,没有结合学习者的情境和序列访问模式,推荐结果准确度不高。本文提出了一种结合情境感知、序列模式挖掘和协同过滤算法的混合推荐算法来为学习者推荐学习资源。混合推荐算法中,情境感知被用来整合学习者的情境信息,如知识水平和学习目标;序列模式挖掘被用来对网络日志进行挖掘,发现学习者的序列访问模式;协同过滤被用来根据学习者的情境数据和序列访问模式为目标学习者计算预测并生成建议。实验和应用效果表明,该混合推荐算法推荐的质量和准确性方面优于其他推荐算法。     

一种基于三部图网络的协同过滤算法

推荐系统是电子商务领域最重要的技术之一,而协同过滤算法又是推荐系统用得最广泛的.提出了一种基于加权三部图网络的协同过滤算法,用户、产品及标签都被考虑到算法中,并且研究了标签结点的度对用户相似性计算的影响.实验结果表明,此算法在解决用户冷启动问题的同时,还具有较高的推荐准确性.     

基于深度学习的个性化新闻推荐

由于网络上每天有海量的新闻报道产生,新闻推荐已经成为减轻用户信息负载、实现个性化新闻信息获取的重要途径,并被广泛用于新闻网站和新闻APP中以提升用户体验.不同于传统的商品推荐,在新闻推荐中新的新闻文章产生速度很快,而且新闻的语义信息需要结合整体新闻文本去理解,给传统的基于ID和基于特征的推荐算法带来了很大的挑战.此外,用户的新闻阅读兴趣存在高度多样性和动态性的特点,使得准确的用户建模变得非常困难.本文介绍了一些基于深度学习的个性化新闻推荐算法,并探讨了新闻推荐未来的一些可行的方向.     

融合无人机LiDAR和高分辨率光学影像的点云分类方法

点云分类是激光点云数据处理的重要环节,探索自动、高效、高精度的点云分类方法具有重要意义.通过分析同机获取的LiDAR点云与高分辨率光学影像的特点,提出了融合无人机LiDAR与高分辨率光学影像的点云分类方法.首先将LiDAR点云投影到二维平面并构建不规则三角网模型,然后寻找同名点对完成与光学影像的配准与融合,进而将光学影像的光谱信息赋予无人机LiDAR点云,接着从光学影像上提取光谱特征、从LiDAR点云上提取多尺度几何特征构建分类特征集,进一步通过CFS特征选择算法实现特征集的降维,最后运用随机森林分类算法实现点云分类.实验结果表明,本文分类方法的总体精度可达89.5%,Kappa系数为0.844,与未经特征选择的分类结果相比精度提高了1.1个百分点,与单纯依靠LiDAR或者光学影像的分类相比,精度分别提高了5.4和14.9个百分点.本文方法不仅有效避免了基于点云属性内插构建新的图像融合方式带来的计算误差,同时解决了单尺度下构建几何特征时难以确定最优空间分析尺度的问题,并且对特征集进行优化选择从而有效提高了数据处理的效率.     

基于多尺度融合网络的高速公路能见度估计北大核心

为了实现近实时公里级的高速公路能见度监测,提出了一种基于多尺度融合网络的能见度估计方法。首先,从道路监控视频中提取道路场景图像,并对图像进行质量控制;分别采用引导滤波、光谱滤波、景深估计模型从路面场景图像中提取细节结构特征、光谱特征与场景深度特征;然后,构建多尺度融合网络自适应融合结构特征、光谱特征与场景深度特征,并从中提取能见度特征;最后在网络末端输出图像场景所对应的能见度等级。此外,为了训练与测试模型,构建了真实道路场景图像数据集,共包含18 000张标注图像。实验结果表明,多尺度融合网络可显著提升高速公路能见度估计的准确性,能见度等级分类准确率可达81.76%。     

基于社会多媒体内容的用户建模应用研究

随着互联网和社会媒体平台的发展,社会媒体吸引着数以亿计的用户参与其中进行创造和分享信息,产生了海量的文本、图像、音频和视频数据.面对这些数量巨大、异构多源、模态复杂的社会多媒体内容数据,如何对其进行有效的内容理解和知识表示,从而为用户提供更高效、优质的服务,成为实现社会媒体大数据价值的关键.本文对近年来在社会多媒体内容分析、知识提取和表示以及用户建模应用的相关研究展开综述,并针对社会多媒体特征融合、跨模态知识提取与表示,以及基于社会媒体的用户建模相关应用研究三个方面进行详细总结.随后对社会多媒体内容的知识表示和用户建模的研究与应用的发展趋势进行介绍,最后对多媒体知识表示与用户建模研究进行了总结和展望.     

基于多尺度特征深度学习的短临降水预报

雷达回波外推是短临降水预报的一种重要方法。针对雷达回波外推中随着外推时间的增加而出现回波演变信息丢失这一问题,本文提出一种多尺度特征融合的深度学习短临降水预报模型(以下简称为MSF2)。首先,采用多尺度的卷积核对网络的浅层信息进行特征提取,弥补单一特征检测带来的不足。其次,将不同维度的特征信息进行拼接及通道混洗,进一步增强特征图通道之间的信息流通和信息表达能力。最后,将特征图中的多尺度信息进行融合,从而有效保留不同尺度的特征信息。利用华南雷达回波拼图资料数据,在3种不同降水强度（5 mm/h、10 mm/h和25 mm/h）下进行降水预报研究,并与光流法和ConvLSTM两种主流算法进行了对比。结果显示,在3种不同降水强度条件下,MSF2在所有评价指标（命中率POD、临界成功指数CSI、误报率FAR）中表现最优,这表明引入多尺度机制能改善模型的特征提取能力。相比于目前主流的光流法和ConvLSTM,本文提出的模型对于短临降水预报具有较好的适用性和较高的预报精度,而且实现了业务化运行。     

多普勒天气雷达速度PPI图散度分布信息提取

根据大面积降水回波径向速度PPI图像产品辐合辐散特征,提出采用中值滤波法来剔除噪声污染和用逐点数据对称法来削弱回波缺失和距离折叠引起的误差。在考虑了降水粒子下落速度的情况下,采用模糊定位法来提取速度图中风速性散度特征,用直方图形式表征风向性散度特征。最后通过比较分析,说明了提取方法可较好的表征PPI速度图中的散度信息,计算散度所表征的动力学特征与大面积降水过程有较好的对应关系。     

TTS技术在气象预警中的应用

针对基层气象台站天气预警信息发布不及时、语音质量不高的情况,开发一种原理简单、可靠耐用的基于TTS语音合成技术的气象预警信息语音合成系统。介绍了在.NET平台中,采用C#语言,对通过多种方式进行分析、评估而生成的气象预警信息文件进行监控,然后利用TTS语音合成技术实现气象预警信息从文本状态转化为声音信息,最后自动生成为气象预警音频文件,并通过GSM/CDMA/3G网络等,发送预警信息到用户手机、终端报警器和农村信息机的具体过程。该系统能够及时监控服务器中预警文件的生成并进行文字和声音报警,提醒值班人员及时发现预警信息,予以修改订正,并转化为声音文件通过现有各种预警发布方式及时发布。系统已于2012年汛期在益阳市所辖县气象局实现业务运行,运行近两年来,系统工作稳定,不但提高了语音合成质量,同时更加有效地减轻了预报服务人员工作量,提高了气象预警发布时效,在气象预警发布工作中发挥了重要作用。