基于Faster R-CNN的食品图像检索和分类

面向食品领域的图像检索和分类等方面的研究成为多媒体分析和应用领域越来越受关注的研究课题之一.当前的主要研究方法基于全图提取视觉特征,但由于食品图像背景噪音的存在使得提取的视觉特征不够鲁棒,进而影响食品图像检索和分类的性能.为此,本文提出了一种基于Faster R-CNN网络的食品图像检索和分类方法.首先通过Faster R-CNN检测图像中的候选食品区域,然后通过卷积神经网络（CNN）方法提取候选区域的视觉特征,避免了噪音的干扰使得提取的视觉特征更具有判别力.此外,选取来自视觉基因库中标注好的食品图像集微调Faster R-CNN网络,以保证Faster R-CNN食品区域检测的准确度.在包括233类菜品和49 168张食品图像的Dish-233数据集上进行实验.全面的实验评估表明：基于Faster R-CNN食品区域检测的视觉特征提取方法可以有效地提高食品图像检索和分类的性能.     

基于Mask R-CNN的遥感影像土地分割与轮廓提取

传统的模式识别难以对土地遥感影像一次性精确统计分析.在精确分割出土地种类的前提下,本文提出了一种基于骨干网络为ResNet-101-RPN的Mask R-CNN的遥感影像土地分割与轮廓提取方法.该方法包括以下步骤：数据获取、图像去雾、遥感影像土地统计分析、土地分割和轮廓获取.在一个具有挑战性的卫星地图瓦片数据集上对所提出的方法进行训练和测试.实验结果表明,该方法以0.907的均值平均精度（mAP）和31.33像素的均值平均距离误差（mADE）获得了令人满意的不同种类土地分割和轮廓提取结果.     

基于雷达组合反射率拼图和深度学习的中尺度对流系统识别、追踪与分类方法

中尺度对流系统（Mesoscale Convective System,MCS）是很多对流性天气的主要致灾体,可导致严重的气象和水文灾害,如雷暴大风、冰雹、龙卷风和山洪。对MCS进行准确的识别和追踪,并根据追踪轨迹及获得的MCS特征实现MCS的分类,对灾害天气的分析和预报有重要意义。基于京津冀地区2010—2019年的雷达组合反射率拼图资料,分别使用支持向量机（SVM）、随机森林（RF）、极度梯度提升决策树（XGBoost）和深度神经网络（DNN）4种机器学习方法,研发了京津冀地区MCS的自动识别算法。使用时、空重叠追踪法对识别的MCS进行追踪匹配,得到包含强度、时间和空间信息的MCS追踪数据资料。在区分线状对流系统和非线状对流系统的基础上,进一步从经典的尾随层云（Trailing Stratiform,TS）、前导层云（Leading Stratiform,LS）和平行层云（Parallel Stratiform,PS）三类准线性MCS的概念模型和结构特征出发,根据追踪轨迹计算MCS的运动方向和MCS近似长轴两侧层状云和强对流云的面积占比,建立准线性MCS的分类算法。MCS的识别属于二分分类问题,以命中率（POD）、虚警率（FAR）、临界成功指数（CSI）和准确率（ACC）为评价指标,综合对比各项指标发现DNN模型较SVM、RF和XGBoost模型对MCS的识别效果更好。使用时、空重叠追踪法对DNN模型识别的MCS进行追踪,结合对两个追踪实例的分析,发现本研究所用的算法取得了很好的追踪结果,也进一步说明了深度学习方法识别MCS的准确性和优势。根据追踪轨迹计算某时刻MCS的运动方向,结合识别的层状云和强对流云的分布位置,准确实现了TS、LS和PS型准线性MCS的分类,为准线性MCS的生命史预测及其致灾天气特别是短时强降水的强度、位置和持续时间的客观预报提供了一种技术思路。      

基于深度学习的天气雷达异常数据识别技术

天气雷达基数据中因观测设备故障或标定问题而产生的异常数据, 直接影响天气雷达数据质量、定量估测降水及天气系统的分析和判断。目前在中国气象局气象探测中心实时业务中, 通过人工勘误环节对异常数据进行处理。针对2020—2022年业务中勘误较多的、大面积故障异常和易与降水数据混合的局部电磁干扰或故障的两类异常数据, 分别构建和训练R-ResNet和R-LinkNet两种模型, 提取雷达硬件故障、电磁干扰等特征, 实现异常数据的识别和处理。评估结果表明:两种模型在提取异常数据特征方面均具有很强的学习能力, R-ResNet在分类判识异常数据与正常数据的准确率超过99%, R-LinkNet在分离电磁干扰杂波和降水回波的准确率超过98%。两种模型可用于实时业务中监控和勘误电磁干扰、故障等异常数据, 实现异常数据的自动勘误处理。     

基于Tesseract-OCR的复杂发票自适应识别

针对复杂发票任意区域下的特定表格内容提取与实时识别问题,提出了一种基于Tesseract-OCR引擎的自适应识别方法.首先利用OpenCV对发票图像进行预处理滤波、自适应阈值等一系列预处理得到二值图像;然后利用形态学中的开运算提取表格全域线段,进行表格位置提取,并结合表格交点坐标与自定义模板,实现表头与内容自适应适配;最后利用jTessBoxEditor对表格区域内容进行字库训练优化,最终实现基于Tesseract-OCR的字符识别.实验结果表明该方法具有高准确识别率,支持感兴趣区域自适应识别,具备高可用性.     

基于“深度学习”识别模型的玉米农田监测应用系统设计与实现

为了精准判断玉米所处生长阶段,远程实时监测玉米长势,分析生长阶段与田间环境要素间的关系,本文提出深度局部关联神经网络,克服了玉米生长阶段识别中存在的多模态和模糊性问题,在Oxford VGGNet(Visual Geometry Group Net)模型中添加一个新的监督层,即局部关联损失层,提高深层特征的判别能力。基于所提的玉米生长阶段图片识别新算法,拓展环境要素监测功能,设计一套基于深度学习的玉米农田监测系统。系统由玉米农田监测装置和云端服务器组成,监测装置采集玉米图像、气象要素和田间位置数据,通过4G无线发送给云端服务器,云端服务器利用深度局部关联神经网络识别生长阶段,显示结果并存入数据库中。仿真试验表明,深度局部关联神经网络平均识别准确率达到92.53%,较VGGNet的87.21%和LSTM的88.50%,准确率分别提高了5.32%和4.03%。实地测试结果表明,野外环境下系统准确率可达到91.43%,能够稳定地对农田玉米生长情况进行监测,具有重要的应用价值。     

基于雨声识别的雨量测量方法

针对传统雨量测量耗时长,维护不方便的问题,本文在分析声信号识别技术的基础上,提出了基于雨声识别的雨量测量方法,模拟人耳听觉中对频域划定的非线性性和对同一频率群声信号作叠加评价的机理,将傅里叶变换后的能量谱通过梅尔(Mel)滤波器,提取雨声的梅尔频率倒谱系数(MFCC)作为雨声信号的特征向量。在此基础上,构建一个三层BP神经网络,将归一化后的样本数据用于神经网络训练,最后将测试样本用于对雨量的识别。试验结果表明,在少量样本训练的基础上神经网络即能有效识别雨量大小,为声信号识别技术应用于更为精准的雨量测量提供了理论依据。     

基于机器学习的冰雹天气识别研究

利用2017—2019年贵州省威宁彝族回族苗族自治县的C波段天气雷达数据,提取了多种与冰雹相关的雷达特征参量,并结合地面降雹记录建立了客观的冰雹样本标记方法。通过支持向量机、决策树和朴素贝叶斯三种机器学习方法,对冰雹高发区贵州省威宁的冰雹天气过程进行建模与评估。评估结果表明,采用机器学习方法可以有效地识别冰雹天气过程。支持向量机和决策树方法的命中率(Probability of Detection, POD)均较高,分别为88.9%和90.5%;临界成功指数(Critical Success Index, CSI)分别为73.1%和70.3%;误报率(False Alarm Rate, FAR)分别为19.6%和24.1%。朴素贝叶斯方法的POD和CSI相对偏低,分别为67.8%、62.8%,但FAR最低,为10.6%。     

GMS卫星红外云图强对流云团的识别与追踪

如何有效将基于预报员经验的、不受物理公式约束的强降水天气特征作为先验知识融入到深度学习模型,是提升强降水临近预报准确率面临的重要挑战之一。首先,简述了目前主流的深度学习模型以及一些已开展的针对深度学习模型可解释性的探索成果;然后,对目前常用的几种强降水临近预报方法进行了简单介绍;最后,通过对深度学习方法在强降水临近预报技术中改进的思考,提出了将先验知识融入到深度学习模型的可能途径,具体包括: 将一些经验特征进行量化或自动识别后作为模型输入,将预先提取的特征作为模型标签,在模型架构中嵌入先验知识的量化编码,结合可求导的检验指标设计损失函数对模型进行优化;同时指出,需要提高对强降水临近预报产品的主客观评估的一致性,以便能更好地确定强降水临近预报技术的改进方向。

     

基于人工神经网络的GMS云图四类云系的识别

应用人工神经网络方法较成功地识别了GMS云图中的四类云系,并与传统的统计识别方法进行了对比,得出结论:神经网络方法更适合于云系的特征识别。还研究了神经网络本身的问题,取得一些网络设计的经验。     

基于南京地区雷达资料的雷电识别指标初探

不同地区因地理环境、天气条件等因素的不同,闪电活动的特征也有很大的差别,相应的雷电识别指标也有所不同。本文利用多普勒天气雷达资料,结合探空、闪电定位仪资料,通过对9个不同识别指标的对比分析,并用南京2008年4月8日、5月27日的雷达体扫资料和以雷达为中心、240km内的闪电定位仪资料对识别指标进行叠加检验,得到南京地区这两次雷暴天气过程的雷电识别最佳指标为:40dBz回波达到-10℃层结高度,回波水平梯度≥4dBz/km。检验过程中还发现,该指标识别负云地闪效果明显好于正云地闪。     

基于深度学习的强对流高分辨率临近预报试验

强对流天气临近预报、预警在气象灾害防御中具有极为重要的地位。在气象业务中,因对强对流天气临近预报、预警准确率和时、空分辨率的极高要求,使其成为业务难点和研究热点之一。对于高时、空分辨率强对流临近预报问题,尝试用深度学习方法来解决。首先将强对流临近预报抽象成同时包含时间和空间的序列预测问题;然后基于改进的循环神经网络算法形成的自编码模型,使用京津冀地区长序列、高时空分辨率天气雷达组网拼图数据进行模型训练;最后利用基于历史0.5 h雷达回波拼图数据训练得到的端到端神经网络,预报未来1 h内的逐6 min回波演变特征。通过基于传统外推算法的临近预报方法与深度学习算法的临近预报方法进行对比,发现使用的深度学习方法可以有效“学习”到高时、空分辨率序列雷达数据特征的内在关联,通过多层神经网络构造出抽象的深层特征,能够有效捕捉到雷达回波的演变规律和运动状态。通过计算雷达回波预报的命中率（POD）、虚警率（FAR）、临界成功指数（CSI）等检验表明,相较传统外推临近预报方法,在强对流回波临近预报准确率上有较明显提高。      

利用雷达回波三维拼图资料识别雷暴大风统计研究

应用雷达回波三维组网拼图数据、加密自动站和地面灾害大风资料,对2008—2012年京津冀地区20次区域性雷暴大风天气过程进行了统计。检验了基于模糊逻辑建立的利用回波强度识别大风的算法,分析了大风出现的位置。该大风识别算法确定了雷暴大风的6个雷达识别指标及其对应的权重系数和不同季节的隶属函数。检验分析块状回波、带状回波和片状回波3类大风过程的识别效果,结果表明：块状回波类大风是由孤立的强单体风暴引发的,风暴单体具有回波强、回波顶高、垂直积分液态水含量大和移动快等特点,雷暴大风多出现在风暴单体附近且二者移动路径一致;带状回波的长度远大于宽度,主要包含飑线和弓状回波,大风影响范围广且多位于带状回波的前沿一带;片状回波多指大面积层云回波中镶嵌着强回波单体块的混合回波,对应出现的雷暴大风多位于风暴单体的周边区域。3类回波识别到的可能出现大风区域与实测大风范围基本吻合,块状、带状和片状3种类型的雷暴大风命中率分别为96.2%、68.6%和45.3%,漏报率分别为3.8%、31.4%和54.7%。由于垂直积分液态水含量偏低和回波强度弱,片状雷暴大风识别漏报相对较多;空报原因除了与测站分布稀疏有很大关系外,也与识别算法本身有关。识别检验证明雷暴大风综合识别方法是合理可靠、切实可行的,可以为雷暴大风的短时临近预警业务和系统开发提供技术支撑,这一工作也为进一步预警大风出现的位置提供了基础。     

基于深度学习的天气雷达回波序列外推及效果分析

天气雷达探测资料是进行强对流天气临近预报的主要参考数据。针对传统雷达回波外推方法中存在资料信息利用率不足和外推时效有限的问题,文中利用神经网络进行雷达回波的外推、利用预测神经网络模型进行2 h以内的回波变化预报。回波外推问题的关键是回波时、空序列预测问题,该网络具有解决时间记忆问题的长、短时记忆单元（Long Short-Term Memory,LSTM）和提取空间特征的卷积模块。应用福建、江苏和河南多年的雷达探测资料构造训练和测试数据集。为消除降水的不平衡和提高对强回波的预报准确率,网络采用带权重的损失函数进行训练。对光流法和预测神经网络进行测试集检验以及个例分析,结果表明,在相同外推时效和检验反射率阈值的情况下,预测神经网络的临界成功指数、命中率均高于光流法,虚警率低于光流法。不同类型降水预测神经网络的SSIM值（structural similarity）均高于光流法,且层状云降水的SSIM值比对流云降水的大。因此,预测神经网络对强回波的预报能力高于光流法;在预报时效性上,预测神经网络模型具有一定的优越性;预测神经网络对层状云降水预报的准确率比对流云降水的高。      

基于深度学习的FY3D/MERSI和EOS/MODIS云检测模型研究

针对FY3D/MERSI和EOS/MODIS的云检测问题,提出了一种基于深度学习技术的全自动云检测算法,首次将深度学习引入到卫星影像云检测领域。本算法使用深度全卷积神经网络(Deep Convolutional Neural Networks)作为核心结构,基于EOS/MODIS基本云检测原理选择合适的通道作为特性向量参数,针对不同的场景进行分类和网络模型的训练,最终得到基于深度学习的云检测模型。经过EOS/MODIS数据和FY3D/MERSI数据的测试,云检测的精度达到98%以上,可以看出基于深度学习的云检测算法能够用于云检测,该算法具有效率高、精度高等特点,云检测效果理想。     

东北冷涡客观识别方法的研究

利用1991-2000年NECP/NCAR逐日再分析资料,根据其概念模型的3个物理特征来客观识别东北冷涡。结果表明：在500 hPa上,冷涡中心是极小值点,并且北部有相邻两个格点纬向风向为偏东或静风;冷涡东部的相对厚度高于冷涡中心;冷涡东部的暖锋参数（TFP）高于冷涡中心。当判断连续2d内是否为同一冷涡时,采用方法：前一日识别出有冷涡,那么第二日在与前一日位置相差的经度为（-10?,15?）;纬度为（-7.5?,7.5?）内识别出冷涡时,则认为是同一冷涡。将利用客观方法识别的东北冷涡气候特征与前人主观研究成果进行对比发现,二者识别的东北冷涡主要分布区域（40?-55?N ,115?-145?E）、持续时间、活跃期基本一致。将客观识别与主观方法对本资料识别的冷涡进行比较,完全一致的达72%。误差原因为主客观方法标准不一致,导致有无闭合等值线产生的空识别、中心定位差异的空漏识别和起止时间的空漏识别,以上误差对气候统计不会造成明显影响,可视为正确识别。另外,10 a间,有19例漏报情况,为错误识别,仅占全部冷涡的1.4%,因此,这一客观识别方法是比较合理的,可以应用到冷涡的气候统计中。