交通监控视频图像语义分割及其拼接方法

视频拼接是图像拼接的外延,在场景监控、目标识别等应用中发挥着重要作用。传统视频拼接算法多要求视频间具有较大重叠区域且特征点匹配过程中只顾及图像几何特征,当处理交通监控视频时,会因不同摄像头之间重叠区域极小或主光轴之间夹角较大而导致无法拼接或图像变形较大。为此,本文提出一种交通监控视频图像语义分割及其拼接方法。首先,利用边缘角度二阶差分直方图算法自动识别多视频交汇区域的正射影像,并将其作为拼接背景图像;然后,基于全卷积神经网络对正射影像和视频图像进行语义分割,提取图像中的交通专题语义;最后,以交通专题语义作为约束进行特征点匹配,将各个交通监控视频匹配至背景正射影像,实现监控区域视频拼接。采用山东省某市实际视频数据进行试验验证,结果表明对于重叠区域较小的监控视频,本文方法可获得较好地拼接图像,同时可有效提高特征点匹配的准确度。     

若干平滑和插值方法对图像空间分辨力估算的影响

图像空间分辨力是图像质量评估中的一个重要指标,而对图像空间分辨力的估算通常采用调制传递函数（ＭＩＦ）解算。由于图像噪声的存在和采样数据的离散性,平滑和插值是必不可少的两个环节,因此,平滑和插值算法的好坏直接影响最后的评估结果。采用了两种最常用的平滑算法和两种插值算法,并按８种实验方案对两幅典型的图像进行了实验对比研究,获得了这两种算法对图像空间分辨力评估的影响机理,从而遴选出了较好的平滑和插值算法     

多视角监控视频中动态目标的时空信息提取方法

监控视频中动态目标的精准定位与跟踪作为计算机视觉领域中重要的研究方向,近年来已成为监控领域的研究热点。传统视频动态目标检测仅依赖图像特征数据,忽略了与地理坐标系精准匹配,特别是对于多个摄像机覆盖的区域,拍摄的角度不同,投影后形成的图像空间分辨率也不同,因此,难以满足智能监控在复杂的地理场景中全方位时空信息感知。本文提出一种多摄像头协同的视频监控图像与地理空间数据互映射模型构建方法来获取动态目标的轮廓和地理位置等时空信息,首先建立监控图像信息与地理空间数据的互映射关系,将观测角度不同、尺度不同和空间分辨率的监控图像置于同一坐标系下,并在此基础上通过融合Canny算子与背景减法来检测目标的边缘信息;然后采用质心偏移算法还原目标在该场景的实际位置,从而实现多角度下连续跟踪,提升地理场景的时空理解力和分析力,提高动态目标的精准定位与跟踪能力。     

基于无人机的车辆目标实时检测

越来越多的研究者开始关注基于无人机系统的车辆检测,已在交通管理与监控系统中得到广泛的研究与试验。为了更加直观地监测道路车辆交通情况,本文基于无人机视频数据进行车辆的实时检测。首先搭建了小型无人机数据采集系统;针对采集的视频数据,采用深度学习框架进行车辆检测;基于深度学习的检测,尝试优化车辆检测结果。试验结果表明本文方法具有有效性和实时性,为监控管理部门提供了一种高效率、机动灵活的监测模式。     

一种新的利用梯度信息的图像质量评价模型

提出了一种将图像的梯度幅值、相位以及结构相似度(SSIM)三者相结合的图像质量评价新模型——梯度相似度(GSIM)模型,以及基于该模型的图像质量评价算法。新模型与SSIM模型及基于梯度的模型相比,不仅包含亮度、对比度和结构三部分信息,同时增加了梯度相位信息。通过对LIVE图像数据库的982幅失真图像和924幅遥感压缩影像的实验,结果显示新模型的性能优于其他模型。与SSIM等模型相比,新模型能真实反映失真图像的视觉感知质量,具有较高的评价可靠性。     

基于数据融合的多尺度图像去噪方法

将图像系数尺度内相关模型较强的去噪能力与尺度间相关模型保持边缘的优越性能相结合，提出了一种新的基于数据融合的多尺度图像去噪方法。同时引入了一种新的基于结构相似性（SSIM）指数的图像质量标准来衡量初始去噪图像和融合后图像与原始图像的相似程度，评估图像保持边缘和去噪的能力。仿真结果表明，基于数据融合的方法具有更好的视觉效果和去噪性能。     

监控视频中动态目标与地理空间信息的融合与可视化方法

监控视频的动态前景目标智能分析是平安城市、智慧园区等安防建设的重要基础,将监控视频与地理空间数据融合可为静态的地理数据赋予动态属性。针对传统监控视频与地理信息数据集成仅仅将视频数据投射至地理空间,造成存储难、视频内容理解难度大等问题,本文提出了前景动态目标与地理空间信息的融合模型,通过推导出的映射模型将图像空间中的动态前景目标及跟踪轨迹映射至地理空间中,达到将监控视频与地理信息有机融合的目的。根据不同的应用需求,本文设计了4种多图层融合显示模式,实现了监控视频中的动态前景目标在地理空间的可视化。     

基于生成对抗网络的无人机图像去模糊方法

提出一种基于加权感知损失的生成对抗网络(GAN)用于无人机图像去模糊。实验中采用具有跳跃连接结构的网络作为生成器,并对生成器使用加权感知损失进行约束,在生成器和判别器进行对抗式训练过程中,生成器不断学习并优化模糊图像到对应清晰图像的映射函数。另外,由于PSNR、SSIM图像质量客观评价指标的局限性,提出使用感知损失作为监控网络优化过程和模型选择的评价指标,最后使用感知损失选择的生成器模型对模糊图像进行盲去模糊。实验表明,该方法可快速有效地恢复出细节清晰的图像。     

影像超分辨率重建技术在遥感中的应用

影像超分辨率重建是通过对多幅具有互补信息的低分辨率影像的处理,重建一幅高分辨率影像的技术,其在视频监控、医学诊断、遥感监测等领域具有很大的应用价值。以SPOT5和ADS40为例阐述了超分辨率重建技术在遥感观测系统中的应用现状,并给出了一种应用于多时相遥感影像处理的超分辨率重建方法。     

基于NSCT的自适应可见光与红外图像融合方法

针对可见光与红外图像的融合问题,基于NSCT多方向、多尺度分解和平移不变性等优点,提出了一种基于NSCT的自适应可见光与红外图像的融合方法。通过NSCT对可见光与红外图像进行分解,在各分解层上根据图像质量评价指标来选取融合规则,并通过评价指标的自适应控制NSCT分解层数使最终融合图像具有最优的效果。实验结果表明,与传统融合算法相比,该方法在主观和客观评价方面均优于其他融合方法。     

顾及道路约束条件的动态目标检测与跟踪方法

智能交通是智慧城市的重要组成部分,面对复杂多变的道路背景,如何能够快速检测、跟踪道路监控影像中的动态目标,是智能交通建设的关键技术难点。本文根据道路监控视频特点,提出了采用道路约束条件与颜色特征集相结合的动态目标跟踪方法,以道路约束条件确定运动目标搜索区域,利用HSV颜色特征集进行特征匹配,然后基于ⅡR滤波背景法对背景影像进行更新及动态目标的检测,并根据道路约束条件与颜色特征相结合跟踪方法实现对动态目标的跟踪及动作预测。试验结果表明该方法可准确对运动目标进行检测与跟踪,且对慢速运动目标也具有较好的响应能力,实现了对道路动态目标的实时检测与跟踪。     

考虑人类视觉特征的融合图像评价方法

图像质量评价是遥感图像融合必不可少的环节，对融合图像的客观评价具有较好的研究价值，好的客观评价指标应尽量与主观评价一致。针对全色图像和多光谱图像的融合质量评价，在考虑人类视觉系统的多通道分解和对比度敏感特性的基础上，首先修改颜色失真和结构相似度来分别评价光谱信息和空间信息，然后综合两者作为融合图像的整体评价。以SPOT5图像和高分二号卫星图像为原始数据，对7种融合图像的质量进行了评价。实验表明，对于高分辨率的遥感图像，这种引入了人类视觉特征的融合评价方法与主观评价有很好的一致性。     

公路路面质量遥感监测研究进展

公路路面质量的好坏对行车安全性、舒适性、经济性有重要的影响,因此路面状况的监测对于公路交通的健康发展具有重要意义。遥感技术作为一种新兴的数据采集手段,具有图像覆盖范围大、时效性强、信息客观现实、可重复使用、便于计算机分析等优势,为解决大范围的路面监测问题提供了强有力的支持。本文综述了现有基于遥感技术的道路路面状况监测方法,对其中存在的问题进行了分析和探讨。遥感技术在路面状况监测中具有广泛的应用前景,部分技术已经成熟并在公路养护作业中广泛使用,例如路面监测管理系统、探地雷达等;但是仍有部分技术还存在着鲁棒性差、精度较低等问题,还需要进一步的研究探索,如路面光谱分析、基于机载和星载的路面状况遥感监测应用的适用性等。本文最后给出了一种基于多端元混合像元分解模型的沥青路面老化状况监测与评估方法的研究实例。实验结果证明该方法可有效区分沥青公路路面混合像元中不同老化状况的沥青路面,为大范围路面老化状况监测提供了一种技术途径。     

DEVELOPMENT OF A LOW-COST MOBILE MAPPING SYSTEM: A SOUTH AMERICAN EXPERIENCE

This paper presents the prototype of a low-cost terrestrial mobile mapping system (MMS) composed of a van, two digital video cameras, two GPS receivers, a notebook computer, and a sound frame synchronisation system. The imaging sensors are mounted as a stereo video camera on top of the vehicle together with the GPS antennae. The GPS receivers and the notebook computer are configured to record data referred to the vehicle position at a planned time interval. This position is subsequently transferred to the road images. This set of equipment and methods provide the opportunity to merge distinct techniques to make topographic maps and also to build georeferenced road image databases. Both vector maps and raster image databases, when integrated appropriately, can give spatial researchers and engineers a new technique whose application may realise better planning and analysis related to the road environment. The experimental results proved that the MMS developed at the São Paulo State University is an effective approach to inspecting road pavements, to map road marks and traffic signs, electric power poles, telephone booths, drain pipes, and many other applications important to people's safety and welfare. A small number of road images have already been captured by the prototype as a consequence of its application in distinct projects. An efficient organisation of those images and the prompt access to them justify the need for building a georeferenced image database. By expanding it, both at the hardware and software levels, it is possible for engineers to analyse the entire road environment on their office computers.     

基于Skyline视频监控系统研究

视频监控系统能够实时获取监控范围的影像,发现被监控目标的即时状态。2维GIS与视频监控的集成逐步走向成熟,但在可视化效果方面远不如3维GIS。因此,结合Skyline软件中的Video On Terrain技术提出了一种3维地面影像视频监控新方案,并设计了地面影像视频监控系统的软硬件框架,分析了音视频编码传输原理和视频控制机制,总结归纳了地面影像视频监控系统的关键技术要求,最后实现了3维地面影像视频监控原型系统。     

遥感图像质量等级分类的深度卷积神经网络方法

遥感图像应用发展对图像质量的要求越来越高,不同质量的遥感图像往往需要不同的处理方法和参数。通过遥感图像质量等级分类研究,不仅能够为遥感图像的处理提供先验信息,还能够对遥感图像的客观质量评价和传感器的成像效果进行评估。为了克服现有的遥感图像质量等级分类方法计算参数获取困难、等级数量少的缺点,利用深度学习方法的分类机能,通过改进特征提取网络和等级分类设计,建立了一种基于深度卷积神经网络的遥感图像质量等级分类模型。通过质量等级分类预处理后,利用经典的深度学习方法进行目标检测实验。结果表明,所提方法在西北工业大学遥感图像数据集上质量等级分类的准确率、召回率、精确率和F1最高能达到0.976、0.972、0.974和0.973, 优于传统算法。利用卷积神经网络实现遥感图像质量等级分类,既拓展了深度学习的应用领域,又为遥感图像质量评估提供了一个新方法。     

结合规划矢量的高分辨率遥感道路施工进度监测

为了有效监测道路修建项目的工程进度,提出了一种结合规划矢量的高分辨率遥感道路施工进度监测方案。首先,将矢量与高分遥感影像配准,建立道路规划缓冲区;然后,使用双边滤波增强道路信息,基于图割理论从缓冲区中提取出道路区域;最后,使用k-mean++算法得到道路分类图,并和规划矢量叠置分析,获得道路施工进度图。实验结果表明,所提方案充分结合了矢量数据和遥感影像,有效地监测道路项目的施工进度。     

Automatic main road extraction from high resolution satellite imageries by means of particle swarm optimization applied to a fuzzy-based mean calculation approach

Manual extraction of road network by human operator is an expensive and time-consuming procedure. Alternatively, automation of the extraction process would be a great advancement. For this purpose, an automatic method is proposed to extract roads from high resolution satellite images. In this study, using few samples from road surface, a particle swarm optimization is applied to a fuzzy-based mean calculation system to obtain road mean values in each band of high resolution satellite colour images. Then, the images are segmented using the calculated mean values from the fuzzy system. Optimizing the fuzzy cost function by particle swarm optimization enables the fuzzy approach to be the best mean value of road with sub-grey level precision. Initially, this method was applied to simulated images where the calculated mean values are consistent with the hypothetic mean values. Application of the method to IKONOS satellite images has shown a prospective outcome for automatic road extraction. Mathematical morphology is subsequently used to extract an initial main road centreline from the segmented image. Then, small redundant segments are automatically removed. The quality of the extracted road centreline indicates the effectiveness of the proposed approach.     

基于 GVF 和 Snake 模型的高分辨率遥感图像四元数空间道路提取

基于Snake模型的优势及缺陷,提出一种高分辨率多光谱图像道路提取方法。通过建立多光谱图像信息的四元数表达式,解决Snake模型应用于多光谱图像的局限性;通过多光谱图像四元数空间标记分水岭分割,获取道路初始轮廓,解决道路初始边界设置问题;通过梯度矢量流模型迭代求解,解决道路凹陷位置逼近问题,最终实现道路提取。用QuickBird 高分辨率多光谱遥感数据验证方法的可行性,与直接采用Snake 模型进行道路提取结果相比,本文所提出的方法对于高分辨率影像上的高等级道路提取具有较好的精度。