基本信息
- 项目名称：
- 恶劣环境视频增强算法研究及硬件实现
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 视频监控受环境影响较大，在烟、雾、水气、雨、雪、黑暗等环境会大大降低成像质量，导致使用者很难辨认关键物体而恶劣环境更易诱发事故。因此，视频优化产品的需求非常巨大。对此，我们提出了国际领先的视频图像增强算法，在保证处理效果的前提下，将处理速度提高为传统图片处理速度的100倍以上，并以此为基础研发视频图像增强产品，能够解决恶劣环境下视频成像的质量问题，具有效果好、速度快、成本低、易部署的特点
- 详细介绍：
- 原有的图像增强方法都是面向静态图像增强而设计的，应用到动态的视频图像时会出现处理速度慢、处理效果不佳等问题，难以实际应用。本项目提出的方法能够有效解决原有方法的不足，主要创新点有两点： （1）利用视频的时间冗余性和空间冗余性改进算法，将运动估计的原理和增强原理结合得非常紧密，使得处理速度最快可以达到50帧/秒（普通处理器），达到实时处理的能力。而传统算法最快的处理时间也要一帧几十秒，无法使用在视频处理上。 （2）重点研究了面向视频特性的图像加速算法，将其整合到视频编解码器中，成为具有视频增强功能的新一代视频播放器。通过将算法整合到视频编解码器中，可以有效降低部署成本和器件的体积功耗，扩大了适用范围，尤其是能够适用对体积和功耗有苛刻要求的环境。 目前本算法已经分别在PC、FPGA以及iPhone上实现，效果明显。以下为体现我们处理效果的一些图片：（其中FPGA及配套PCB板设计系统已达到批量生产的要求，可以在零下40度到零上70摄氏度的工业级环境下正常工作。iPhone上的实现已上传导苹果的应用程序商店供用户下载。） 技术通过对视频信号进行均衡，边缘勾勒，增强，压缩等多种处理来增强视频图像；通过对去雾算法和黑暗增强算法互相移植，产生更好的增强效果并大大拓宽了算法的适用范围；将运动估计的原理和增强原理紧密结合，利用视频的时间冗余性和空间冗余性改进算法，减少计算复杂度，可以到达实时处理的需求。 市场上现有视频增强器，基于传统的图像增强算法，采用多DSP实现。其体积和功耗庞大，成本高昂（接近1万元，基于本项目的类似硬件产品成本在100元左右）。本技术的图像增强效果好，除了黑夜增强、去雾的功能之外，还能处理高动态范围的低光图像（如开远光灯的车辆）。并且针对不同天气情况条件，自适应运用不同算法和参数提升视频图像质量，使清晰度大大提升。技术降低增强算法的复杂性，可以实现视频图像在PC、移动设备、嵌入式系统上的实时处理。 将图像增强算法整合到视频编解码器中，合二为一，降低时间空间开销，在普通硬件平台上就可实现，降低成本，方便部署。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 随着平安城市、智能交通等工程的全面建设，视频监控市场正处于高速增长期， 2010年产值已过千亿，广泛应用在公共安全、交通、电信、金融等行业。但是，视频监控受环境影响较大，在烟、雾、水气、雨、雪、黑暗等环境会大大降低成像质量，导致使用者很难辨认关键物体（如车牌、行人等）。而恶劣环境更易诱发事故。因此，用户迫切需要一种能够在恶劣环境下保证图像质量的视频优化产品。针对此需求，我们提出了国际领先的视频图像增强算法，在保证处理效果的前提下，将处理速度提高为传统图片处理速度的100倍以上，并以此为基础研发视频图 像增强产品，能够解决恶劣环境下视频成像的质量问题，具有效果好、速度快、成本低、易部署的特点，受到了工业界和学术界的关注和一致认可。 原有的图像增强方法都是面向静态图像增强而设计的，应用到动态的视频图像时会出现处理速度慢、处理效果不佳等问题，难以实际应用。本项目提出的方法能够有效解决原有方法的不足，主要创新点有两点： 利用视频的时间冗余性和空间冗余性改进算法，将运动估计的原理和增强原理结合得非常紧密，使得处理速度最快可以达到50帧/秒达到实时处理的能力。传统算法最快的处理时间也要一帧几十秒，无法使用在视频处理上； 重点研究了面向视频特性的图像加速算法，将其整合到视频编解码器中，成为具有视频增强功能的新一代视频播放器。通过将算法整合到视频编解码器中，可以有效降低部署成本和器件的体积功耗，扩大了适用范围。 目前本算法已经分别在PC、FPGA以及iPhone上实现，效果明显。
科学性、先进性
- 科学性： 通过对视频信号进行均衡，边缘勾勒，增强，压缩等多种处理来增强视频图像；通过对去雾算法和黑暗增强算法互相移植，产生更好的增强效果并大大拓宽了算法的适用范围；将运动估计的原理和增强原理紧密结合，利用视频的时间冗余性和空间冗余性改进算法，减少计算复杂度，可以到达实时处理的需求。 先进性： 市场上现有视频增强器，基于传统的图像增强算法，采用多DSP实现。其体积和功耗庞大，成本高昂（接近1万元，基于本项目的类似硬件产品成本在100元左右）；图像增强效果好，除了黑夜增强、去雾的功能之外，还能处理高动态范围的低光图像（如开远光灯的车辆）；针对不同天气情况条件，自适应运用不同算法和参数提升视频图像质量，使清晰度大大提升；降低增强算法的复杂性，可以实现视频图像在PC、移动设备、嵌入式系统上的实时处理。 将图像增强算法整合到视频编解码器中，合二为一，降低时间空间开销，在普通硬件平台上就可实现，降低成本，方便部署。
获奖情况及鉴定结果
- 1、获得2010年“赢在常熟－全国大学生创业大赛”一等奖。本次大赛由中共江苏省委组织部、科技厅、教育厅、人资社保厅、团省委、中国网络电视台（CNTV）共同主办。清华大学、浙江大学、中国科技大学，以及美国耶鲁大学、德国慕尼黑工业大学等100多所海内外知名高校共提交1128个创业项目，我们的项目脱颖而出，荣获一等奖。 2、本项目在校内“挑战杯”中获得了特等奖。 3、本项目的创新成果得到国际学术界认可，相关论文发表在图像处理国际顶级会议SIGGRAPH 2010（poster）以及ICME 2011，并投稿IEEE相关期刊。 4、本项目中的相关技术和已申请的专利受到了产业界的高度关注，众多国内安防公司（如中国安防技术有限公司CSST“明景电子”、江苏亿通高科技股份有限公司、深圳市天和荣视频技术有限公司等）正在积极推动将该技术应用到自身的产品当中。我们的样机效果已获得这些厂家的认可。 5、本项目于2011年4月通过中国科学院国家科学图书馆文献服务部查新，在国内查新过程中发现技术上没有与本项目相关性非常高的项目，只有用类似想法做去雾的项目。
作品所处阶段
- 生产阶段
技术转让方式
- 将算法以专利权转让方式给相关公司，或者由公司开发软件硬件产品或模块。
作品可展示的形式
- 实物产品、现场演示、图片、录像、样品
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 技术具有很强的适应性，可以方便集成在现有监控系统中。产品形式可以是软件模块也可以硬件固化在FPGA及专用芯片上。一般部署在摄像头视频采集的前端，也可以部署在显示器端。 本项目的视频图像增强技术，能够自适应地实时处理不同环境的视频图像，包括黑夜增强、去雾，高动态范围的低光图像增强。在成像效果、处理速度等方面大大优于传统技术，还具有成本低，部署容易的优势。 技术主要针对安防领域视频监控系统，这也是对图像增强需求最为迫切的领域。视频监控厂商产品同质化严重，行业集中度低。我们的技术能够促进产品差异化，提高利润率，因此具有广阔的市场前景和议价能力。已引起行业内多家厂商关注，表达合作意向。 经济效益预测，目前国内每年视频监控相关的市场规模超过1000亿，每年仅摄像头生产就超过1000万台，假使其中100万的高端摄像头采用我们的技术，每个模块（或芯片）售价500元，就可以产生5亿元的收入。 此外，我们的技术还可以应用于带有摄像头的移动终端（手机、平板电脑、DV）以及汽车辅助驾驶系统中。
同类课题研究水平概述
- 对于恶劣天气下视频不清晰的问题，研究者们提出了不同的解决方法。一方面，人们提出利用红外摄像机拍摄视频。但是，红外摄像头成本高、能耗高、寿命短，对于实际应用中的成本要求很高,而且在众多移动平台上很难采用,比如手机,平板电脑。另一方面，人们试图用视频图像增强算法解决这个问题。但是，现有算法尚存在如下几个问题。 现存的增强算法的处理速度很慢，即使应用高性能计算设备专门优化，比如[H. Malm, M. Oskarsson, E. Warrant, P. Clarberg, J. Hasselgren, and C. Lejdfors, “Adaptive Enhancement and Noise Reduction in Very Low Light-Level Video,” Proceedings IEEE International Conference on Computer Vision, Rio de Janeiro, Brazil, Oct. 2007, pp. 1-8.]中的GPU加速方法，也很难达到实时处理。近年发表在代表视觉信号处理领域最高水平的国际会议SIGGRAPH上较为成熟的算法[E.P. Bennett, and L. McMillan, “Video Enhancement Using Per-Pixel Virtual Exposures,” ACM Trans. Graphics (Proceedings ACM SIGGRAPH), Los Angeles, CA, Jul. 2005 vol.24, no.3, pp.861-868.]，处理一张图像的时间就需要超过1分钟，而实时视频增强需要一秒钟处理30帧图像。 现有的针对不同复杂应用场景的视频增强算法都是相对独立的，如有些算法针对于雾气去除，有些算法针对于低亮度增强等。各算法各自为战，如都在视频传感器中实现，则大大提高视频传感器的体积和成本。如针对不同的具体应用环境定制具有单个增强模块的视频传感器，则不能充分利用硬件特别是芯片生产的规模效应，不利于视频传感器成本的迅速降低。部署之后也必须对不同传感器的部署情况进行跟踪，提高维护成本。 现有算法的处理效果尚不能满足用户需求。比如低亮度增强算法中，大部分现有算法还是基于传统的直方图算法进行扩展，增强结果差强人意。
