基本信息
- 项目名称：
- 基于实时彩色图像融合的低能见度辅助驾驶系统
- 来源：
- 第十一届“挑战杯”国赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 本作品是在一种低能见度条件下的辅助驾驶系统，用于帮助直升机、船只、车辆等交通工具进行安全驾驶。系统由探测器前端和融合电路两部分组成。探测器前端在保证光轴平行度，满足图像配准率95%以上的前提下采集红外和微光图像；融合电路实现降噪、融合、视频输出。输出图像采用了双光谱彩色融合成像，兼具微光图像分辨率高，层次感好和红外图像穿透烟雾能力强、作用距离远的特点。本系统在微光图像降噪、图像配准、彩色融合等方面也提出了独到的技术与方法，在提高系统信噪比的同时，大大提高了图像的清晰度，取得了令人十分满意的效果。与市面上其它单独采用红外和微光成像的辅助驾驶系统相比，本系统具有成像质量高，适于人眼观察等优越性。这些优越性使得该产品还可以应用到海事搜救（安装至直升机、船上，特别适合于夜间或极端天气情况下的搜救工作），要害部门的安保监控等领域。
- 详细介绍：
- 本作品是在一种低能见度条件下的辅助驾驶系统，用于帮助直升机、船只、车辆等交通工具进行安全驾驶。系统由探测器前端和融合电路两部分组成。探测器前端在保证光轴平行度，满足图像配准率95%以上的前提下采集红外和微光图像；融合电路对微光视频进行时空滤波降噪处理，以清除微光图像中的闪烁噪声。降噪后的微光视频和红外视频将首先进行图像的配准处理，配准后的红外和微光图像将进行基于YCbCr的彩色的传递的图像融合，最后送至D/A转化为标准视频后输出。输出图像采用了双光谱彩色融合成像，兼具微光图像分辨率高，层次感好和红外图像穿透烟雾能力强、作用距离远的特点。克服了目前国内市场上单独使用红外或微光成像的辅助驾驶系统的缺点：微光图像是反射图像，高频成分多，在一定照度下能反映场景的细节，但对比度较低；红外图像是辐射图像，灰度由目标与背景的温差决定，不能反映真实的场景。本系统在微光图像降噪、图像配准、彩色融合等方面的独到的技术与方法，大大提高了系统的信噪比，使得输出图像有效地综合和发掘了特征信息，增强场景理解，突出目标，适合于人眼的观察、分类和识别。本系统的优越性使得该作品在海事搜救（安装至直升机、船上，特别适合于夜间或极端天气情况下的搜救工作），要害部门的安保监控等领域都广泛的用途。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 1.设计发明目的 资料表明，在夜间和雨雾冰雪等恶劣天气下，能见度差是发生交通事故的重要原因。因此，本作品是为设计一种低能见度条件下的彩色视觉辅助驾驶系统，以帮助直升机、船只和车辆安全驾驶。 2.设计基本思路 首先我们加工设计了满足光轴平行条件的光学前端，然后以高速DSP和FPGA为核心设计了图像融合处理电路，最后设计了像素级配准算法和高速伪彩色图像融合法。 3.创新点 本作品设计双光谱彩色融合成像系统，使其兼具微光像增强器分辨率高和红外热像仪穿透烟雾能力强、作用距离远的优点。我们首先研究出一种改进型时空滤波器以滤除微光图像闪烁噪声；接着设计了新型仿射变换查表法配准红外和微光图像；然后优化了A.Toet色彩传递法的算法结构，并基于其设计了易于硬件实现但性能相当的彩色图像融合方法；最后，本作品支持NTSC、PAL制式输出。 4.技术关键和主要技术指标（技术指标参见研究报告） （1）微光图像降噪：设计合适的三维时空滤波器，对其采样后信号滤波，消除微光图像的闪烁噪声，改善图像的清晰度。 （2）图像配准：由于光学系统的设计和光轴调校误差，因此须对两种图像进行像素级的配准，以使微光红外图像完全重合。 （3）彩色融合：设计合适算法，融合微光和红外图像得到伪彩色图像，使其在兼具两者优点的同时拥有仿真色彩，更易于人眼识别。
科学性、先进性
- (1)解决了双源图像的实时配准问题 我们的方案中，以微光图像为基准，利用多源图像配准测试程序并设计双线性数字插值法，把红外图像仿射到微光图像的坐标上，得到红外图像每个像素点经仿射后的坐标地址。这样，通过查表的方式，直接调用红外图像仿射地址，获得相应像素灰度值，从而达到了快速配准的目的。 (2)通过对A.Toet法进行优化，获得了一种易于硬件实现的彩色图像融合方法。 研究表明，在lαβ空间利用参考图像的颜色统计信息作为基准对目标图像进行标准化，能够实现将一幅图像的颜色特性传递给另一幅图像，使融合图像获得了具有类似自然光照的效果。我们优化了此色彩传递方法，采用了YCbCr空间进行色彩传递处理，获得了类似的效果。由于YCbCr空间与RGB空间之间的转换不涉及对数运算，运算复杂性大为降低，被成功应用到了我们的实时系统中。 （3）系统硬件降噪 系统电路设计方面，本作品增加了对微光图像的去噪处理，通过我们设计的三维时空滤波器可以有效去除微光图像的闪烁噪声。
获奖情况及鉴定结果
- 无
作品所处阶段
- 实验室阶段
技术转让方式
- 无
作品可展示的形式
- 实物、录像、现场演示、图片
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 1.特点和优势： (1)全天候观察，不受天气影响； (2)兼具微光像增强器分辨率高，红外热像仪穿透烟雾能力强、作用距离远的特点，且彩色融合图像符合人眼视觉习惯； (3)实时性高，视频流畅，无人眼可分辨延时； (4)体积小，功耗低，重量轻，使用简单。 2.适用范围：可用于直升机、船只和车辆的辅助驾驶系统，帮助驾驶员安全驾驶，还可用于事故搜救、安防等。 3.市场分析和经济效益预测： 江苏省09年第一季度发生车祸5872起，死亡1079人，经济损失2500万。其中夜间事故占42.96％。该系统投入市场后，将大大提高夜间和极端天气情况的驾驶安全性，按照能够挽救10%的生命财产损失计算，将带来巨大的社会效益。目前中国汽车保有量已达6289万辆。2004年起，我国成为全球第二大新车市场，专家预测我国汽车市场在未来20年将持续增长。该产品投入市场后，市场效益非常乐观。该产品还可以用于海事搜救、要害部门安保监控等领域。
同类课题研究水平概述
- 随着我国经济社会迅速发展，飞机、船舶和汽车等各类交通工具迅速增加。与此同时，交通事故也在不断增加，交通安全已成为日益严重的社会问题。 夜间光照限制和恶劣天气是交通事故发生的主要原因。其主要原因是夜间 “能见度”不佳，无法看清路况。 2008年汶川地震救灾过程中，我国直升机的失事也是因为遇到了大雨天气，能见度差，驾驶员无法看清楚近处的景物。国家民航总局对1997年“5.8”重大飞行事故调查报告中指出，“夜间飞行遇到大雨，能见度差，灯光效果不好，看地面不清楚”是导致飞机失事的重要原因。 机载、船载或车载辅助驾驶系统是交通安全保障技术之一，它旨在提高驾驶员视觉效能,通过改善视觉和驾驶行为的关系，使人—交通工具—路系统更加稳定、可靠,提高了车辆的主动安全性。 目前辅助视觉技术已取得了一些成果。法国、美国、日本等均研制出了实用的辅助驾驶系统。法国研制了微光夜视辅助驾驶系统，在可见光和近红外波段工作。驾驶员可以在夜间、天气条件恶劣等能见度差的情况下，通过液晶显示屏传出的前方道路图像进行辅助车辆驾驶。 美国通用汽车公司研制的辅助驾驶系统利用长波红外热释电探测器，可以看清楚1000 m～1500 m外的车辆。日本学者研制出了紫外辅助驾驶系统，用紫外线照射涂有荧光材料的路标，使路标发出荧光，易于识别，从而有效地解决汽车车灯眩目的问题。但是大气对紫外吸收比较厉害，只能解决较短距离的观察问题。 我国华北光电技术研究所、西安应用光学研究所等也开发了类似的车辆辅助驾驶系统，传感器采用红外热像仪或微光电视。 综上可知，传统的辅助驾驶系统均采用单一传感器。但是任何一种传感器都有各自的缺点。例如微光像增强器通过接收目标反射的夜天微弱的可见光和近红外光而成像，所成图像和人眼的观察习惯比较吻合，成像质量较好，能提供更多的目标细节，但是作用距离和观察效果受气候影响较大，穿透烟雾的能力较差。红外热像仪通过探测地球表面景物的自身热辐射而成像，具有全天候成像的能力。红外热像仪具有比微光像增强器更强的穿透烟雾的能力，作用距离远，但其分辨率较低，细节分辨率差，对于温度较低的背景也不能很好显示。 本作品正是从图像融合的角度出发，将红外与微光技术的优点有机结合，有效地提升了低能见度条件下交通驾驶的安全性。
