基本信息
- 项目名称：
- 基于FPGA神经网络的双目立体视觉测距系统的研究与实现
- 来源：
- 第十一届“挑战杯”国赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 本作品采用两个CCD摄像机模拟人的双目视觉原理，利用间隔固定的两台CCD摄像机同时对同一景物成像，配以高速图像采集卡，通过对这两幅图像进行计算机分析处理，确定视野中每个物体的三维坐标。同时借助FPGA并行处理的优点，构建FPGA神经网络，对采集图像进行预处理、互相关配准测度，粗、精配准相结合的搜索策略处理，实现了实时快速双目立体目标测距功能，并完成了初期产品样机的制作。
- 详细介绍：
- 本作品针对图像特征提取、立体匹配这两方面的内容展开研究。首先根据选择的立体视觉成像系统模型阐述了立体视觉测距的基本原理。其次,对图像特征提取等预处理方法进行详尽地分析,通过实例对算法进行实验。同时,对图像匹配问题涉及的内容包括图像匹配方式、质量控制策略等进行了探讨。与现有的激光仪相比，本作品具有精度高、响应时间短、造价低廉等特点，而且倪补了激光仪不利于测量短距离或反射特性不好的物体的缺点。与其他双目测距产品相比，本作品采用了新的硬件平台和测距算法，处理器使用高速FPGA，与传统的DSP和单片机相比，能够更快的提供实时信息，缩短响应时间；算法部分使用人工神经BP网络，经过训练后可以快速地高精度地计算出目标距离。最终产品可运用于汽车安全保障系统、自动控制系统、测量勘探以及航空航天领域。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 1、本作品的发明的目的和基本思路 视觉测距可分为主动测距和被动测距。主动测距需要发射人造光照射物体，如激光和具有一定纹理结构的光，通过分析物体反射的光的纹理形变或直接测量光的传播时间来确定物体的距离．该方法需要发射一定的能量光．相比之下被动测距就要安全得多，它是通过探测物体自身辐射或反射光进行分析来确定目标距离，不需要向外发射任何能量光．这种测距方法的软件设计比较复杂，需要对探测到的可见光或红外图像进行一系列复杂的运算才能得到距离信息．因此这种测距方式的难点就在于图像处理软件要在很短的时间内进行大量精确的运算。在视觉系统中，空间感知能力是一项关键技术，使用CCD摄像机能够获取外界的图像信息，但却无法获取深度信息，而利用双目立体视觉系统，能够模拟人眼对外界的深度信息感知能力。 2、本作品的创新点 提出了一种模拟人双目视觉定位的方案，利用两个CCD摄像机成像，通过对比处理从两个摄像机获取的两幅图像，根据摄像头的参数，研发了具有原始自主创新特点的图像匹配立体测距算法和基于FPGA的神经网络学习模型，实现了实时立体的距离。 3、本作品的技术关键和主要技术指标 图象匹配是立体视觉系统的核心，是建立图象间的对应从而计算视差的过程，极为重要，是本作品的技术关键。基于FPGA的图像信息获取和神经网络模型建立是本作品的主要技术指标。
科学性、先进性
- 立体视觉的研究有如下三类方法: 第一类方法，直接利用测距器获得程距信息，建立三维描述的方法; 第二类方法，仅利用一幅图象所提供的信息推断三维形状的方法; 第三类方法，利用不同视点上的，也许是不同时间拍摄的，两幅或更多幅图象提供的信息重构三维结构的方法。 目前国内外对第一类方法和第二类方法的研究已经非常成熟，并且已经了研发许多定型产品，如激光测距仪，自动聚焦照相机等。而第三类方法则是立体视觉领域国内外现阶段研究的前沿。本作品研究和实现的正是该类方法。 本作品是在FPGA的基础上，将两幅图象提供的信息进行三维结构的重构，使用神经网络模型对图像进行匹配，并应用自行研制的算法对图像匹配坐标点进行处理，利用神经网络的学习能力，不断训练使其误差达到最小，从而避免了因摄像机参数的误差进一步造成测量上的误差。另外，本作品的神经网络因为是基于FPGA实现的，从而能够较快处理图像信息，能够保证处理的实时性。
获奖情况及鉴定结果
- 于2009年4月荣获2009’某大学学生课外学术作品竞赛本科生组一等奖 于2009年4月荣获第五届某省高校青年学术科技作品竞赛二等奖
作品所处阶段
- 已经进入初期产品样机生产阶段
技术转让方式
- 无
作品可展示的形式
- 实物现场演示
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 立体视觉是当今计算机视觉领域的一个非常重要的研究课题，其目的在于重构场景的三维几何信息。立体视觉的研究具有重要的应用价值，其应用包括移动机器人的自主导航系统、航空及遥感测量、工业自动化系统以及国防现代化等。 在国内外的市场上，像象本作品这样能用数字直接表示所测距离的装置和仪器非常罕见，这就是本作品的最大优势。 本作品能够提供实时的图像深度信息，且安装方便，成本低。可以运用与汽车智能驾驶系统，应急防撞，保障车辆的安全行驶；可用于工业中的自动控制系统，为机械臂等智能系统提供目标三维信息；也可用于勘探等领域，在人员无法到达，也无法使用超声波或激光测距的情况下准确的测量数据。特别是对我国军事的现代打击和防御技术以及宇宙航天对接技术的提高有着特殊的意义和价值。
同类课题研究水平概述
- 在双目立体视觉测距课题上，国内外已有大量成熟的理论研究，但实际把理论算法运用到生产生活中的并不多，而且相对处理速度较慢，不能满足实际应用需求。此外，目前使用的双目测距多还需要使用激光光源的辅助才能完成，增加了设计成本和设计难度。同时由于双目摄像机的参数难以准确标定，在双目测距中会存在很多不确定因子，影响测量精度。 目前在国际上，虽然有双目立体视觉测距获得了成功，并在一定程度上解决了信号捕捉、成本和精度等三个相互关联问题之间的矛盾。例如美国和日本的产品，据了解这些产品都没有神经网络功能。 本作品则是在目前ALTERA公司世界FPGA最先进的DE2-70平台上进行的，研发了具有自主创新特点的图像匹配立体测距算法和基于FPGA的神经网络学习模型，在硬件技术和理论水平上都超越了前者，而且计算速度更快、精度更高。
