基本信息
- 项目名称：
- 基于可见光及红外图像的目标三维重构平台
- 来源：
- 第十一届“挑战杯”国赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 通过遥感手段获取和重构信息量丰富的三维模型，在军事、农业、环保等领域有着广泛的需求，也是国内外图像研究人员极力要解决的关键技术问题之一。 我们的作品实现了从二维图像构建出具有真实纹理的三维模型 ，并将纹理信息从可见光拓展到红外波段。我们重构出的三维模型的几何精度高，具有真实的可见光和红外纹理。 我们的作品运用的建模方法可避免通常建模过程中重复性高、设计繁重的缺点，能广泛应用于军事场景建模、地理信息系统建模、构建数字城市等领域。 例如让战斗机人员和导弹发射人员在红外或可见光场景的模拟环境中进行打靶训练，会极其有效的提高其操作的熟练性和精确性。
- 详细介绍：
- 本作品针对国内红外图像三维处理技术不完善，国外对我国技术封锁森严的实际情况，结合可见光和红外图像获得物体的可见光与红外波段的三维信息，弥补了单独采用红外图像重构时因物体边缘模糊带来的较大误差，从光谱领域拓宽了重构技术的应用。本作品基于实拍图像获得物体红外以及可见光的三维信息，克服了通常建模过程中重复性高、设计繁重的缺点，能够自动、半自动地完成三维建模。本作品采用非接触、被动式的遥感技术，其算法适用于航天、航空领域，能够通过卫星拍摄进行大面积地理环境模型的重构，例如构建地球城市的三维立体模型。 本作品对相机采用针孔模型近似，并固定可见光和红外的采集设备相对位置，以保持两设备的统一匹配关系。首先，采用标准靶定标的方法对可见光和红外的采集设备进行配准以获取各自内部物理参数，以及两种设备采集图像的匹配关系。然后，提取可见光部分图像的角点坐标信息，利用对极几何约束关系计算出所有角点的三维坐标信息，再采用统计方法对这些离散点拟合而构建出物体的平 面信息，并且利用特征点坐标匹配转换矩阵获取该平面的实际纹理。同时，将可见光图像上已标定的特征点通过可见光和红外采集设备的匹配关系映射到红外图像中，再利用同样的纹理提取方法获取精确的红外纹理，从而构建出物体在可见光及红外波段的三维模型。最终在软件平台上实现物体双波段三维模型的显示。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- ★计发明目的：针对国内红外图像三维处理技术不完善的情况，结合可见光和红外图像获得物体的双波段三维信息，弥补单独采用红外图像重构时因物体边缘模糊带来的较大误差，从光谱领域拓宽了重构技术的应用。 ★基本思路：固定两采集设备相对位置，以保持其统一的匹配关系。用标准靶定标获取各相机内部物理参数及两相机的互相关系。提取可见光图像的角点坐标，再将这些点拟合出目标平面信息，且利用角点匹配矩阵获取纹理。将特征点映射到红外图像中，提取其纹理，从而构建出目标双波段的三维模型。 ★主要创新点：①从红外建模技术上讲，利用可见光与红外图像的匹配，解决了红外图像因分辨率低难以重构出精确三维模型的难题。②从重构纹理信息量上讲，弥补了单独采用红外图像重构误差较大的缺点，从光谱领域拓宽了重构技术。③从模型纹理真实性上讲，运用精确放大的纹理，对实拍图像提取放大，保证了三维模型纹理的真实性。 ★技术关键:①内外参数标定：采集标准靶获得特征点信息，计算相机的内外参数。②可见光图像的重构算法：建立从相机的成像坐标系到世界坐标系的转换关系，目标三维重构算法获得目标基于真实世界的三维信息的研究。③红外图像与可见光图像配准算法：设定特征点并进行匹配，获得红外信息与可见光间的映射关系。④图像重采样算法：根据目标图像与其三维数学描述间的关系对图像进行重采样。 ★技术指标：①模型的尺寸精度：采用2048×1536分辨率的可见光相机重构出 模型的尺寸误差不超过2%。②纹理映射精度：对图像应用精细放大处理，达到亚像素级。
科学性、先进性
- ★作品的科学性：图像的三维信息的重构是计算机视觉领域中最为重要问题之一，现阶段大部分研究都是基于可见光图像开展的。红外图像的自身特点与可见光形成良好的互补。对可见光和红外图像进行综合处理的技术有着广泛的应用前景。利用实拍图像进行三维重构，不但能获得高逼真度的模型，而且避免了通常建模过程中重复性高、设计繁重的缺点，可广泛应用于数字城市、航空航天及军事目标建模等领域。 ★作品的先进性：将现在较为成熟的可见光三维重构技术与红外相结合，利用红外与可见光相机在成像上的一致，使用立体匹配技术使两者在物体的三维信息的反应得到一致，从而实现对红外图像的三维重构。本作品的可见光和红外纹理都是经过对实拍图像精细放大获得，精细放大和特征点匹配算法弥补了一般图像采集纹理的扭曲性和模糊性，为构建出的三维模型提供了真实丰富的纹理信息。由于红外图像独特的性质，其应用研究已得到广泛重视，但现在对红外图像的研究主要是红外成像系统、红外热像等方面，到目前为止，基于红外图像的三维重建及相关的报道还较少。
获奖情况及鉴定结果
- 2009年6月获第七届西安高新“挑战杯”陕西省大学生课外学术科技作品竞赛特等奖。 在所检索的国内数据库中，有关于利用可见光来仿真生成红外图像、场景或纹理的研究，也有关于可见光与红外图像配准与融合方面的研究，但该查新项目的实现的基于实拍图像、利用可见光与红外生成图像坐标之间确定的匹配关系，由目标可见光图像信息来精确重构其红外三维模型的软件平台未见公开文献报道。
作品所处阶段
- 中试阶段
技术转让方式
作品可展示的形式
- 磁盘、现场演示
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- ★技术特点和优势：①可见光与红外建模技术有机结合。通过对红外图像的匹配提取红外图像的准确纹理。避免了直接通过红外图像重构三维信息时的边缘模糊效果。②改进成熟技术。将已有的可见光波段三维建模技术改进，使之能够与红外采集设备匹配，从而应用到红外波段上进行三维重构。③三维纹理的丰富性和真实性。采用对实拍图像特征点标定的方法，精细放大纹理并对其反演计算得到逼真的可见光和红外纹理。④广泛的扩展应用。本作品所应用的非接触、被动式的遥感技术，其算法适用于航天、航空领域，能够能为场景仿真、数字城市建设及军事目标建模等领域研究提供重要的基础数据。 ★推广前景的技术说明和经济效益预测：利用实拍图像进行三维重构，不但能获得高逼真度的模型，而且避免了通常建模过程中重复性高、设计繁重的缺点，可广泛应用于数字城市、地理信息系统及军事目标建模等领域。本作品采用非接触式的遥感技术，其算法适用于航天航空领域，能够通过卫星拍摄进行大面积地理环境模型的重构，例如构建地球城市的三维立体模型，农业地形监测和环保模型分析。
同类课题研究水平概述
- 国内外对基于可见光的三维重构进行了大量的研究，并已取得了许多重要的研究成果。在计算理论上，从匹配特征的选取、立体视觉的不确定性、对物体的再认识与立体视觉的关系、几何畸变与遮挡问题这四个方面已取得了较为成熟的研究成果，为可见光的三维重构提供了一整套的理论支持[1-2]。利用航拍等手段获得建筑物遥感图像序列，计算目标的三维拓扑信息[4, 5]，以及提取目标纹理[6]等研究能极大地提高建模效率，并获得逼真的目标模型，是三维重构研究中的热点问题。经过这些年的发展，国内外已经出现了各种各样的立体视觉应用系统，除了在机器人领域的应用外，还有各种特定用途的，比如应用于地理信息系统的，或者交通事故勘查的，或者工业变形检测或者可视对象建模等等。就国内而言，比较有名的是武汉立得空间信息技术发展有限公司开发的一系列双目视觉系统，其技术处于国内领先水平。主要是在机动车上装配全球定位系统（GPS）、视频系统（CCD）、惯性导航系统（INS）或航位推算系统等先进的传感器和设备，在车辆的高速行进之中，快速采集道路及道路两旁地物的空间位置数据和属性数据。得到了广泛的应用。 上述领域中的大量研究都是基于可见光图像开展的，到目前为止，国内外基于红外图像三维重建的研究报告还极少[7, 8] 。一部分研究是基于主动红外照射进行的三维重构，数据采集方式局限大，无法应用在建筑物三维重构。张志彦[8]等的研究对建筑物三维重构有一定参考价值，但由于仅对单帧红外图像处理，误差较大。究其主要原因，一是红外图像分辨率低（民用一般仅是320×240），定位精度不高；二是红外图像记录的是物体自身的红外辐射，目标的边缘和纹理特征模糊；三是在平滑表面内可能会存在着因内、外热源引起的温度变化而形成的“温度边缘”。上述缺点使独立进行红外图像的三维重构误差过大，方法具有局限性。 国内对红外图像的三维重构的研究报告还很少，目前正在研究红外三维处理的是浙江大学光电系，武汉大学，西安电子科技大学的技术物理学院和成都电子科技大学。国内对红外的场景仿真研究基本都在各高校中，相对离散，现阶段西安电子科技大学对其研究较为系统深入。 结合可见光和红外图像的三维重构的技术尚未见报道。
