基本信息
- 项目名称：
- 大场景360度环视动态显示系统
- 来源：
- 第十二届“挑战杯”作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 大场景360度环视动态显示系统基于首创的“分割再拼接”思想。系统提取立体模型的四角度图像数据，经过二次光路成像，在金字塔状的成像空间中实现图像的拼接，还原出完整的立体图像。它具有突破性大尺寸图像显示、立体图像悬浮于空气中和360度环视立体图像的特点。裸眼立体影像以其真实生动的表现力，优美高雅的环境感染力，强烈震撼的视觉冲击力深受观众的喜爱，可广泛应用于广告宣传以及医学、军事等虚拟现实领域。
- 详细介绍：
- 大场景360度环视动态显示系统是基于“分割再拼接”显示思想的新型立体显示系统。系统将立体模型分割为四角度的独立部分，利用独立研发的立体播放软件，准确提模型四角度的图像数据，并通过播放主机控制四角度图像在特殊成像空间中同步投影显示。在成像空间中，立体图像悬浮于空中，还原出完整的空间立体图像。这种立体图像悬浮显示在空中，可以360度自由裸眼观看。 系统整体主要由数据采集与处理模块、数据显示模块以及交互模块构成。下面将进行详细阐述： 1.数据采集与处理模块的构建 为采集到三维模型的完整信息，我们提出四角度图像采集处理技术。该技术将三维物体的完整信息分割为四个角度部分（如前、后、左、右四部分），对四角度部分的信息进行采集和优化处理，从而获取到三维物体的完整信息。该技术根据采集对象的不同，可分为三维动画模型的数据采集与实时拍摄数据的采集。下面将分别介绍： 1.1三维动画模型的数据采集和处理 该部分实现对三维软件中的虚拟模型三维信息的采集。为了使系统能够快速、准确获取到虚拟模型同一时刻的四角度数据，我们独立研发了同步采集技术。同时我们独立研发出多投影仪同步技术，实现模型四角度图像的严格同步输出。下面将详细介绍： （1）同步采集技术 首先在三维软件中建立所需的三维动画模型，将模型完整的三维信息分割为四个角度部分。接着利用三维软件分别提取模型四个部分的图像信息。该采集技术的关键在于，如何使系统能够方便、准确地从采集的数据中获取模型同一时刻的四个角度的图像信息。 我们独立研发了系统专用渲染器。此渲染器支持对模型四角度信息同步采集，并能够将同一时刻模型的四角度信息组合到一帧图片中，然后对每一帧图片进行优化处理，再将所有帧整合到一个视频文件中，对此视频文件进行压缩处理，以满足所需显示效果，同时减少数据所占空间。 （2）多投影仪同步技术 为了实现从动画模型的图形数据中准确提取四角度数据，有序地将数据传送至显示系统，并控制四角度图像同步显示，本系统创新性地提出单控制机对多投影仪同步控制技术。我们独立研发了环视系统立体播放及控制软件，实现对四角度数据的提取、优化以及它们的同步输出。该软件利用一个双头输出显卡识别四台投影仪，并通过对显卡中底层图像数据的直接处理，准确将各角度图像数据输送给相应投影仪，保证四角度图像显示的同步性。 该软件不仅实现四台投影机的严格同步输出，而且降低了系统实现的复杂性，大大减少了系统成本。 1.2实时数据采集和处理 实时数据采集实现对现实模型三维数据的采集。系统利用多进程同步采集技术实现对模型360度三维信息的同步采集，并利用多屏显示技术实现模型360度图像信息的同步输出。下面将分别介绍： （1）多进程同步采集 在系统中通过四个进程分别对模型四角度进行采集，为实现四路图像的同步，我们采用了模拟信号量对比法。在多个进程间进行同步通信对比，从而保证四角度图像采集的同步性。系统利用高清摄像头进行数据采集。由于数据量过大，传统方法会使显示的图像出现撕裂和迟滞的现象，这样会降低显示效果。为了能清晰、流畅地显示数据量较大的四角度图像，我们团队采用多种方法进行优化处理。具体如下： a. 高清数据的压缩。本系统利用差值法对高清数据进行优化，压缩了数据量，在保证显示图像清晰度的同时减少了系统处理的数据量。 b. 多级缓冲处理。一级缓冲保证从摄像头采集数据的完整性。二级和三级缓冲的使用可以克服撕裂以及闪烁等图像显示问题。 （2）多屏显示技术 系统利用单控制主机控制四台投影仪同步输出，为了使四角度数据能够实时、正确地显示在对应的显示器上，本系统创新性地提出一套图像显示优化算法，并为每个显示设备创建相应的专用绘图接口。通过像素映射的方法，该接口使得GDI能够准确、方便地在每个显示器对应的位置上绘制图像。 2.数据显示模块的构建 数据显示模块主要实现四角度图像的拼接。在采集四角度数据时会丢失立体模型的部分物理深度信息，这会降低图像显示时的立体感。为了增强图像的立体感，我们创新性地提出环视系统立体感增强技术。然而传统显示方式无法实现这一技术构想，所以该模块的构建需要对成像光路进行创新性设计，同时基于该成像光路的设计，我们独自研发了多角度环视拼接技术。 （1）大场景成像光路设计 基于光学反射原理进行立体成像的思想，我们专门为系统设计了二次成像光路。首先，投影仪在幕布上投影形成实像；然后，实像经过幕布下方的特殊玻璃反射，从而使观众能够观察到悬浮于玻璃后方的虚像。 经理论和实践证明，成像玻璃对投影仪投出的光线进行直接反射的成像效果较差。原因如下：第一点，直接投影会产生镜面反射，这样会导致只有玻璃前方一定角度范围内才能看到图像，减小了系统的观看角度。第二点，投影仪光线亮度较高，直接反射会导致反射光线过强，使观众无法正常观看。第三点，直接投影会使观众看到投影仪的虚像，降低了系统的观赏性。基于以上原因，我们设计出二次成像光路。投影仪在幕布上投出实像，幕布具有较好的漫反射性，从而极大增加了观众的有效观看范围。 系统采用短焦投影仪，实现在较短的距离内投影出较大尺寸的图像。利用多角度环视拼接技术对四角度大尺寸图像进行拼接，实现1m*1m*1m的立体图像的显示。该立体图像能够360度环视，模拟真三维图像的视觉效果，而且本系统所显示的立体图像的尺寸数十倍于目前真三维技术所显示的图像的尺寸，从而实现了大尺寸立体图像显示。 （2）环视系统立体感增强技术 人眼所觉察到的图像的深度感是由生理学因素和心理学上的暗示得到的。生理学因素主要是通过双目视差等因素在人脑中产生物理深度，它来源于物体真实的物理深度；心理学因素则利用了视网膜像的大小、线性透视、面积透视、重叠等四大重要暗示因素，它主要来源于人的视觉错觉。 为了弥补因物理深度信息的丢失而造成的显示效果的降低，本系统创新性地提出了立体感重现技术。该技术的核心思想是：增加心理学因素在立体感形成中所占的比重，进而减弱因物理深度信息的部分丢失而造成的影响。 因为采集的四角度图像自身具有部分深度信息，所以在幕布上形成的实像本身也具有一定的立体感（即具有深度信息）。基于立体感增强技术，本系统创新性地提出膜处理法，改善反射玻璃的光学性能，增强人眼在观察图像时所产生的心理学因素的作用。对不同玻璃匹配不同性能的反射薄膜，调整玻璃的反射率与透射率，这样，在观众观看虚像的同时，也能够看到玻璃后方的真实环境，虚拟与现实在人眼中相互结合，产生了以上的心理学的暗示。 经过不断实验得出，经处理后的玻璃的反射率与透射率相互接近时效果比较理想，即50%左右的反射率和50%左右的透射率。（对于膜的制作，由本团队与专门的膜生产厂商合作完成，由我方提出具体的性能指标，厂方负责生产。） （3）四角度拼接 为实现四角度图像的拼接，我们创新性设计空心金字塔做为整个系统的成像空间，该空间的构建使得 360度全角度投影成为可能。 首先，环视系统立体播放及控制软件控制四台投影仪进行四角度同步投影，每台投影仪分别在相对应的幕布上形成实像，而且每块幕布都与金字塔的一个面相对应。然后，四个实像通过金子塔进行反射分别在金字塔中形成悬浮的虚像。观众围绕金子塔 360度观看，便可观看到立体模型的不同侧面。为实现不同侧面的自然过渡，我们对多个方面进行优化处理。下面将分别阐述： 图像变形问题：观众看到的像是由玻璃反射形成的虚像，所以由光学反射原理可知，必须严格控制玻璃与幕布的角度关系，才能保证人眼中的虚像不发生变形。经过一系列光路计算和反复的实验得出：当成像玻璃与投影幕布呈45度角时，才能保证虚像在人眼中不发生变形。 图像尺寸一致性问题：为实现四角度虚像尺寸的一致性，据近大远小的成像原理，首先系统应保证四角度实像大小的一致性。其次系统应保证幕布与相应金字塔表面距离的一致性。这需要对整个硬件结构进行精心的设计。同时由于幕布尺寸较大，很容易发生变形，为此我们专门为系统设计了环形幕布结构，该结构能够有效均匀载荷，降低幕布的变形程度。 3.交互模块的构建 大场景360度环视动态显示系统为观众生成逼真的虚拟环境，实现视、听、触觉一体化的虚拟体验，人们将身在“太虚幻境”中，亲自感受物质生活外的虚拟时空。 配备了触摸交互机的大场景360度环视动态显示系统使观众能够与虚拟景物实时交互，优美的交互界面，流畅的动画交互以及快速的功能切换，使得观众深深沉浸在系统创造的虚拟现实之中。在系统中，立体动画播放功能和直播功能都需要处理较大数据量，所以实现这两个功能的启动和关闭都会出现一定的时间延迟和画面撕裂的现象。 为了能够实现立体动画播放功能和直播功能的自然过渡。我们专门为系统开发了环视系统切换软件。该软件通过实时侦测触摸交互机所发送的通讯信息，利用独立研发的切换算法，对通信信息进行预处理，同时执行相应的功能过渡操作。确保在前一个功能完全关闭前，下一个功能的全部数据已经准备完毕。为了能让两个程序在切换中过渡自然，实验发现发现，从播放动画程序切换到直播程序过渡流畅，而由于播放动画程序打开后，需要加载多角度数据进入内存，同时又需和客户端通信。经过多次试验得出，从启动动画播放功能到全屏显示的过程大约需要2.2s左右的预处理时间。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 作品制作目的： 立体显示具有广阔的应用前景，目前传统的二维平面显示在某些方面已经不能满足人类的需求，人们希望显示器能真实地还原显示出空间的三维信息。大场景360度环视动态显示系统能够显示悬浮于空中的大尺寸立体图像，给予观众直观的深度感和空间感。 基本思路： 系统首先提取立体模型的四角度信息。然后利用播放主机精确控制四台投影机同步投影立体模型的四角度画面，在特殊成像空间中形成悬浮于空中的各角度虚像，四角度图像在成像空间中重新拼接成完整的空间立体图像。系统显示的三维立体图像悬浮显示在空中，可以裸眼360度自由观看，而且从不同角度观看是不同的图像，基本实现真三维的视觉效果。 创新点： 1. 首创“分割再拼接”全新的立体显示技术。 2. 1m×1m×1m大尺寸立体图像显示。 3. 立体图像悬浮于空气中，海市蜃楼般的幻境。 4. 现实物体的实时再现。 技术关键： 1. 三维数据同步采集和处理技术。 2. 单控制机同步显示技术。 3. 多角度图像环视拼接技术。 4. 环视系统立体感增强技术。 主要指标： 1. 观看角度：360度环视。 2. 立体图像空间大小：1m×1m×1m（长×宽×高）。 3. 四角度图像采集时，各角度采集的图像分别率为800×600。（经试验当分辨率设为800×600时，系统中图像效果比较好）
科学性、先进性
- 大场景360度环视动态显示系统基于首创的“分割再拼接”思想。系统提取立体模型的360度图像数据，经过二次光路成像，在金字塔状的成像空间中实现图像的拼接，还原出完整的立体图像。它具有突破性大尺寸图像显示、立体图像悬浮于空中和360度环视立体图像的特点。 它与目前三维显示技术的原理有着本质区别。它不同于基于双目视差的三维显示技术，大场景360度环视动态显示系统能够实现裸眼观看立体图像效果，而且没有角度限制。它也不同于真三维显示技术，大场景360度环视动态显示系采用全新的三维显示理论，不包含运动部件，大大降低了系统实现的复杂性。 实质性进步： 1. 提出全新的三维显示技术：分割再拼接技术。 2. 1m×1m×1m大尺寸立体图像显示。 3. 实现对现实物体三维数据的实时采集和显示。 大场景360度环视动态显示系统具有成本低、功耗小、搭建方便和效果新颖等特点，在产品展示、广告宣传和虚拟现实模拟领域都具有广阔的发展前景。
获奖情况及鉴定结果
- 获得校大学生科技节暨第十二届“挑战杯”全国大学生课外学术科技作品竞赛校内选拔赛特等奖。
作品所处阶段
- 该作品实物制作已经完成，正处于中试阶段。
技术转让方式
- 同意技术转让或合作开发。
作品可展示的形式
- 该作品可现场进行现场实物演示。
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 大场景360度环视动态显示系统具有技术领先、结构设计精度高、扩展性好、逼真度高等技术特色。观众可以在360度范围内，根据自己的需要，任意选取不同角度观看。并可实现人机交互。 市场前景分析 该产品可广泛运用于各种虚拟场景的动态展示，市场前景无限，目前正在市场推广中。 a)医学领域 目前的医学显示仪器主要是平面显示，医生需要从复杂的平面投影中还原出人体的立体结构。使用环视系统可以直接观察人体三维立体结构，给医务工作者直观的判断。 b）军事领域 环视系统通过真实的三维信息，完全模拟战场环境，导弹运行轨迹等，给军事人员最直观的视觉判断。 c）广告、娱乐、大型单位的标志性形象广告传媒展示 环视系统能够实现大场景的立体展示，它比一般的平面展示更具有吸引力和震撼力。 d）博物馆、规划馆展示及建筑设计领域的展示 可帮助产品的设计者或建筑设计师在360度空间全方位展示他们的设计。
同类课题研究水平概述
- 大场景360度环视动态显示系统所采用的三维显示思想是本系统独创性的“分割再拼接”思想，国内外尚无相同的原理性的研究和应用。 国内外目前的三维立体显示技术主要是基于双目视差原理的立体显示技术和真三维显示技术。基于双目视差的立体显示方式目前主要有： （1）需要佩戴辅助眼镜。在这种方式下，驱动程序会交替渲染左右眼的图像，通过辅助的眼镜，使左眼只能看见左眼的图像，右眼只能看见右眼的图像，然后由大脑综合这两幅图像，形成立体感。这种方式就像我们所看的3D电影，需要专门的场合，对光线等条件有限制，而且无法自由360度观看立体图像。 （2）立体显示器。例如在液晶中精确配置用来遮挡光线行进的“视差屏障（Barrier）”。由于右眼和左眼观看液晶的角度不同，利用这一角度差遮住光线就可将图像分配给右眼或左眼。这种方式虽然实现了裸眼三维，但是对观察者的位置和角度有严格的限制，一旦偏离了范围将不再有立体感。 真三维显示是一种能够在一个真正具有宽度、高度和深度的真实三维空间内进行图像信息再现的技术。真三维显示装置通过适当方式激励位于透明显示体积内的物质，利用可见辐射的产生、吸收或散射形成体素。但是由于真三维显示原理复杂，到目前该技术还只能是通过视觉错觉形成的、在性能上具有巨大缺点的、基本不具备商业价值的实验室产品。 本系统提出分割再拼接思想，利用光学反射进行立体成像，空间立体图像悬浮于空气中，实现裸眼观看，观察者可360度自由观看立体图像的不同侧面。这种显示技术在国内外公开发表的文献中均未见相同报道，在世界上处于领先水平。
