基本信息
- 项目名称：
- 基于自由立体成像技术的多视点立体手机
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 本作品提出了一种支持立体业务显示、能用于新一代宽带移动通信网络的新型移动终端软件体系结构和系统解决方案。多视点立体视频文件采用H.264编码，经网络传输模块由服务器传送至移动终端；移动终端进行H.264解码，采用立体图像合成算法得到立体图像；显示技术采用多视点自由立体成像技术，播放8视点视频。自行编写PC端服务器软件和手机客户端软件经测试，传输稳定可靠，手机终端显示立体效果明显，成像清晰。
- 详细介绍：
- 1、多视点立体视频编码部分 在H.264 JMVC多视点立体视频编码中，本作品优化搜索算法，在帧间预测时提高搜索速率；在模式选择部分进行快速模式选择，提前判断最优模式，降低编码复杂度，从而达到提高编码速率的目的。 2、多视点立体视频数据传输部分 本作品针对多视点立体视频在IP网络上的传输进行研究。首先根据不同的H.264 NAL单元的重要性，设定不同的优先级，如在多视点立体视频中被选作基本视点中的帧，采用可靠的TCP协议。而对一般优先级的NAL的数据单元采用UDP传输协议。其次本作品通过对数据源的标识和NAL片数据类型的控制实现多路复用与同步，同时实现对丢失数据的错误恢复与错误隐藏。 3、手机立体视频显示部分 基于光栅手机屏幕实现多视点自由立体的显示，采用多视点自由立体图像合成技术。基于光栅的多视点图像合成方法，就是将各视点的子像素按照光栅的光学结构，以一定规律性分别填充到LCD中子像素排列的对应位置上。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 一 发明的目的 将自由立体成像技术用于移动终端，为用户提供全新的视觉体验，大大拓展新一代宽带移动通信网络上的应用，不但能实现客观世界逼真的再现，还能衍生出众多与之相关的增值业务。 二 基本思路 1 对大尺寸终端的多视点立体图像合成算法进行优化，使之适应资源有限的手机终端 2 研究手机终端上立体视点数与屏幕尺寸关系，选择最适合的显示视点数 3 参考平面图像压缩标准，提出适应新一代宽带无线移动网络传输的多视点视频压缩方法 4 研究多视点立体视频传输协议，实现多视点自由立体业务的同步传输与显示。 三 创新点 1提出一种具有普遍适用性的立体视频业务的新型移动终端显示方案 2提出的兼容手机终端软件架构和系统解决方案是本作品自主提出的，无资料可以借鉴 3对现有的立体视频编码标准H.264 JMVC测试模型进行了优化，大幅提高了编码效率 4首次提出了专门应用于多视点立体视频传输的基于H.264的多视点立体视频传输协议，该协议能实现对多视点视频数据的实时、可靠传输，及多视点视频数据的同步。 四 技术关键 1适应立体视频业务的新型手机终端软件架构和系统解决方案 2有限资源下的多视点自由立体业务显示方法与技术 3多视点自由立体视频传输方法与技术 4多视点立体视频压缩编码方法和技术 五 技术指标 1视点数不少于2个 2立体视距范围 25～45cm 3无双眼双视现象出现 4 3种分辨率的立体手机终端
科学性、先进性
- 从相关的专利等知识产权分析与相关的技术标准发展现状来看，有关移动终端的立体显示技术尚处于起步阶段，国内外研制出相关产品的企业极少。目前看到报道的只有日本的精工爱普生、韩国的三星SDI、日本夏普等少数企业声称研制出了移动立体显示终端样机。 近几年，一些单位相继开展了立体成像技术的研究工作，主要研究点聚焦在大尺寸、高清晰度、多视点自由立体显示终端的研制方面，其产品主要用于媒体广告和特殊领域，尚未见在移动终端上实现立体显示和相关业务的报道。 本作品设计的出发点为：1、在移动终端有限资源下实现了多视点自由立体业务显示，手机移动终端显示可兼容八视点与三视点立体视频播放；2、提出适应无线移动网络传输的双（多）视点立体图像/视频压缩编码方法和技术，采用高压缩率的H.264编解码技术，在JMVC测试模型基础上进一步优化，大幅提高编码效率。3、研究并提出了多视点立体视频传输协议，实现了多视点间的数据复用与同步。
获奖情况及鉴定结果
- 1、本作品在2011年3月23日至3月24日在中国国际三维成像技术应用与产业合作大会展示两天获得国内外参观人员的一致好评。
作品所处阶段
- 实验室阶段
技术转让方式
- 专利许可
作品可展示的形式
- 实物、产品；现场展示；图片
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 通过安装在手机上的客户端，用户可以选择播放本地或者在网络上下载立体视频节目进行播放，享受自由立体显示技术带来的视觉享受。 基于新一代宽带移动通信网络，在移动终端上传输与显示立体视频是世界领先的研究课题，还未见其他国家开展这方面研究和实验工作的报道。因此本作品的研究成果将使我国在新一代宽带移动通信网络上开展立体图像/视频服务方面走在世界的前列，并且可以将成果尽快地推广到其他的可以承载高速业务的新型网络中去，打造出具有自主知识产权的产业。针对立体图像传输对网络服务质量要求高的特点，研究并实现移动通信环境下的面向双（多）视点的立体视频/图像的传输和控制等技术，对进一步发展和完善新一代宽带移动通信网络具有非常积极的促进作用，并能带来可观的社会效益和经济效益。 本作品顺应人类的需求，针对适应立体显示的新型移动终端进行基础性、前瞻性研究。本作品在市场上的推广及其他相关技术的发展能大大地拓展新一代宽带移动通信网络上的应用，不但能实现客观世界逼真的再现，还能衍生出众多的与之相关的增值业务。
同类课题研究水平概述
- 立体成像技术是开发立体显示业务的关键技术，立体成像技术分为“自由立体成像技术” 和“传统立体成像技术”两种。传统的立体成像技术要求观看者必须佩戴辅助视具，从而限制了系统的实用性。而自由立体成像技术不需要观看者佩戴任何辅助视具，用裸眼就可以直接观看立体图像。自由立体成像技术是立体成像技术领域的重大突破，也是未来立体显示技术发展的必然趋势。 20世纪中后期，随着计算机信息领域的发展以及平板显示器的出现，三维立体显示蓬勃发展。现今，基于光栅等技术的自由立体显示技术使用户摆脱了辅助视具的限制，同时提供更好的观看角度和效果，因而受到了越来越多人的青睐；另一方面，除了桌面显示器外，手机、PDA等掌上设备的显示屏幕也都努力采用3D显示技术。 现在对于立体视频的传输主要是基于IPv4和IPv6两种协议的基础上采用RTP 协议来保证实时传输，在此方面清华大学提出了基于下一代互联网的立体视频传输，主要研究立体视频在IPv6上的传输实现。Mathias Johanson 提出了使用RTP和RTCP的SDES PRIV项作为装载也立体视频通道相关信息容器的立体视频扩展协议。其他的国内外的研究机构也都在进行这方面的研究。但是所有的研究基本上都是在2D视频在IP网络上传输框架的基础上进行了扩展来实现对多视点立体视频的传输，并没有一个专门针对多视点视频传输的协议。而对于多视点立体视频的传输中关键的同步问题，在原有协议的基础上进行解决起来也有一定的难度。 在立体视频编解码方面，目前对MVC的研究主要分两个方向进行： 1）对H.264的语法语义的进行扩展来适应MVC的特点； 2） 利用视点间冗余进一步提高MVC编码效率，主要是对MVC运动估计进行研究，利用视点间相关性提MVC编码效率或者通过补偿视点间差异提高MVC编码效率。 近年来，学术界围绕MVC举行了几次专项研讨。早期研究者Lukacs提出了在相邻视点之间使用视差补偿的方法来提高立体视频的压缩效率。在多视点立体视频的编码方案中，通常的做法是使用运动估计和运动补偿技术来消除视频序列时间上的冗余，同时利用视差预测、补偿技术进一步去除各个视点之间的冗余。近年来许多研究者提出了很多种多视点立体视频的编码方案。根据视差和运动估计方法不同，这些方法大体可以分为为基于“块”的编码方法和基于“对象”的编码方法两大类。
