基本信息
- 项目名称：
- 基于虚拟布景技术的个性DV制作技术
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 简而言之，虚拟演播室系统原理就是，摄像机运动跟踪系统将获取的摄像机运动参数进行处理后，去控制背景图像生成装置，使生成的背景图像与前景图像保持正确的透视关系。最后摄像机所摄的前景与生成的背景在色键合成器中合成并播出。
- 详细介绍：
- 一、虚拟演播室能够增强所表达个性DV节目的感染力和交互性 传统的色键对DV节目制作的限制较多。由于色键是在二维平面空间运作，当拍摄色键前景画面的摄像机移动，不论是变焦、上下摆动或左右摇动，色键的背景画面都不会随前景画面而相应变化。而用虚拟演播系统制作的布景是合乎比例的立体设计，当DV机移动时，虚拟的布景与前景画面都会出现相应的变化，从而增加了节目的真实感。 二、用虚拟演播室在很多方面成本效益显著 虚拟演播室技术具有及时更换场景的能力，在背景制作中节约了经费。它不必移动和保留景物，因此可减轻对人员的需求压力。对于短节目的制作，虚拟制作不会显出很大的经济效益，但在使用背景和摄像机位置不变的系列节目中它可以节约大量的资金。 另外，虚拟演播室具有制作优势。当考虑节目格局时，制作人员的选择余地大，他们不必过于受场景限制。对于同一节目可以不用同一演播室，因为背景可以存入磁盘。它可以充分发挥创作人员的艺术创造力与想象力，利用现有的多种三维动画软件，创作出高质量的背景。 虚拟演播室在现场拍摄及录制过程中，使用计算机制作的三维模型场景，实际地与现场拍摄的演员、录像机以及其它信号源合成在一起，保证现场演员在虚拟演播室中与三维背景呈现真实的透视关系，同时允许插入视频片断，互相作用的三维特技效果，加入图形、音频或者其它东西。这些效果可以是事先准备好的，也可以是拍摄者现场的决定。所有三维场景是由同一台摄像机拍摄的感觉。利用虚拟演播室技术，可以避免真实制景的繁琐及浪费，而且三维场景还可以循环使用，大大降低了制景费用，拓展了环境背景图像范围，能够充分发挥人的想象创作力。 三、用虚拟演播室可以灵活的制作出不同场景的DV节目 “虚拟演播室摄像机”进入合成系统，能够实现许多功能，能在演播室范围外游移，以完全不同的场景出现或者飞出演播室之外至远处，在运动中安全平滑地返回虚拟演播室场景，以及过渡到真实的摄像机。虚拟蓝背景技术允许摄像机拍摄蓝背景以外的事情，不受现场演播室的局限。虚拟演播室系统允许摄像机在演播室空间内进行灵活的运动包括曲线运动,可以不受限制地摇移，俯仰及变焦。 四、虚拟演播室可以改变观众对蓝幕去背的不良印象 虚拟演播室技术的应用可以将制作的水平往前跨进到全新的视觉领域，彻底改变过去观众对蓝幕去背的印象。虚拟摄影棚不再是电视台及大型制作公司才能做到，现在起你只要一个小空间的摄影棚及简单的灯光，利用摄影棚中的一小部分空间搭配蓝或绿背景，加上两支摄影灯光，把人物的全身、半身、胸上景拍下即可，再配合相应的计算机技术就可以制作出豪华大场景的合成效果，质感超乎您的想象。 五、虚拟演播室技术的应用领域 虚拟演播室是区别于传统色键抠像的一种新技术。传统色键抠像技术，是当摄像机做任何运动时，背景没有变化，播音员好像浮在背景上。而虚拟演播室技术，当调整和移动摄像机时，背景与摄像机同步运动，所以看上去前景与背景是一体的。虚拟演播室无论是采用传感器方式还是图案识别方式，其目的都是要确定摄像机的位置及运动参数（包括X-Y,PAN,TILT,ZOOM,HEIGHT）。再把所有参数经过处理后传送到用于渲染虚拟背景的图形工作站中，运用这些参数使其输出的背景画面根据摄像机运动而相应运动，实现前景（要根据实际情况作相应延时）与背景实时叠加，使之天衣无缝地合为一体，合成效果逼真立体感强的图像。 由于其成本较低、制景相对容易以及可完成常规演播室难以做到的特技效果，从面世到现在全世界范围都有广泛的应用。我国目前各电视台也基本配备了虚拟演播室，下面的部分着重介绍其实际中的应用： （一）虚拟演播室技术的常规应用 1、设计虚拟场景 虚拟场景的制作是在计算机上完成的。其设计的特点是充满了灵活性和自由性，能从不同的视角生成场景以满足制作的整体要求，场景的建立完全可以按照编导的想象，可以让主持人置身于一个足球场，甚至是一颗行星大小的场景内，房间的桌子、椅子、广场大楼、人体各器官的模型、山河峡谷等等都能够制作出来。基本的步骤是： 将实际物体按比例尺进行建模；给虚拟物体赋予彩色纹理或其它属性（反射或透明），对虚拟的场景进行灯光设计并且用纹理来描绘或生成，要考虑到前景灯光组合后的情况，虚景和实景的灯光效果要一致，必须具备真实性，根据节目的内容，生成景物的纹质、颜色和其它属性连续变化的运动图像。复杂场景计算机快速切换较难，所以背景素材要适当地存贮，需要时再调用，尤其是日常重复性的，具有相同格式和场景的节目。用计算机创作生成场景的设计师要具备专业技能，熟悉计算机，要与灯光灯、编导，演播室技术人员精诚合作，就能创造出非凡想象力的画面。 2、建设虚拟模型 目前三维建模和动画软件很多，其中Maya、Softimage和3D Max是大家比较熟悉的。计算机技术的高速发展使得其绘制的三维模型越来越逼真，但是由于虚拟演播室的模型和动画需要实时的运动，所以其建模的过程需要遵循以下几个原则： （1）实时运动要求构成模型的三角形数量有一定的限制（根据工作站计算能力不同大约从5000至20000不等），所以应尽量避免复杂模型的建造。 （2）模型中灯光不宜过多，但逼真漂亮的模型一般灯光也比较多。为解决这一矛盾，应在建模完成后用Lightscape等软件把灯光参数转化为贴图，可大大加快实时运行的速度。 （3）为达到逼真的效果，一般虚拟背景应建造前景物体（例如桌子、柱子、门和雕塑等），可用来遮挡住主持人。当主持人从其后走过时，产生身在其中的逼真感觉。 这种技术关键在于建造前景遮挡物时建造一模一样的两个，一个有贴图和光影，另一个为全白。全白的作为遮挡的键罩输出到色键叠加器中，由于键罩的作用当主持人走到遮挡物时好像真的被遮挡住了。 这种方法与传统色键抠像的不同在于图形工作站根据摄像机运动参数实时改变输出的背景画面，遮挡物与用于遮挡的键罩也相应改变。键罩的随时变化更加大了虚拟系统的逼真性。 2、制作多种类型的节目 虚拟演播室技术适合于新闻、采访、座谈、音乐、儿童教育、体育报道、天气预报等多种类型节目制作，制作效率高，修改方式灵活多样。 为制作人员提供了无限制的创作手段，拓展了创作人员的想象空间，虚拟场景可以是真实世界的模拟，也可以是想象中的虚幻世界，不受真实条件约束。在小演播室中能拍摄出大场面、大气派和令人感觉新奇的节目。不需要搭建实景，不占用演播室制景、拆景时间，省去了庞大的道具仓库，缩短了节目制作周期，节约了人力、物力和财力。可方便地更换虚拟场景，使各档栏目可连续录制，提高了演播室的利用率，虚拟场景能随时修改，反复利用，编导可携带虚拟场景文件在不同的地方制作节目。 新闻节目、播报新闻时，一般情况下播音员和摄像机几乎不动，使用虚拟演播室的新闻节目，可以让摄像机在演播室里来回移动表现更多的动作，记者在做报道时也可以在演播室走动，而不是坐在那里不动。 以福建省电视台新闻频道为例，目前台里的《娱乐新闻网》（娱乐类）、《时事前哨》（专题类）、《体育新闻网》（体育类）、《正午时光》（综合类）和《探索在线》（科技类）等五个栏目使用VRset系统进行演播室信号的拍摄制作，这五个栏目都是每天播出一期，其中前三个栏目是直播，制作效率非常高，对系统的稳定性和安全性的要求也非常高。 天气预报节目，动画数据是可以改变位置和颜色的，所以看天气预报的观众能看见播报员在雨中走动，为节目带来了更多趣味和创意。 国外电视台在报道选举活动中的传统图表，框图和计算机控制动画，可以容易地输入系统，与当地选举资料动态结合。避免了在选举活动中只能观看单调而重复的图像。 体育报道节目，中央电视台在报道98世界杯足球赛的节目中，就已应用虚拟演播室技术制作，给人以耳目一新的感觉。通过虚拟演播室直播九运会的开幕式和比赛，取得了圆满的成功。 目前，虚拟演播室技术已经在全世界范围内得到推广和应用，美国、德国、以色列、日本，以及英国、墨西哥等数十家电视台和制作公司都已采用虚拟演播室。 北京电视台在《北京您早》、《电脑时代》、《北京特快》、《金色时光》等节目中使用虚拟演播室，受到广大电视观众及众多编导的肯定与好评。 虚拟演播室对节目制作人员提出了新的要求，从虚拟场景的设计、制作，到演播室的灯光布置，摄像机操作等等，都不同于一般的演播室；而且对演员和主持人也提出了新的要求，视线和走位是比较关键的问题。 3、红外检测技术 在实际应用中有时会发生这种情况：主持人需要从虚拟景物（例如立柱、门等）后面走到前面来。这时就要人为去控制键罩的开关，当工作人员与主持人配合不好时会有穿帮的可能，于是红外检测技术便应运而生了。 红外线检测是确定被检测物体的纵向位置，即在演播室中被拍摄的前景位于背景内的深度。首先，在演播室上方固定二至四个红外线摄像机，作为红外线接收装置。然后，用红外发射装置对演播室进行测量，最后绘制出活动范围的网格图。这样当演播室中的移动物体（主持人等）配带上红外线发射装置，其红外线被红外线摄像机摄取，通过计算机识别和计算出该物体在网格中的位置，将数据传输到工作站，根据背景与物体纵向数据自动计算出移动物体在模型中所处的位置及深度。 以上就是虚拟演播室常提到的“深度键”的概念。这种系统根据红外线检测，产生深度键，能持续地使主持人置于虚拟背景内的正确位置。深度键容许在节目中虚拟物体、实际物体和主持人相互之间动态地前后阻挡，而创造出现实图像的感觉。这样当主持人从虚拟景物（例如立柱、门等）后面走到前面来，不需要人为去控制键罩的开关，系统会自动利用深度键来分析主持人和虚拟景物前后定位关系，自动形成遮挡与被遮挡的画面。大大减少了穿帮的可能也方便了节目的制作。 4、制作虚拟影子 三维模型之所以逼真，在于它可以仿真光和影。在建模过程中只要注意光的方向与实际保持一致即可。但是经过抠像合成的图象中，前景主持人的影子较难与背景物体相吻合。这主要是由于演播室灯光较多较亮，增加了色键抠像的难度。另外如果是用网格识别方法的演播室，由于背景板网格有两种蓝色，要想用抠像的方法获得影子几乎是不可能的。 要想获得完美的效果增加必要的设备也许是值得的。虚拟影子机是比较好的解决方法。它的做法是在演播室上方架设一台摄像机，只拍摄主持人在蓝箱内的画面，通过色键器抠像获得键信号，用这个键信号来模拟主持人的影子。最后再把这个影子与虚拟图象进行合成。实际上可把这台摄像机理解为光源，投射主持人到地上的影子和通过色键器抠像获得的键信号是相同的。这种方法的好处在于不受客观条件限制，而且可以灵活调整影子的方向。 有时建模会出现有倒影的情况（例如，大理石地板对其上物体会产生倒影），在建模时可通过镜像复制的方法来制作背景的倒影，而前景主持人的倒影要在蓝箱内铺设有一定反光能力的透明塑料布才可得到，这种方法简单实用，实际效果可以乱真。 5、自动反馈标志系统 有时主持人或表演者在虚拟布景中活动时，很容易从虚拟物体中穿过。为避免这种穿帮现象表演者要看着反送监视器，或者在地板上画行走路线。由于虚拟系统都有视频延时，所以并不能从根本上解决表演不自然的问题，另外也容易污染蓝箱的地板，造成抠像的困难。 于是有了自动反馈标志系统。在演播室地板上投影静止和运动的虚拟物体。让表演者知道所有虚拟物体在每一时间内位于何处。但是投影会对主持人自己的影子产生干扰，所以这种技术在实际应用中也不多见。 6、虚拟异地采访 如果使用两台色键抠像器，就可以实现虚拟异地采访。这种方法是利用从外地传来的信号，被采访者在蓝色幕布前，信号先经过一次抠像再进入虚拟演播系统。通过插入的视频可将被采访者与演播室中的播音员实时结合在一个虚拟背景中，两个人物可以面对面的交谈和表演，对观众来讲就好象真的把被采访者请到了演播室中一样。 7、虚拟人物表演 计算机技术的高速发展使得实时人物动画表演成为可能。在真人身上各重要关节处装传感器，传感器的各组数据传到工作站中用于控制已制成的虚拟动画人物的关节活动，使它完全实时地模仿表演者的动作。 虚拟动画人物与真人能同时出现在同一个虚拟背景中，并相互配合，互换位置和交谈。这在已往的演播室制作过程中是无法想象的，也会给节目带来新奇感和神秘感，从而最大程度地娱乐观众。 在实际的应用中，能够综合利用以上几点技巧，可使节目的制作过程简捷方便，节目真实感、娱乐性加强。虚拟演播室的技术还会不断发展，熟练掌握并灵活加以运用才能充分体现其在各方面的优越性。 虚拟演播室技术最初只是用于演播室节目的制作，但现在随着虚拟演播室技术的不断完善，它应用范围也有了很大的扩展，特别是在体育节目的报道及广告方面，出现了以虚拟演播室技术为基础的一些新技术，如虚拟重放系统、数字重放系统及虚拟广告系统等，利用这些技术制作的节目可得到非常好的效果。 （二）虚拟演播室技术的扩展应用 1、虚拟重放功能 虚拟重放系统主要应用于足球等球类比赛的转播及评论节目。它可提供球场、队员及球的动态三维图形画像，同时可连续改变虚拟摄像机的拍摄视点。虚拟重放系统的工作过程是这样的：首先选择一帧要分析的视频图像，画面在这一帧冻结起来。接着冻结起来的二维视频图像渐渐变成一幅动画形式的三维场景，即球场、队员及球等都变成了相应的三维图形画像。虚拟摄像机可围绕这一场景进行自由的“飞绕”拍摄，因此观众可从任意角度观看这一瞬间的比赛情况。这套系统需要事先存储体育场的三维模型。另外，准备素材需要几分钟的时间。虚拟重放系统将逐步改变体育节目的转播方式，它可部分代替慢速重放，可从各个角度模仿真实比赛的情况，因此呈现在观众面前的将不再是“有争议”的或是难以判断的情况。目前，虚拟重放系统可用于美式足球、足球、冰球等比赛项目。 2、数字重放系统 数字重放系统主要应用于体育比赛的报道及评述节目。它能迅速重放各种精彩场面，在重放时，通过使用先进的视频跟踪技术，可突出显示并自动追踪关键运动员或球，显示他们的运动轨迹或路线，测量并显示运动员和球的速度以及两物体之间的距离，可在视频图像上直接描画各种箭头、轨迹、路线和标志。对于观众来说，数字重放系统可使他们更清楚地了解比赛中的每一个细节，从而能更好地欣赏比赛。对于体育评论员和球队教练来说，数字重放系统是一个理想的分析工具。 3、虚拟广告系统 虚拟广告系统可在体育节目或文艺节目的直播期间，将演播室制作的虚拟广告牌插入到赛场或表演场的空地上，或用虚拟广告牌替换掉场地上原有的广告牌，合成后可达到以假乱真的效果，观众丝毫不会觉察。利用虚拟广告系统有很多优点。首先，在对不同的地区进行转播时，可插入不同的广告，增强广告的有效性，提高资源利用率。另外，赛场上的广告可以不再是静止的，可以将插入的虚拟广告作成动画形式，各种二维或三维的动画广告更能吸引观众的注意力。此外，使用虚拟广告后，广告位置不再局限于场地的边边角角，如果愿意，整个场地都可以放置虚拟广告，广告尺寸也不会有任何限制。而且，虚拟广告可插入到以前无法利用的空间，如水面、沙滩、雪地或非常高的地方。 目前整个虚拟现实技术正处于一个早期和初步的形式。它的发展与50年代的空间计划和70年代的微型计算机相似。现在我们才刚刚看到虚拟现实的潜力。虚拟演播室是虚拟现实技术的应用，因此虚拟演播室也同样处于自己的发展的初期。它目前还存在着技术方面的不成熟和应用方面的局限性。随着计算机技术的发展和计算机三维图像软件的开发，虚拟电视节目制作会更加成熟完善。虚拟演播室与真实演播室混合发展是未来的发展趋势，它会使电视节目达到最佳的视觉效果，为电视节目制作拓展更大的空间。
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 虚拟演播室是一套由计算机软件、主机、现场摄像机、摄像机跟踪器、图形图像发生器、色键器以及视/音频切换台构成的节目制作系统。虽然在硬件配置及软件设计上各有千秋，但其工作原理基本相同，其主要工作流程如下： 主持人一般是在呈“U”型或“L”型的蓝箱里做着各种表演，实际的、或“真实”的前景摄像机对其进行拍摄，背景图像(画面装饰、道具和风光布景)大都是三维立体图，由制作人员预先用计算机生成，前景与背景图像在传输或录制过程中混合。这种合成图像的制作方式即被称为“虚拟”。故此，这种图像摄录系统也被称为“虚拟摄像机”，与传统的蓝幕色键技术截然不同的是，虚拟演播室技术中的真实摄像机(前景图像)与虚拟摄像机(产生背景图像)始终保持同步互锁。 虚拟演播室技术对背景进行调整或移动，使之与摄像机的运动同步，即使用一个所有位置、参数能够被测量的摄像机系统，它与一个计算机系统相连接，该计算机系统能够使用这些数据控制背景图像的生成，使背景与摄像机同步运动，即前景图像与背景图像建立起正确的透视关系。 然后，真实摄像机的所有上述参数都送入计算机分析，系统对与前景图像相关的虚拟背景图像发出控制指令。最后，录有表演者和真实道具的前景图像与计算机生成的背景图像在色键控制器里合成为一幅画面，传送至视频切换台输出。
科学性、先进性
- 1、本作品具有极强科学性，因为本项目研究的内容是关于虚拟布景技术，以及和个性DV制作技术的应用，属于科技问题；论文论述的内容真实可信，没有丝毫的夸张和渲染；我们项目成员对研究的现象进行了周密地观察，通过多种方式对事物进行充分调查，掌握了足够而可靠的数据作为依据；运用正确的推理方法，提出的论点经得住推敲。 2、提交的论文和项目报告文理通顺、表达规范、编排美观，逻辑严密，具有较高的可读性。我们尊重事实，数据可靠，项目研究的过程是客观的，我们以足够的和可靠的实验数据或观察对象作为立论基础。其数据真实，并且是来自于科学实验的、整个实验过程是可以重复进行的、经得起核实和验证的。论据充分，论证严密，推理符合逻辑，数据处理合理，计算正确，结论客观。 3、论文中引用的概念、定义准确严密，判断、分析和结论都很真实准确，对项目研究的成果估计恰当。 4、本项研究抓住了前沿应用，有助于拓宽市场，前景广阔。
获奖情况及鉴定结果
- 无
作品所处阶段
- 进一步研究阶段
技术转让方式
- 授权
作品可展示的形式
- 纸质报告、多媒体电子版报告、多媒体展示成果、实物展示等。
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- [1] 王慧敏. 虚拟布景浅谈[J]. 广播与电视技术, 1997,(08) [2] 实用的方正虚拟布景系统[J]. 广播与电视技术, 2000,(06) [3] 杜春喜. 虚拟布景系统的改造与应用[J]. 中国有线电视, 2006,(08) [4] 周巍 , 李鹏. 双特技电视虚拟布景系统的设计[J]. 电视字幕.特技与动画, 2003,(05) [5] 打造视频虚拟技术应用的领头羊——虚拟布景系统技术[J]. 现代电视技术, 2002,(12) [6] 王云. 虚拟演播室技术电视领域的又一场革命[J]. 电视字幕.特技与动画, 1998,(04) [7] 牟利敏, 蔡卫东. 虚拟演播室技术概述[J]. 山东电子, 2001,(04)
同类课题研究水平概述
- 先进的技术就一定需要先进的设备做保证，世界上第一套虚拟演播室、可以上下左右运动的摄像机基座是在1994年的国际广播电视会议上展示的，在那之后世界上有很多厂家推出了自己的虚拟演播室系列，目前世界上有数十家公司已开发或正在开发这一全新的电视节目制作系统。如美国ES公司的Minset、加拿大Discreet、Logic公司的Vapour以及以色列RT-SET公司的Larus虚拟演播室系统等，另外，Accom、BBC、Trinity、ORAD、Radamec等公司也有虚拟演播室系统面世。但主要的生产厂家有四个，它们各有特色，即： (1)以色列的ORAD公司以其独有的模式识别技术和图像处理技术开发出高性能Cyberset O及入门级Cyberset Et系列产品。 (2)离散逻辑公司的Vapour是采用高性能终端，全功能的实时虚拟演播室系统。 (3)ES公司的Mindset是基于NT平台，采用ORAD公司的摄像机跟踪系统，能够接多个摄像机。 (4)RT-SET公司的Larus Otus采用传感器跟踪技术，速度快，提供了灵活的合成能力。 另外还有Accom的ELSET自动生成特征，让用户能很方便的根据自己的意愿来建模和灯光设计；Digmedia的Brainstorm Estuio产品是采用模式识别方法定出摄像机的参数，在建模上功能比较强；For-A的Didi Wmp采用了Orad公司的视频处理和延时设备，采用多通道结构，能实时处理等。 因为高性能产品整套系统的价格比较高，难以普及，所以各厂家又推出了入门级产品，如Orad的Cyberset E以满足众多的电视台和影视制作单位，采用性能较低的终端如：SGIO2采用WINDOWS NT作为平台，进行非实时的图像合成，系统采用开放式结构可以扩充到高性能的实时系统。 这些设备的不断出现和升级也带动了虚拟演播室技术的快速进步，使该项技术更加成熟，更加完善，功能更加全面，可以适应各种使用者的需求。
