基本信息
- 项目名称：
- 基于激光投影及颜色识别的新型人机交互方式
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 随着科学技术的发展，出现了各种先进的人机交互方式。本发明提供一种基于颜色识别的人机交互方式，通过摄像头识别戴在手指上的彩色指套，根据各种特征手势作为设备如计算机的输入。同时，引入一种成本较低的激光投影仪，构建虚拟场景，使人机交互的应用背景更加丰富多彩。
- 详细介绍：
- 本系统提供一种基于颜色识别的人机交互方式，采用佩戴彩色指套的方式，在颜色识别辅助的基础上做图像识别，通过左手右手共四个彩色指套，经图像处理，产生等同于鼠标和键盘事件的效果，即提供了一种通过手势方式的鼠标键盘控制方式，并能通过手指动作放大缩小图片，达到类似手机的多点触控效果。控制了鼠标之后，使用者就比较可能根据自己的需要对系统的功能进行自定义的拓展。同时，制作便携式的小型激光投影器，可以构建虚拟场景，引入更加丰富的人机交互背景，使得上述的人机交互方式更加有实际意义。本系统的成本较为低廉，主要在于摄像头及小型的激光投影仪，具有较好的市场推广价值。 作品有四种演示功能： 1、 彩色指套多点触控系统。通过图像处理识别手指动作，可由右手单手完成鼠标左键、移动等动作，左右手配合还可放大缩小图片，达到类似电容式触摸屏的多点触控效果，且可以非接触。 2、 通过激光笔控制鼠标。通过摄像头捕捉屏幕边框及激光笔的光点在屏幕上的位置，将光点位置设定为鼠标的位置，即实现一种激光笔控制鼠标的方法。 3、 虚拟场景一：当右手摆出手表的手势时，摄像头捕捉到此动作，将令激光投影器产生时钟的图像，在其上面能看到正确的时间。 4、 虚拟场景二：模拟了一个打地鼠游戏。激光投影产生一幅打地鼠的游戏图像，人可以用手或其它工具进行打地鼠游戏。 创新点：（1）制作了一种基于动态扫描的激光投影器，用来构建虚拟场景，提供更加丰富的人机交互背景；（2）系统中，彩色指套的使用，使得图像处理变得简单一些，但指套的使用并不麻烦。（3）较好的扩展性，在基于本系统的交互方式基础上可以根据需要增加应用背景。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 本系统以PC机为演示载体，有如下四种演示功能： 1、 彩色指套多点触控系统。此模式下摄像头对着人的手部，通过识别手指上的彩色指套及手部，判别出对应的鼠标键盘动作如：左键、右键、滚轮、移动等，作为新型的鼠标键盘控制方式。达到的效果类似于手机电容触摸屏的多点触控效果，但可以非接触。 2、 通过激光笔控制鼠标。此模式下摄像头对着电脑屏幕（实际推广中可以是其它，如投影仪的屏幕），通过捕捉屏幕边框及激光笔的光点在屏幕上的位置，将光点位置设定为鼠标的位置，即实现一种激光笔控制鼠标的交互方法。 3、 虚拟场景一：当右手的拇指和食指在左手手腕处摆出手表的手势时，摄像头捕捉到此动作，将发出控制信号，令激光投影器产生时钟的图像，在其上面能看到正确的时间。 4、 虚拟场景二：模拟了一个打地鼠游戏。激光投影产生一个幅打地鼠的游戏图像，人可以用手或其它工具进行打地鼠游戏。 创新点：（1）制作了一种基于动态扫描的激光投影器，用来构建虚拟场景，提供更加丰富的人机交互背景；（2）系统中，彩色指套的使用，使得图像处理变得简单一些，但指套的使用并不麻烦。（3）较好的扩展性，在基于本系统的交互方式基础上可以根据需要增加应用背景。 技术关键：（1）在颜色辅助的基础上通过图像处理识别手势动作；（2）小型激光投影仪的制作；（3）PC机上鼠标等与操作系统相关的资源的运用。 技术指标：摄像头采集图像祯数；手部动作识别率；激光投影器分辨率及保真度；产品成本。
科学性、先进性
- 1、目前的人机交互方式主要有键盘、鼠标以及触摸屏等，触摸屏上较先进的有多点触控技术，但都是接触式的。近年来也出现了一些基于图像处理的非接触式人机交互方式，但存在识别率偏低的缺点，更重要的是一般对特定的系统有为其量身定做的交互方式，较难进行拓展，可适用性不强。 2、本系统采用彩色指套进行颜色识别作为辅助手段，在一定程度上降低了图像处理的难度，并提高了准确率。通过图像处理后将其外部特征动作转变为我们所熟悉的PC机鼠标、键盘事件，之后可以根据用户需要来做各种控制。 3、本系统制作了便携式的小型激光投影器，可以构建虚拟场景，引入更加丰富的人机交互背景，使得上述的人机交互方式更加有实际意义。同时，系统成本较为低廉，主要在于摄像头及小型的激光投影仪，具有较好的市场推广价值。
获奖情况及鉴定结果
- 无
作品所处阶段
- 实验室阶段
技术转让方式
- 无
作品可展示的形式
- 样品
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 使用说明： 进入系统界面后，有四项演示功能供选择：1、基于颜色识别的多点触控系统，通过手指动作达到等同于鼠标键盘的控制效果。2、激光控制鼠标功能。此模式下，将激光笔的光点位置设置为鼠标位置，可作为电子教鞭及游戏交互的手段。3、虚拟时钟功能。当做出特定的手部动作时，激光投影器将产生时钟的虚拟场景。4、虚拟打地鼠游戏。激光投影器产生打地鼠游戏的界面，可以用手或其它工具进行打地鼠游戏。 前两项功能主要与PC机相关，后两项与激光投影器相关，但都运用了图像处理技术。 本产品优势、适用范围及推广: 本系统可扩展性强，通过基于颜色识别的多点触控技术，达到等同于鼠标及键盘等的控制作用，可根据用户需要进行功能扩展。同时，加入自制的激光投影器，可以构建虚拟场景，使得人机交互的应用背景更加丰富，更有实际意义。 同时，本系统成本较为低廉，只需要简单的摄像头及激光投影器即可实现功能，且由于上文所述的可扩展性强的优点，适用于各种用户，有很好的推广前景。
同类课题研究水平概述
- 当前国内外较大部分场合依然传统的人机交互方式，如键盘、鼠标、触摸屏等。但已有一些类似的人机交互产品的研发，如基于图像处理或加速度传感器的手势识别等，但这些产品都有较大的局限性，因为只适应于特定的应用背景和软件环境，例如对于某一款电脑游戏有其特定的手势，都是为特定的系统量身定制的，开放性较差，用户很难甚至没有办法对其进行拓展。 同时，目前基于手势等的图像识别多数容易受背景、光线等的影响，需要进行一定的调试，这给使用者带来一定的不便。 本系统采用彩色指套的方式，在颜色识别辅助的基础上，便于做图像识别，通过左手右手共四个彩色指套，经图像处理，产生等同于鼠标和键盘事件的效果，即提供了一种通过手势方式的鼠标键盘控制方式。控制了鼠标之后，使用者就比较可能根据自己的需要对系统的功能进行自定义的拓展。同时，制作便携式的小型激光投影器，可以构建虚拟场景，引入更加丰富的人机交互背景，使得上述的人机交互方式更加有实际意义。本系统的成本较为低廉，主要在于摄像头及小型的激光投影仪，具有较好的市场推广价值。
