基本信息
- 项目名称：
- “指”标
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- “指”标涉及图像处理，人机交互，以及模式识别等热门领域；通过摄像头读入用户的操作信息，提取图像信息，将该信息与系统中模式进行匹配，识别用户操作，完成操作。将操作模式由从固定物理外设获得改为识别用户的不同手势动作，将动作赋予操作命令。需要解决的关键问题有手势的识别，由环境带来的外部光线物体引起的识别误差，对特定识别对象的跟踪与定位，与不同手势对应的不同功能的实现，性能上良好的用户使用体验。
- 详细介绍：
- 随着人与计算机的交互方式也在不断向着人们使用习惯改变，鼠标的使用局限了用户的操作方式，限制了人机交互。未来的交互方式将不拘泥于各种硬件，而实现人与外界的信息交流，将数字世界带入人们的生活中。通过“指”标，用户可以不借助鼠标，通过在电脑前作出相应的手势，由摄像头捕捉、分析并识别，完成手势定义的操作，实现控制电脑完成相应相应动作的操作，如只需动一下手指便可打开软件，浏览网页图片，播放PPT等功能。在项目的实现阶段，通过将项目细分为各个高内聚低耦合的子模块，并行开发。 通过不同的手势实现控制电脑的作用。对运行平台处理能力及摄像头的硬件要求较低，只需普通上网本及自带的前置摄像头配合软件使用。通过两次重叠函数映射实现鼠标位置的重定位，在良好光线下达到2毫米内精度。根据本项目的特点独立设计跟踪算法，实现高效准确的定位跟踪。 同时可以应用到智能移动平台如手机、平板电脑上，拓宽了使用方式，丰富了交互体验。摆脱诸如鼠标，键盘等外设在做用户交互的操作局限、硬件局限、空间局限。该项目已经成功移植到Meego系统，该系统为智能手机平板电脑的操作系统。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 随着人与计算机的交互方式也在不断向着人们使用习惯改变，鼠标的使用局限了用户的操作方式，限制了人机交互。未来的交互方式将不拘泥于各种硬件，而实现人与外界的信息交流，将数字世界带入人们的生活中。通过“指”标，用户可以不借助鼠标，通过在电脑前作出相应的手势，由摄像头捕捉、分析并识别，完成手势定义的操作，实现控制电脑完成相应相应动作的操作，如只需动一下手指便可打开软件，浏览网页图片，播放PPT等功能。在项目的实现阶段，通过将项目细分为各个高内聚低耦合的子模块，并行开发。 创新点： 通过不同的手势实现控制电脑的作用。对运行平台处理能力及摄像头的硬件要求较低，只需普通上网本及自带的前置摄像头配合软件使用。通过两次重叠函数映射实现鼠标位置的重定位，在良好光线下达到2毫米内精度。根据本项目的特点独立设计跟踪算法，实现高效准确的定位跟踪。 同时可以应用到智能移动平台如手机、平板电脑上，拓宽了使用方式，丰富了交互体验。摆脱诸如鼠标，键盘等外设在做用户交互的操作局限、硬件局限、空间局限。该项目已经成功移植到Meego系统，该系统为智能手机平板电脑的操作系统。 技术关键及指标： A． 通过设计针对本项目的跟踪算法，实现对目标的精确定位。 B． 在鼠标映射位置上，采取二次重叠函数映射，排除动作抖动，并提高了移动定位的精确度，在良好光线条件下达到2mm以内。 C． 通过对函数图像上的处理，在一定程度上排除光线影响。 D． 各种手势的设计，及相应操作的实现。
科学性、先进性
- 现有基于视觉的虚拟鼠标主要分两大类，一类是激光笔虚拟鼠标，通过提取光点图像坐标建立与计算机屏幕坐标的对应，此类虚拟鼠标采用了求解二维平面间单应性映射矩阵的方法进行标定。另一类是基于手势、眼睛视线或人脸特征等身体特征的虚拟鼠标，D．0．Gorodnichy等研发的Nouse基于双目立体视觉技术和极线几何关系，完成鼻尖三维空间定位，实现对计算机的简单控制。该类虚拟鼠标系统的成本较高、视场范围小、标定过程复杂、立体匹配难、计算量大、实时性较差。2009年，麻省理工学院(MIT)媒体实验室(Media Lab)的博士候选人及研究助理的Pranav Mistry是发明的“第六感”装置，引起世界轰动。 在技术实现上，根据使用条件，采用定制开发的算法，有别于常用的跟踪算法，将颜色与位置等信息向结合，加以广度优先及最优匹配，并在运行时采用机器学习原理，不断调整跟踪特征值，达到良好的跟踪效果。同时在函数设计上，采用双层函数上的匹配拟合，达到良好的使用体验。
获奖情况及鉴定结果
- 该作品于2010年11月12日，于山东大学，获得山东大学软件学院“创新杯”一等奖。
作品所处阶段
- 中试阶段
技术转让方式
- 一次性结算
作品可展示的形式
- 现场演示，图片，录像，样品
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 技术特点： 高可用性及高移植性。指标有别于其他机器视觉项目、手势识别项目依赖较高的摄像头分辨率及较高的CPU运算资源的限制，实现在上网本等较低运算能力平台的应用，同时良好的跨平台性质使之能良好的运行在MeeGo平台，即可适用于智能移动平台上如智能手机平板电脑上。 推广前景说明： 虚拟鼠标可以使用计算机和手机自带的摄像机以及摄像功能，使用者可通过计算机或手机进行单击、双击、右击、拖拽等鼠标操作，让沉闷单调的鼠标增添不少生动的气氛，为商业、游戏、教育和影音娱乐市场提供了活泼互动的选择。该系统通过增添模块可以进一步实现手语的学习功能，空间绘画功能以及游戏操控中。 虚拟鼠标显示了技术的创新，是新概念的人机交互模式，赋予市场全新的定位，改变了旧有的刻板操作，带来了科技的创新，创造了双向互动的新潮流。同时脱离了硬件的设置，实现了低碳环保，避免了细菌的接触式传染。
同类课题研究水平概述
- 现有同类课题主要分两大类，一类是激光笔虚拟鼠标，通过提取光点图像坐标建立与计算机屏幕坐标的对应，此类虚拟鼠标采用了求解二维平面间单应性映射矩阵的方法进行标定，在市场上的激光笔虚拟鼠标并不具备对鼠标位置进行光线跟踪定位的功能，只能实现类似鼠标单击双击，播放PPT时上下页面的切换等功能，并不能广泛应用到对电脑的操控，不具新颖独特的用户交互体验，在使用上也受应用的局限。另一类是基于手势、眼睛视线或人脸特征等身体特征的虚拟鼠标，Nouse基于双目立体视觉技术和极线几何关系，完成鼻尖三维空间定位，实现对计算机的简单控制。该类虚拟鼠标系统的成本较高、视场范围小、标定过程复杂、立体匹配难、计算量大、实时性较差对平台的要求较高也使其不具良好的移植性，同时，在控制时，需要不断移动头部，与用户使用习惯相差很大很难普及推广。2009年，麻省理工学院(MIT)媒体实验室(Media Lab)的博士候选人及研究助理的Pranav Mistry是发明的“第六感”装置，引起世界轰动。该设施将摄像头与投影仪集合，通过摄像头捕捉操作者的动作，用投影仪进行呈现的方式，将数字世界带入人们的生活中。 在跟踪算法上，没有基于机器学习，结合目标特征值及相对位置信息的跟踪算法，对对象进行实时跟踪。在跟踪上，首先是基于已经定义的特征值，以及多对象间存在的相对位置信息，确定目标值，再分析每次检测出对象的特征值受环境光线影响变化，计算受影响系数，将系数加权到下次搜索过程中，得到精确度更高的结果。该跟踪方法针对本项目在使用过程中的条件设计实现，能较好的实现在光线变化情况下的识别，同时在本领域内没有搜索到相关文献。具有独立的知识产权。同时，在本项目中采用的二次重叠函数映射法，也并未在之前论文期刊等中出现，采用二次重叠函数映射法，提高了移动精度。本项目在位置映射时并没有采用普遍的一次函数直接映射，而是采用两次函数映射实现鼠标位置移动定位。以移动食指完成鼠标位置定位为例，在移动较近距离时，用户往往慢慢移动，而想要实现跨度较大的移动时，移动速度较快。而用户觉察到是否定位到指定位置是通过人眼的观察。基于以上分析，二次重叠函数映射法得以实现，即在短距离移动时，使用较多的像素点信息，当移动距离较大时，使用较少像素点，通过一次映射后将调整后的位置坐标映射到屏幕上。该方法在本项目中首次出现，没有文献记录。
