基本信息
- 项目名称：
- 智能家居中的手势人机交互系统
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 人们一直在追求一种自然的人机交互方式。微软推出的基于深度摄像头的Kinect和海尔推出的手势控制电视，实现了机遇肢体动作的手势控制人机交互方式，但这类方式成本较高，操作不准确。本项目提出了基于普通摄像头的手指控制的人机交互方式，实现了更便捷、更自然、更精确的控制，并且将其使用在未来的只能家居中，实现了新型的信息管理。
- 详细介绍：
- 人们一直在追求一种自然的人机交互方式。微软推出的基于深度摄像头的Kinect和海尔推出的手势控制电视，实现了机遇肢体动作的手势控制人机交互方式，但这类方式成本较高，操作不准确。本项目提出了基于普通摄像头的手指控制的人机交互方式，实现了更便捷、更自然、更精确的控制，并且将其使用在未来的只能家居中，实现了新型的信息管理。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 目的： 实现智能家居环境中基于手势的人机交互完整方案，突破传统家居的空间限制，使用户能够随心所欲的控制居住环境，为用户的家庭生活提供更为宽广的交互空间和舒适的操作体验。 基本思路： 使用基于特征提取与AdaBoost算法的特定手势检测； 基于变形模板的人手参数化跟踪与人手姿态识别； 建立通用的手势控制通信协议和编程接口； 建立基于局域网的分布式系统构架； 创新点： 针对复杂背景的高鲁棒性人手检测与跟踪算法，适用于不同环境不同背景，可满足各种场景应用需求。 针对精确控制的需求，实现手指控制的，使操作更加精确高效，并实现手指控制与虚拟键盘的结合，解决了手势控制无法进行文本输入的不足。 先进的自然人机交互方案，使用户摆脱鼠标键盘等设备的限制，并实现了可扩展的网络化手势信息通信协议； 关键技术： 基于LBP特征和改进的HOG特征的结合AdaBoost算法的手势检测； 结合手势检测和CONDENSATION算法的手势跟踪算法； 基于变形模板和CONDENSATION算法的手指跟踪算法； 分布式系统构架； 基于网络的手势交互信息传输协议； 结合用户心理学的人机交互界面实现。 技术指标： 手势检测准确率> 90% 系统操作准确率> 85% 系统最佳操作距离：2～3M 操作响应时间<0.5s
科学性、先进性
- 1）设计思路上的先进性 2）高性能的检测算法 3）精确的指尖定位算法 4）分布式计算确保响应的实时性 5）自定义手势信息传输协议 6）人性化的交互界面设计 7）功能设计具有先进性
获奖情况及鉴定结果
- 华南理工大学“赛莱拉”第十二届“挑战杯”大学生课外学术科技作品竞赛一等奖； 广东省第十一届“挑战杯”大学生课外学术科技作品竞赛三等奖；
作品所处阶段
- 算法向芯片转换阶段
技术转让方式
- 专利实施转让
作品可展示的形式
- 现场展示
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 使用说明： 本系统可完成未来智能家居中的各种手势控制。手势操作流程大致包括以下几个方面：手的初始化，手势识别与跟踪，操作响应，操作结束。 适用范围： 本作品的使用范围包括： 1）主要应用于各种智能家居的控制，提供自然便捷的操控方式； 2）还可独立应用于社交性互动电视、游戏等家庭娱乐方面，丰富数字家庭体验； 3）可应用于个人电脑的操控，提高用户工作效率、增强娱乐体验； 4）应用于多媒体展厅、科技展馆等，带给消费者更加直观的信息传递方式和虚拟世界漫游体验。 推广前景: 本作品提出的新型人机交互技术，提供了更便捷、自然的人机交互接口，潜在的推广应用领域包括以下几个方面： 1）智能家居系统的控制 2）社交性互动电视的操作 3）个人电脑的操控。 4）多媒体展厅、科技展馆等应用领域 市场经济预测： 本作品提出的新型人机交互技术可转化为带有通用通信接口的小型集成设备，适合推广应用，在后期产业化研究基础上，有望获得可观的经济效益。
同类课题研究水平概述
- 如何实现自然、和谐的人机交互方式是信息科学面临的重要问题，涉及计算机科学、认知心理学和人工智能等多个学科领域。目前各国都将人机交互作为研究重点。国内外许多知名大学和研究机构都在自然人机交互领域开展相关研究，如UC Berkeley、MIT、Stanford等大学和微软、IBM、英特尔、索尼等公司以及国内的中科院研究所等都在自然人机交互研究上做了大量工作。 现在手势及手指人机交互主要解决的问题包括一下三个方面：（1）复杂环境下的手势检测；（2）复杂环境下高鲁棒性的人手跟踪；（3）复杂环境下的手势轮廓跟踪。 现在手势检测算法方面，主要分为两大类：1）基于肤色特征的人手检测；2）基于特征的人手检测。基于肤色的人手检测方法在一定环境下可以取得不错的效果，但肤色在光照变化时，效果较差。为了提高肤色检测对光照变化的鲁棒性，研究者提出了一种自适应的肤色检测算法，与传统的肤色检测算法相比，对光照变化具有较高的鲁棒性。在基于特征的人手检测算法研究方面，有研究者提出了一种基于Haar特征的人手检测方法，取得不错的效果。 人手具有27个自由度，这给手势跟踪带来了巨大的困难，一类手势跟踪算法是需要辅助设备帮助定位手势位置的，如数据手套，此类方法并不适用自然人机交互，另一类手势跟踪算法是基于颜色和形状特征的，此类方法与基于肤色特征进行人手检测一样面临着对光线变化时，效果较差的难题。第三类方法是基于Viola提出的级联分类器的物体检测框架下，这类方法可实现鲁棒性高，快速的人手检测。 在轮廓跟踪方面，主要分为两大类：1）基于active contour model(snake)的轮廓跟踪；2）基于active shape model的轮廓跟踪。Active contour model 首先由Michael等提出，之后便有了大量的运用此模型对物体轮廓进行跟踪的方法研究。Mingyou Hu等人中提出了利用运用运动信息和纹理特征来预测出被跟踪物体的初步位置，然后用snake模型来寻找物体轮廓，从而进行实时跟踪的方法，这种方法对于被跟踪物体位置的预测效率很低，效果较差，容易受到环境变化的干扰；Michael Isard 和 Andrew Blake等人提出了运用active shape model和粒子滤波算法进行结合的轮廓跟踪框架，奠定了这一跟踪算法的基础。
