图 3 Kinect人体骨骼识别
1.3 Kinect的开发工具
1.3.1 Kinect for Windows SDK
Kinect for Windows SDK主要是针对Windows7设计,内含驱动程序、丰富的原始感测数据流程式开发接口(Raw Sensor Streams API)、自然用户接口、安装文件以及参考数据。Kinect for Windows SDK可让使用C++、C#或Visual Basic语言搭配MicrosoftVisualStudio2010使用。
Kinect for Windows SDK的主要特色包括:
- 原始感测数据流:开发人员能够直接取得距离传感器、彩色摄影机以及四单元麦克风数组的原始数据流。这些数据让开发人员可以利用Kinect传感器的低阶数据流为基础进行应用程序开发。
- 骨架追踪:此套SDK能够追踪Kinect视野内一位或二位用户的骨架影像,便于建立以体感操作的应用程序。
- 先进的音效功能:包括抑制噪音与回音消除功能、可透过音波形式辨识声音来源,并且能与Windows语音识别API整合。
- 简易的安装:这套SDK提供了在Windows7上的标准化安装方式,无需复杂的组态设定,安装档案大小也不到100MB。开发人员只要购买标准的Kinect传感器,就能在几分钟内立即开发。
- 完整的说明文件:SDK也随附详细的高质量技术文件。除了内建的说明档案之外,还包括了多个范例详细的逐步分解说明。
1.3.2 Open CV
本文所做的研究虽未涉及Open CV,但使用此库函数可大大增加Kinect的识别功效,可进行更多的手势,动作定义,从而进行更复杂的人机交互。Open CV的全称是:Open Source Computer Vision Library。Open CV于1999年由Intel建立,现在由Willow Garage提供支持。Open CV是一个基于BSD许可证授权(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。并可用于处理人机互动、物体识别、图象分割、人脸识别、动作识别、运动跟踪和机器人等诸多方面的应用。
Open CV 拥有包括 500 多个C函数的跨平台的中、高层 API。它不依赖于其它的外部库——尽管也可以使用某些外部库。Open CV 使用类BSD license,所以对非商业应用和商业应用都是免费(FREE)的。(细节参考 license)。Open CV 为Intel Integrated Performance Primitives (IPP) 提供了透明接口。 这意着如果有为特定处理器优化的的 IPP 库, Open CV 将在运行时自动加载这些库。Open CV提供的视觉处理算法非常丰富,并且它部分以C语言编写,加上其开源的特性,处理得当,不需要添加新的外部支持也可以完整的编译链接生成执行程序,所以很多人用它来做算法的移植,Open CV的代码经过适当改写可以正常的运行在DSP系统和单片机系统中。
2 运动姿态的识别方法
2.1 什么是手势
在许多不同的学科中,手势(gesture)有着其独特的含义,可能这些含义之间有某些异同。在艺术领域,手势被用来传达舞蹈中最富表现力的部分,特别是在亚洲舞蹈艺术中,手势被作为某些宗教符号或者象征。在交互设计领域,在基于触摸的自然交互界面中手势和操控有很大区别。
以上这些说明手势在不同的学科领域都有自己独特的含义。在学术领域都试图对手势定义一个抽象的概念。在用户体验设计领域使用最广泛的关于手势的定义实在Eric Hulteen 和Gord Kurtenbach 1990年发表的一篇名为人机交互中的手势(Gestures in Human-Computer Communication),定义如下:”手势是身体的运动,他包含一些信息。挥手道别是一种手势。敲击键盘不是手势,因为用手指的运动去敲击按键没有被观察,也不重要,他只表达的键盘被按下这一动作。(A gesture is a motion of the body that contains information. Waving goodbye is a gesture. Pressing a key on a keyboard is not a gesture because the motion of a finger on its way to hitting a key is neither observed nor significant. All that matters is which key was pressed)” 基于Kinect的人体运动姿态捕捉和识别技术研究(3):http://www.751com.cn/jisuanji/lunwen_9454.html