OpenNI體感應用開發(fā)實戰(zhàn)

前　言
第一部分　基礎篇
第1章　自然人機交互 2
1.1　什么是自然交互 2
1.2　科幻電影場景的人機交互 3
1.3　自然人機交互技術(shù)發(fā)展現(xiàn)狀 4
1.4　本章小結(jié) 8
第2章　Xtion硬件設備 9
2.1　Xtion設備簡介 9
2.1.1　Xtion設備的類型 9
2.1.2　Xtion設備的功能 10
2.1.3　Xtion設備的規(guī)格 10
2.2　Xtion設備的優(yōu)勢 11
2.2.1　Xtion和Kinect的區(qū)別 11
2.2.2　硬件設備的軟件支持 12
2.3　深度感應器原理 14
2.3.1　感應器架構(gòu) 14
2.3.2　深度感應器工作原理 15
2.3.3　深度精確度分析 16
2.3.4　無法偵測物體深度 17
2.4　本章小結(jié) 19
第3章　OpenNI開發(fā)方案 20
3.1　初識OpenNI 20
3.1.1　OpenNI架構(gòu) 20
3.1.2　OpenNI支持的模塊 22
3.1.3　OpenNI的功能 23
3.1.4　OpenNI中的對象 24
3.1.5　OpenNI版本更新說明 25
3.2　OpenNI生產(chǎn)節(jié)點 27
3.2.1　生產(chǎn)節(jié)點的類型 28
3.2.2　生產(chǎn)節(jié)點概念圖 28
3.2.3　生成和讀取數(shù)據(jù) 30
3.2.4　OpenNI接口的配置 31
3.3　OpenNI應用 31
3.3.1　Xtion Controller應用 31
3.3.2　INOUT應用 31
3.3.3　Artec Studio應用 31
3.3.4　體感技術(shù)在初音未來上的應用 33
3.4　本章小結(jié) 33
第二部分　準備篇
第4章　Xtion開發(fā)準備工作 36
4.1　下載OpenNI及相應程式 36
4.1.1　下載SDK 36
4.1.2　下載Middleware 37
4.1.3　下載OpenNI以及相應的NITE 38
4.2　安裝OpenNI 38
4.2.1　Windows環(huán)境下的準備工作 38
4.2.2　OpenNI檔案及相關(guān)環(huán)境 39
4.2.3　加載設備驅(qū)動 40
4.2.4　檢測Xtion設備 40
4.2.5　NiViewer基本控制方法 41
4.3　使用Xtion的注意事項 41
4.4　本章小結(jié) 42
第5章　搭建基礎的Xtion體感開發(fā)環(huán)境 43
5.1　創(chuàng)建控制臺工程 43
5.2　配置工程OpenNI環(huán)境 45
5.3　本章小結(jié) 49
第6章　初識Xtion體感開發(fā) 50
6.1　OpenNI基礎應用 50
6.1.1　上下文對象初始化 50
6.1.2　創(chuàng)建生產(chǎn)節(jié)點 51
6.1.3　使用XML文檔中的生產(chǎn)節(jié)點 52
6.1.4　錯誤信息返回 53
6.1.5　開始產(chǎn)生數(shù)據(jù) 54
6.1.6　停止產(chǎn)生數(shù)據(jù) 54
6.1.7　上下文對象資源釋放 55
6.1.8　更新數(shù)據(jù) 55
6.1.9　鏡像設置 56
6.1.10　圖像位置校正 57
6.2　圖生成器 58
6.2.1　獲取支持圖輸出模式 58
6.2.2　圖生成器輸出模式 59
6.2.3　獲取和設置圖輸出模式 59
6.2.4　獲取圖像素字節(jié)數(shù) 60
6.3　深度生成器 61
6.3.1　獲取深度元數(shù)據(jù)對象 61
6.3.2　獲取深度圖 61
6.3.3　獲取設備最大深度 62
6.3.4　獲取設備視野范圍 62
6.3.5　絕對坐標和相對坐標轉(zhuǎn)換 63
6.3.6　獲取用戶位置功能 64
6.4　用戶生成器 64
6.4.1　獲取用戶數(shù)量 65
6.4.2　獲取用戶 65
6.4.3　獲取用戶質(zhì)心 66
6.4.4　獲取用戶像素 66
6.4.5　注冊用戶回調(diào)函數(shù) 67
6.4.6　獲取骨架功能 68
6.4.7　獲取姿勢偵測功能 68
6.5　場景分析器 69
6.5.1　獲取場景元數(shù)據(jù)對象 69
6.5.2　獲取場景地板 69
6.5.3　獲取場景標識段 70
6.6　圖生成器的概念及功能 70
6.6.1　圖元數(shù)據(jù)對象 71
6.6.2　輸出模式設定 72
6.7　OpenNI程序流程 73
6.7.1　初始化Context 75
6.7.2　建立Production Node 75
6.7.3　開始產(chǎn)生資料 75
6.7.4　更新、讀取資料 76
6.7.5　處理讀取的資料 76
6.7.6　結(jié)束和錯誤偵測 76
6.8　本章小結(jié) 77
第三部分　進階篇
第7章　人體骨架追蹤 80
7.1　坐標系 80
7.1.1　絕對坐標 80
7.1.2　相對坐標 81
7.1.3　相對坐標和絕對坐標的轉(zhuǎn)換 81
7.2　關(guān)節(jié) 82
7.2.1　OpenNI可偵測的關(guān)節(jié)點 82
7.2.2　讀取關(guān)節(jié)資料函數(shù) 83
7.2.3　關(guān)節(jié)位置的平滑化 84
7.3　人體骨架追蹤流程 85
7.3.1　需要特定姿勢的骨架追蹤 85
7.3.2　不需要特定姿勢的骨架追蹤 86
7.3.3　使用現(xiàn)有校正資料 87
7.4　人體骨架追蹤程序搭建流程 87
7.4.1　創(chuàng)建并初始化設備上下文 88
7.4.2　創(chuàng)建并設定生產(chǎn)節(jié)點 88
7.4.3　注冊回調(diào)函數(shù) 89
7.4.4　開始偵測數(shù)據(jù) 92
7.4.5　更新數(shù)據(jù) 92
7.4.6　得到用戶信息 93
7.5　人體骨架識別范例 94
7.6　本章小結(jié) 97
第8章　手勢識別與手部追蹤 98
8.1　手勢識別原理 99
8.1.1　OpenNI支持的手勢 99
8.1.2　遍歷NITE支持的手勢 99
8.1.3　添加手勢與回調(diào)函數(shù) 99
8.1.4　手勢識別范例 102
8.2　NITE控制 104
8.2.1　NITE Control函數(shù)詳解 104
8.2.2　NITE Control范例 106
8.3　手部追蹤原理 110
8.3.1　手心生成器回調(diào)函數(shù)注冊 110
8.3.2　手部追蹤初始化 110
8.4　本章小結(jié) 111
第9章　錄制與重播 112
9.1　錄制 112
9.1.1　創(chuàng)建錄制器 113
9.1.2　設置錄制目標檔案 113
9.1.3　獲取錄制目標檔案 113
9.1.4　添加錄制節(jié)點 114
9.1.5　刪除錄制節(jié)點 114
9.2　重播 115
9.2.1　設置重復播放 115
9.2.2　設置和獲取播放源資料 115
9.2.3　設置重播起始時間 116
9.2.4　獲取當前播放位置信息 117
9.2.5　檢索播放器中的節(jié)點 118
9.2.6　判斷是否播放結(jié)束 118
9.2.7　注冊播放到結(jié)尾事件回調(diào)函數(shù) 118
9.2.8　設置回放速率 119
9.3　本章小結(jié) 119
第10章　限制生產(chǎn)節(jié)點的建立條件 120
10.1　有條件地建立生產(chǎn)節(jié)點 120
10.1.1　添加限制條件 121
10.1.2　設置限制條件 121
10.1.3　建立生產(chǎn)節(jié)點 121
10.2　通過限制條件列舉符合條件的生產(chǎn)節(jié)點 122
10.3　根據(jù)節(jié)點信息建立生產(chǎn)節(jié)點 122
10.4　本章小結(jié) 123
第11章　使用XML文檔初始化 124
11.1　XML文檔設定參數(shù) 124
11.1.1　XML文檔基本架構(gòu) 124
11.1.2　XML文檔中的節(jié)點 126
11.1.3　XML文檔使用范例 127
11.2　使用XML文檔配置功能 128
11.2.1　強制錄制ONI文檔的XML配置 128
11.2.2　資料產(chǎn)生 129
11.3　本章小結(jié) 129
第12章　聲音數(shù)據(jù)的獲取與使用 130
12.1　聲音生成器 130
12.1.1　創(chuàng)建聲音生成器 130
12.1.2　獲取聲音數(shù)據(jù) 131
12.1.3　設置聲音設備的輸出模式 132
12.1.4　注意事項 132
12.2　聲音數(shù)據(jù)的處理 132
12.2.1　聲音錄制 133
12.2.2　聲音播放 134
12.3　本章小結(jié) 136
第13章　彩色圖像的獲取和貼圖 137
13.1　OpenNI框架支持的圖像格式 137
13.2　圖像生成器 138
13.2.1　創(chuàng)建圖像生成器 138
13.2.2　獲取圖像數(shù)據(jù) 139
13.2.3　設置及獲取圖像生成器的輸出格式 140
13.3　獲取RGB影像及貼出RGB影像 141
13.4　本章小結(jié) 143
第四部分　實戰(zhàn)篇
第14章　體感鼠標模擬 146
14.1　手部追蹤與鼠標模擬 146
14.2　程序編寫前的準備工作 146
14.2.1　環(huán)境準備 146
14.2.2　界面準備 149
14.2.3　鼠標相關(guān)參數(shù)配置準備 149
14.3　初始化 149
14.3.1　對話框初始化 150
14.3.2　載入ini文檔中的配置 151
14.3.3　OpenNI程序環(huán)境初始化 151
14.4　程序設計 154
14.4.1　獲取深度圖 154
14.4.2　獲取用戶數(shù)據(jù) 155
14.4.3　鼠標左右手模式的選擇及切換 156
14.4.4　滾輪控制放大和縮小 157
14.4.5　左手控制鼠標 158
14.4.6　右手控制鼠標 159
14.4.7　鼠標事件指令發(fā)送 161
14.4.8　懸停狀態(tài)設計 163
14.5　本章小結(jié) 165
第15章　Xtion玩《街頭霸王》 166
15.1　用身體控制游戲人物 166
15.1.1　人物基本操控動作 167
15.1.2　通用招式動作設計 167
15.1.3　游戲人物的特有招式設計 168
15.2　創(chuàng)建工程、配置工程環(huán)境 169
15.3　初始化 171
15.3.1　讀取深度數(shù)據(jù) 172
15.3.2　處理深度數(shù)據(jù) 172
15.3.3　獲取骨架 173
15.3.4　骨架數(shù)據(jù)的初步處理 174
15.4　Ken人物動作的表述 176
15.4.1　輕拳 176
15.4.2　跳起 178
15.4.3　波動拳 180
15.4.4　神龍拳 183
15.5　虛擬按鍵機制 186
15.6　本章小結(jié) 188
第16章　體感方向盤玩賽車類游戲 189
16.1　體感方向盤設計 189
16.1.1　操控方向盤基本動作 189
16.1.2　虛擬線性手柄模擬方向盤 189
16.2　體感方向盤程序開發(fā)初始化 191
16.2.1　環(huán)境初始化 191
16.2.2　虛擬手柄初始化 193
16.3　模擬方向盤操控 196
16.3.1　獲取用戶信息 196
16.3.2　左右方向的控制 197
16.3.3　油門與剎車 199
16.3.4　發(fā)送指令給虛擬線性手柄 200
16.4　本章小結(jié) 201
第17章　Xtion控制機器人 202
17.1　體感控制機器人需求分析 202
17.1.1　了解機器人構(gòu)造 202
17.1.2　如何用身體操控機器人 203
17.1.3　機器人操控程序界面設計 203
17.2　初始化 204
17.2.1　界面初始化 204
17.2.2　體感追蹤初始化 206
17.2.3　回調(diào)函數(shù) 207
17.3　控制機器人 207
17.3.1　連接機器人 207
17.3.2　發(fā)送指令 208
17.4　機器人程序代碼實現(xiàn) 209
17.4.1　骨骼數(shù)據(jù)的初步獲取 209
17.4.2　左肩的體感控制 211
17.4.3　大臂轉(zhuǎn)動的控制 213
17.4.4　肘部角度計算 215
17.4.5　手部角度計算 215
17.4.6　小手臂轉(zhuǎn)動 222
17.5　本章小結(jié) 222
第五部分　高級篇
第18章　BVH骨架轉(zhuǎn)換 224
18.1　運動捕捉技術(shù)簡介 224
18.1.1　典型的運動捕捉設備組成 225
18.1.2　傳統(tǒng)捕捉技術(shù) 225
18.1.3　運動捕捉技術(shù)應用 228
18.1.4　運動捕捉技術(shù)優(yōu)缺點 229
18.2　動作捕獲數(shù)據(jù) 230
18.2.1　解析BVH文件 230
18.2.2　骨架結(jié)構(gòu) 231
18.2.3　解讀數(shù)據(jù) 232
18.3　旋轉(zhuǎn) 233
18.3.1　基礎2D旋轉(zhuǎn) 233
18.3.2　3D坐標軸旋轉(zhuǎn) 234
18.4　歐拉角 237
18.4.1　從歐拉角轉(zhuǎn)換到矩陣 238
18.4.2　從矩陣轉(zhuǎn)換到歐拉角 238
18.4.3　從骨架數(shù)據(jù)中提取歐拉角 239
18.5　本章小結(jié) 241