人機交互中的體態(tài)語言理解

第1章 以人為中心的人機交互與體態(tài)語言理解 1
1．1 以人為中心的人機交互 1
1．1．1 普適計算和背景智能 3
1．1．2 物理―信息對偶空間 4
1．1．3 隱式人機交互和覺察上下境計算 11
1．2 非語言行為和體態(tài)語言 16
1．2．1 人際通信中的非語言行為 16
1．2．2 體態(tài)語言傳遞什么樣的信息 19
1．2．3 體態(tài)語言與語言通信的關(guān)系 20
1．2．4 體態(tài)語言的信息集群 21
1．3 非語言通信與社交行為 22
1．3．1 非語言行為線索與社交信號 24
1．3．2 面對面的社交行為 26
1．4 社交信息處理和社交智能 27
1．4．1 社交能力與動作理解 27
1．4．2 社交信息處理 28
1．4．3 社交智能 30
1．5 以人為中心的人機交互正在走向現(xiàn)實 32
1．5．1 “人―機器人交互” 32
1．5．2 計算機為媒介的遠程交互系統(tǒng) 35
1．5．3 背景智能和智能輔助生活 38
參考文獻 38
第2章 動作理解的心理和神經(jīng)機制基礎(chǔ) 48
2．1 動作理解中所涉及的問題 49
2．2 共同編碼理論簡介 54
2．3 動作的表示和內(nèi)容 59
2．3．1 動作是什么和動作的產(chǎn)生 60
2．3．2 運動想象是進入動作表示階段的窗口 61
2．3．3 動作意圖、規(guī)劃、準備和執(zhí)行之間的關(guān)系 65
2．3．4 人類視覺系統(tǒng)中的子系統(tǒng) 66
2．3．5 動作表示內(nèi)容 67
2．4 鏡面神經(jīng)系統(tǒng)和它在動作識別中的作用 69
2．4．1 猴子和人體中的鏡面神經(jīng)系統(tǒng) 70
2．4．2 鏡面神經(jīng)系統(tǒng)在動作識別和理解中的功能 71
2．5 動作的共享表示 75
2．5．1 動作表示的不同層次 75
2．5．2 語義表示和實用表示 76
2．5．3 共享的是感知表示還是運動表示 77
2．5．4 動作表示的方式 78
2．6 人體與物體的交互與可承受性 80
2．6．1 Gibson的可承受性理論 81
2．6．2 可承受性與動作理解 83
2．6．3 可承受性和與物體交互 87
2．7 人類動作理解中的功能機理和神經(jīng)網(wǎng)絡(luò) 89
2．7．1 視覺理解理論簡介 90
2．7．2 對基于計算機視覺的動作理解的啟發(fā) 92
參考文獻 95
第3章 基于覺察上下境計算的體態(tài)語言理解 103
3．1 體態(tài)語言理解問題的本質(zhì) 104
3．1．1 體態(tài)語言是人類的自然行為 104
3．1．2 體態(tài)語言線索、體態(tài)語言信號和體態(tài)語言 105
3．1．3 體態(tài)語言理解需要覺察上下境計算的支持 107
3．2 體態(tài)語言線索檢測 108
3．3 體態(tài)語言信號檢測 110
3．4 上下境和上下境模型 112
3．4．1 上下境信息在體態(tài)語言理解中的作用 112
3．4．2 上下境的定義 113
3．4．3 上下境模型 116
3．5 覺察上下境計算與系統(tǒng) 119
3．5．1 覺察上下境系統(tǒng)組成 121
3．5．2 覺察上下境系統(tǒng)的應用和性能 124
3．5．3 人體行為理解的研究現(xiàn)狀和存在問題 125
3．6 視覺信息處理中上下境的影響 128
3．6．1 人類視覺系統(tǒng)中上下境影響的研究 129
3．6．2 基于上下境的計算機視覺處理 132
3．6．3 覺察上下境的計算機視覺處理 137
3．7 基于覺察上下境計算的體態(tài)語言理解 139
3．7．1 基于動態(tài)上下文模型的群體交互行為分析 139
3．7．2 基于覺察上下境計算的人體日常活動識別和理解 142
3．7．3 支持覺察上下境計算的分布式多模態(tài)信息處理系統(tǒng) 145
參考文獻 146
第4章 基于廣義彈性運動跟蹤的人體運動分析 155
4．1 研究現(xiàn)狀 157
4．1．1 彈性運動跟蹤的研究現(xiàn)狀以及本章研究思路的提出 157
4．1．2 與廣義彈性運動跟蹤相關(guān)的研究工作 158
4．2 基礎(chǔ)彈性運動模型 159
4．2．1 彈性運動的纖維束表示 159
4．2．2 基于纖維束的融合思路 160
4．2．3 混合的變換隱馬爾科夫模型（MTHMM） 161
4．2．4 模型的推理算法 165
4．2．5 實驗結(jié)果與討論 170
4．2．6 小結(jié) 176
4．3 具有分類機制的彈性運動模型 177
4．3．1 彈性運動的分段纖維束表示以及分類機制的思路 177
4．3．2 具有分類機制的混合變換隱馬爾科夫模型（MTHMM-C） 179
4．3．3 模型的推理算法 181
4．3．4 實驗結(jié)果與討論 187
4．3．5 小結(jié) 193
4．4 廣義彈性運動跟蹤的應用 194
4．4．1 （半）自動建模 194
4．4．2 人頭姿態(tài)估計 195
4．4．3 基于廣義彈性運動跟蹤的運動描述 196
參考文獻 198
第5章 人體定位與體態(tài)估計 201
5．1 基于多攝像機的人體粗定位 202
5．1．1 多攝像機環(huán)境下的幾何約束 203
5．1．2 多攝像機人體定位算法 205
5．1．3 實驗結(jié)果 207
5．1．4 小結(jié) 211
5．2 多攝像機下人體頭肩部輪廓跟蹤與朝向估計 212
5．2．1 多視角輪廓約束 213
5．2．2 頭肩部輪廓的形狀表示和概率模型 215
5．2．3 多視角聯(lián)合跟蹤模型 224
5．2．4 度量表示與圖像度量模型 229
5．2．6 實驗結(jié)果分析 230
5．2．7 小結(jié) 233
5．3 基于梯度朝向直方圖的頭部姿勢估計 234
5．3．1 基于梯度朝向直方圖的二階統(tǒng)計特征 237
5．3．2 線性子空間方法 238
5．3．3 實驗結(jié)果 239
5．3．4 小結(jié) 248
參考文獻 249
第6章 可容忍視角、位置變化的人體動作識別 251
6．1 基于時空表示的動作識別研究現(xiàn)狀 251
6．1．1 基于多視角樣本 255
6．1．2 基于不變量表示和不變量約束 256
6．2 容忍視角變化的體態(tài)表示――包容形狀 258
6．2．1 動作識別中的視角變化 258
6．2．2 預備分析 259
6．2．3 包容形狀的定義和推導 260
6．2．4 動作識別實驗 263
6．2．5 非正交下雙攝像機配置下的包容形狀 268
6．3 容忍位置變化和遮擋的自適應包容形狀 271
6．3．1 容忍位置變化的多攝像機系統(tǒng) 272
6．3．2 容忍遮擋的自適應包容形狀 279
6．4 動作識別系統(tǒng) 284
6．4．1 動作識別系統(tǒng)流程 284
6．4．2 人體檢測和特征提取 285
6．4．3 體態(tài)表示和數(shù)據(jù)預處理 286
6．5 結(jié)論和展望 291
參考文獻 292
第7章 日常生活動作識別與行為分析 295
7．1 基于計算機視覺的日?；顒樱ˋDL）識別和理解 296
7．1．1 ADL識別和理解所面臨的技術(shù)挑戰(zhàn) 296
7．1．2 ADL識別方法研究的現(xiàn)狀 300
7．1．3 基于計算機視覺的ADL識別的關(guān)鍵課題 305
7．1．4 日常生活行為理解 311
7．1．5 上下境信息的建模和使用 316
7．2 容忍視角和距離變化的動作識別 317
7．2．1 分層的動作識別 318
7．2．2 多視角數(shù)據(jù)庫IXMAS 319
7．2．3 關(guān)注“焦點運動”的動作識別 321
7．2．4 特征提取與動作表示 323
7．2．5 基于VSI-Surf表示的動作識別方法 332
7．3 支持覺察上下境計算的活動分析模型 336
7．3．1 日常生活場景中的上下境 338
7．3．2 覺察上下境的行為分析模型 341
7．4 基于ADL-DBN模型的行為在線推理 347
7．4．1 研究平臺與應用場景 348
7．4．2 底層視覺特征的提取 350
7．4．3 環(huán)境上下境 353
7．4．4 多層次動態(tài)貝葉斯網(wǎng)模型 354
7．4．5 實驗結(jié)果 359
7．5 結(jié)論與展望 364
參考文獻 365
第8章 基于動態(tài)上下境模型的群體行為分析 376
8．1 群體交互行為分析的關(guān)鍵問題及研究現(xiàn)狀 376
8．1．1 會議群體動作分析中的關(guān)鍵問題 377
8．1．2 會議動作自動分析的研究現(xiàn)狀 380
8．1．3 基于動態(tài)上下境模型的會議動作自動分析 382
8．2 面向群體交互行為分析的動態(tài)上下境模型 383
8．2．1 群體交互行為分析中的上下境定義 384
8．2．2 動態(tài)上下境的分層結(jié)構(gòu) 385
8．2．3 動態(tài)上下境的模型的結(jié)構(gòu) 388
8．2．4 動態(tài)上下境模型的運行機制 390
8．3 覺察上下境的多目標檢測與跟蹤算法 391
8．3．1 方法概述 393
8．3．2 人體檢測 396
8．3．3 人體跟蹤 399
8．3．4 高層上下境推理 402
8．3．5 個體局部特征檢測 403
8．3．6 實驗結(jié)果 404
8．4 事件驅(qū)動的多層次DBN模型 410
8．4．1 群體交互場景中的事件檢測 411
8．4．2 事件驅(qū)動的多層次DBN模型 412
8．4．3 實驗結(jié)果 420
8．5 基于動態(tài)上下境的多層次事件自適應檢測方法 426
8．5．1 群體交互場景中的事件層次與處理粒度 427
8．5．2 多層次事件自適應檢測方法 428
8．5．3 多層次事件自適應檢測方法在會議分析中的應用 433
8．6 小結(jié) 445
參考文獻 446
第9章 支持覺察上下境計算的分布式多模態(tài)信息系統(tǒng) 451
9．1 引論 451
9．2 面向應用的服務共享模型（A-SSM） 452
9．2．1 模型總體框架 452
9．2．2 模型組成定義 453
9．2．3 基于本體論的計算服務資源管理 455
9．3 基于服務質(zhì)量（QoS）的計算服務資源選擇策略 458
9．3．1 QoS計算參考公式 458
9．3．2 基于層次分析法（AHP）理論估計屬性權(quán)重 459
9．3．3 計算服務資源選擇算法 460
9．4 適應服務共享模型的覺察上下境計算 461
9．4．1 覺察上下境計算的“基元” 461
9．4．2 覺察上下境計算算法的“基元”化組織 466
9．5 分布式覺察上下境計算系統(tǒng)的總體結(jié)構(gòu)設(shè)計 467
9．6 分布式處理的總體結(jié)構(gòu)設(shè)計 468
9．6．1 數(shù)據(jù)/信息處理分析 468
9．6．2 服務進程設(shè)計 469
9．7 通用化平臺的實現(xiàn) 471
9．8 日常行為理解與隱式交互實例研究 473
9．8．1 系統(tǒng)測試實驗 473
9．8．2 隱式交互實驗環(huán)境及硬件配置 475
9．8．3 實驗數(shù)據(jù)的采集 476
9．8．4 實驗數(shù)據(jù)的標注 479
9．8．5 知識輔助行為推理方法的實施 480
9．9 小結(jié) 482
參考文獻 483
附錄A 三維圓柱人體模型 486
附錄B 攝像機偏離引起的包容形狀誤差分析 488