前瞻交互：從語音、手勢設(shè)計到多模融合

第1章 多模交互的演進1
1．1 什么是多模交互 1
1．1．1 人機交互的發(fā)展歷史 1
1．1．2 多模交互的定義 4
1．1．3 多模交互技術(shù)逐漸成熟 6
1．1．4 多模融合的三個階段 9
1．2 初步融合階段 10
1．2．1 多模態(tài)之間的關(guān)系 10
1．2．2 多模融合的關(guān)鍵12
1．2．3 多模交互框架 13
1．3 語義理解階段 14
1．3．1 什么是語義 14
1．3．2 語義對于多模交互的重要性 15
1．4 任務(wù)自適應(yīng)階段 17
1．4．1 認知負荷 17
1．4．2 隱私性19
1．4．3 安全性20
1．4．4 模態(tài)容量 20
1．4．5 信息重要程度和交互歷史 21
1．4．6 交互距離22
1．5 當前我們能做什么 23
第2章 多模交互包含什么 25
2．1 視覺系統(tǒng)的特點 25
2．1．1 視覺范圍25
2．1．2 3．5 毫米的中央凹和每秒3~4次的跳動頻率 26
2．1．3 中央視覺和周圍視覺 28
2．1．4 我們是如何閱讀的 29
2．1．5 光亮與黑暗31
2．2 聽覺32
2．2．1 聽覺系統(tǒng)的特點32
2．2．2 視覺和聽覺的區(qū)別 34
2．3 觸覺 35
2．3．1 觸覺系統(tǒng)的特點 35
2．3．2 觸覺感知的相關(guān)應(yīng)用 35
2．4 嗅覺、味覺和五感理論 40
2．4．1 嗅覺系統(tǒng)和味覺系統(tǒng)的特點 40
2．4．2 嗅覺營銷相關(guān)案例 42
2．4．3 嗅覺交互上的探索 43
2．4．4 嗅覺和味覺設(shè)計存在的問題 45
2．4．5 五感理論 45
2．5 主動交互47
2．5．1 包含情緒的語音 47
2．5．2 肢體動作 48
2．5．3 手勢 49
2．5．4 面部表情 51
2．5．5 眼神 51
2．6 無須主動交互的生物識別技術(shù) 52
2．6．1 指紋識別 53
2．6．2 人臉識別 53
2．6．3 虹膜識別 54
2．6．4 聲紋識別 55
2．6．5 心率檢測 56
2．6．6 肌肉電信號57
2．6．7 腦電波 58
第3章 語音交互設(shè)計61
3．1 聲音的構(gòu)成和作用 62
3．1．1 語言 63
3．1．2 音樂和音效 67
3．2 語音交互的特點 70
3．2．1 語音交互的優(yōu)勢 70
3．2．2 語音交互的不足 72
3．2．3 語音交互的五大特性 77
3．3 創(chuàng)造一位智能語音助手 78
3．3．1 尋找合適的音色 80
3．3．2 確定智能語音助手和用戶的關(guān)系 82
3．3．3 構(gòu)建智能語音助手的用戶畫像 84
3．3．4 設(shè)計合理的喚醒詞 86
3．4 語音交互框架、意圖設(shè)計 88
3．4．1 四種語音交互模式 88
3．4．2 四種“喚醒+識別”方式89
3．4．3 語音交互狀態(tài)設(shè)計 90
3．4．4 意圖設(shè)計術(shù)語介紹 94
3．4．5 智能語音平臺如何聽懂用戶說的話 98
3．4．6 設(shè)計能聽懂用戶說什么的智能語音產(chǎn)品 101
3．5 對話設(shè)計原則 107
3．5．1 設(shè)計對話前需要了解的事項 107
3．5．2 任務(wù)型對話設(shè)計原則 113
3．5．3 修復(fù)對話設(shè)計原則 118
3．6 語音交互的GUI 設(shè)計 121
第4章 仍在起步的隔空手勢交互130
4．1 手勢的介紹 130
4．1．1 手勢交互的發(fā)展 130
4．1．2 手勢的分類 132
4．2 隔空手勢設(shè)計 135
4．2．1 設(shè)計隔空手勢時需要考慮的問題 135
4．2．2 導(dǎo)航手勢 141
4．2．3 語義手勢 144
4．2．4 操縱手勢 146
4．3 結(jié)合隔空手勢的UI設(shè)計 147
4．3．1 數(shù)字手部 147
4．3．2 直接觸摸 149
4．3．3 指針設(shè)計 150
4．3．4 交互組件的改造 152
第5章 語音圖形界面157
5．1 GUI和VUI的區(qū)別 158
5．1．1 GUI的特點 158
5．1．2 VUI的特點160
5．1．3 GUI和VUI融合時會遇到的問題 162
5．2 GUI和VUI融合的三種實現(xiàn)方式 165
5．2．1 應(yīng)用級語音交互 166
5．2．2 可見即可說 170
5．2．3 系統(tǒng)級語音交互 171
5．3 VGUI設(shè)計原則 172
5．4 重構(gòu)GUI操作 179
5．4．1 GUI控件文案設(shè)計 179
5．4．2 GUI組件和容器文案設(shè)計 184
5．4．3 特殊的控件和組件 185
5．5 VGUI核心設(shè)計要點187
5．5．1 全局指令和局部指令的權(quán)衡 187
5．5．2 控件/組件屬性的重構(gòu) 192
5．5．3 手勢的融合 200
第6章 跨設(shè)備和多模交互 201
6．1 跨設(shè)備交互是什么201
6．1．1 跨設(shè)備和多模交互的關(guān)系 201
6．1．2 跨設(shè)備交互的六個維度 202
6．2 淺談跨設(shè)備和多模交互細節(jié) 206
6．2．1 結(jié)合用戶場景進行考慮206
6．2．2 結(jié)合信息密度和顯示距離進行考慮208
6．2．3 模態(tài)的過渡和打斷 211
6．3 未來可期 212
6．3．1 面向未來的分布式操作系統(tǒng) 212
6．3．2 普適計算及未來 213