HoloLens 2開(kāi)發(fā)入門(mén)精要：基于Unity和MRTK

基礎(chǔ)篇
第1章 HoloLens 2基礎(chǔ) 
3 
1.1　混合現(xiàn)實(shí)技術(shù)概述  3 
1.1.1　MR概念  3 
1.1.2　全息圖  
5 1.2　HoloLens 2設(shè)備  5 
1.3 MR技術(shù)原理  8 
1.3.1 傳感器數(shù)據(jù)  8 
1.3.2　前端里程計(jì)  10 
1.3.3　后端優(yōu)化  10 
1.3.4　回環(huán)檢測(cè)  11 
1.3.5　建圖  11 
1.4　開(kāi)發(fā)環(huán)境準(zhǔn)備  12 
1.4.1　所需硬件和軟件  12 
1.4.2　軟件安裝  13 
1.4.3　軟件配置  15 
1.5　MR應(yīng)用開(kāi)發(fā)初體驗(yàn)  16 
1.5.1　創(chuàng)建工程  16 
1.5.2 直接導(dǎo)入 MRTK工具包  17 
1.5.3 使用 UPM導(dǎo)入 MRTK工具包  18 
1.5.4 使用 MRFT導(dǎo)入 MRTK工具包  20 
1.5.5 導(dǎo)入 TextMeshPro工具包  20 
1.5.6 配置 Unity項(xiàng)目  21 
1.5.7 創(chuàng)建和設(shè)置場(chǎng)景  23 
1.5.8 導(dǎo)出 Unity工程  23 
1.5.9 部署到 HoloLens 2設(shè)備  23
HoloLens 2開(kāi)發(fā)入門(mén)精要——基于 Unity和 MRTK 
1.5.10 發(fā)布 MR應(yīng)用  26 
1.6 使用模擬器  27 
1.7 MRTK輸入模擬  29 
1.8 設(shè)備能力檢查  31
第2章 MRTK基礎(chǔ)  33 
2.1 MRTK概述  33 
2.2 MRTK體系架構(gòu)  34 
2.2.1 配置文件  36 
2.2.2 運(yùn)行時(shí)  36 
2.2.3 服務(wù)  36 
2.2.4 擴(kuò)展服務(wù)  39 
2.2.5 數(shù)據(jù)提供者  41 
2.3 配置文件  43 
2.3.1 配置文件概述  44 
2.3.2 配置指南  46
操作組件篇
第3章基本特性操作與開(kāi)發(fā) 61 
3.1 HoloLens 2設(shè)備門(mén)戶(hù)  61 
3.1.1 連接設(shè)備門(mén)戶(hù)  61 
3.1.2 功能簡(jiǎn)介  62 
3.2 研究模式  67 
3.3 圖像與視頻捕獲  68 
3.3.1 在設(shè)備中直接操作  68 
3.3.2 在設(shè)備門(mén)戶(hù)中操作  68 
3.3.3 代碼操作  69 
3.4 全息遠(yuǎn)端呈現(xiàn)  81 
3.4.1 在 Unity編輯器中使用全息遠(yuǎn)端呈現(xiàn)  81 
3.4.2 MR應(yīng)用程序使用全息遠(yuǎn)端呈現(xiàn)  82 
3.5 診斷系統(tǒng)  84 
3.6 動(dòng)態(tài) GLTF格式模型加載  86 
3.7 多場(chǎng)景管理  88 
3.7.1 場(chǎng)景系統(tǒng)配置  88 
3.7.2 場(chǎng)景加載與卸載  90 
3.7.3 場(chǎng)景加載進(jìn)度與事件  91
第4章交互與事件 95 
4.1 Bounds Control  95 
4.1.1 基本操作  96 
4.1.2 HoloLens 2風(fēng)格  101 
4.1.3 事件  103 
4.1.4 使用代碼操作  103 
4.2 Object Manipulator  105 
4.2.1 基本操作  105 
4.2.2 事件  108 
4.3 Constraint Manager  108 
4.3.1 基本操作  108 
4.3.2 約束組件  109 
4.4 Interactable 111 
4.4.1 基本操作  111 
4.4.2 Interactable 配置節(jié)  114 
4.4.3 事件  115 
4.4.4 視覺(jué)主題  116 
4.4.5 代碼操作  122 
4.5 Solvers  124 
4.5.1 解算器基礎(chǔ)  124 
4.5.2 標(biāo)準(zhǔn)解算器  126 
4.6 手指手掌可視化  130 
4.6.1 Fingertip Visualization  130 
4.6.2 RiggedHandVisualizer  131 
4.6.3 ArticulatedHandMeshPulse  132 
4.7 Elastic System  133 
4.8 Dock  134
第5章 UX控件  136 
5.1 按鈕  136 
5.1.1 按鈕的使用  138 
5.1.2 自定義按鈕  141 
HoloLens 2開(kāi)發(fā)入門(mén)精要——基于 Unity和 MRTK 
5.2 Slate面板  143 
5.3 系統(tǒng)鍵盤(pán)  144 
5.4 ToolTips  144 
5.5 Sliders  145 
5.6 近身菜單  146 
5.7 應(yīng)用程序欄  148 
5.8 進(jìn)度指示器  148 
5.9 對(duì)話框  150 
5.10 手勢(shì)引導(dǎo)  151 
5.10.1 HandInteractionhint組件  152 
5.10.2 MoveToTarget組件  153 
5.10.3 RotateAroundPoint組件  154
功能技術(shù)篇
第6章空間感知和映射 157 
6.1 運(yùn)動(dòng)跟蹤  157 
6.2 空間感知  161 
6.3 空間感知代碼操作  164 
6.4 開(kāi)發(fā)環(huán)境中測(cè)試空間感知  168 
6.5 射線檢測(cè)  169 
6.6 場(chǎng)景理解和語(yǔ)義  172 
6.6.1 場(chǎng)景理解基礎(chǔ)  172 
6.6.2 場(chǎng)景理解使用  175 
6.7 空間感知和場(chǎng)景理解的應(yīng)用  178 
6.7.1 虛擬物體放置  179 
6.7.2 遮擋  180 
6.7.3 物理模擬  181 
6.7.4 導(dǎo)航和路徑規(guī)劃  181
第7章手勢(shì)操作與交互 182 
7.1 手勢(shì)輸入配置  182 
7.1.1 輸入數(shù)據(jù)提供者  183 
7.1.2 手部跟蹤  183 
7.1.3 手部指針  184 
7.2 指針概述  185 
7.3 指針基本操作  187 
7.4 手勢(shì)操作  192 
7.4.1 近端操作  192 
7.4.2 遠(yuǎn)端操作  195 
7.5 手部跟蹤  196 
7.5.1 獲取手部姿態(tài)  197 
7.5.2 獲取手部關(guān)節(jié)  198 
7.5.3 獲取手部網(wǎng)格  199 
7.5.4 手部關(guān)節(jié)使用演示  200 
7.6 手勢(shì)錄制和回放  201 
7.6.1 手勢(shì)錄制  202 
7.6.2 手勢(shì)回放  204 
7.7 手部菜單  204
第8章語(yǔ)音與交互 208 
8.1 語(yǔ)音命令  208 
8.1.1 打開(kāi)話筒功能特性  208 
8.1.2 設(shè)置語(yǔ)音命令關(guān)鍵詞  209 
8.1.3 監(jiān)聽(tīng)并處理事件  209 
8.1.4 自定義語(yǔ)音命令處理邏輯  210 
8.2 語(yǔ)音識(shí)別  211 
8.2.1 添加語(yǔ)音識(shí)別數(shù)據(jù)提供者  212 
8.2.2 監(jiān)聽(tīng)并處理事件  212 
8.2.3 自定義語(yǔ)音命令處理  213
第9章眼動(dòng)跟蹤與凝視交互 215 
9.1 眼動(dòng)校準(zhǔn)  215 
9.2 眼動(dòng)跟蹤配置  217 
9.2.1 啟用凝視輸入功能特性  217 
9.2.2 添加凝視數(shù)據(jù)提供者  218 
9.2.3 設(shè)置眼動(dòng)跟蹤參數(shù)  218 
9.3 凝視功能使用  220 
9.4 獲取凝視數(shù)據(jù)  220 
HoloLens 2開(kāi)發(fā)入門(mén)精要——基于 Unity和 MRTK
第10章光影與特效  223 
10.1 光照  223 
10.1.1 光源  224 
10.1.2 光與材質(zhì)的交互  224 
10.1.3 光照模型  225 
10.1.4 懸浮燈光  226 
10.1.5 接近燈光  228 
10.2 MRTK標(biāo)準(zhǔn)著色器  228 
10.2.1 模型切割  230 
10.2.2 輪廓線  232 
10.2.3 擠出與模板測(cè)試  234 
10.3 環(huán)境反射  235 
10.3.1 立方體貼圖  235 
10.3.2 環(huán)境反射與光照估計(jì)  236 
10.4 陰影  237
第11章 3D文字與音視頻 241 
11.1 3D文字  241 
11.1.1 文字單位換算  241 
11.1.2 中文字體制作  242 
11.2 3D聲頻  243 
11.2.1 3D聲場(chǎng)原理  244 
11.2.2 3D空間音效簡(jiǎn)單使用  244 
11.2.3 運(yùn)行時(shí)啟用和禁用 3D音效 248 
11.2.4 UX元素音效 3D化  249 
11.2.5 使用回響營(yíng)造空間感  250 
11.2.6 3D音效設(shè)計(jì)原則  252 
11.3 3D視頻  254 
11.3.1 VideoPlayer組件  254 
11.3.2 視頻音效空間化  258
第12章空間錨點(diǎn)與 Azure云服務(wù)  259 
12.1 Azure云服務(wù)概述  259 
12.2 空間錨點(diǎn)  260 
12.2.1 錨點(diǎn)概述  260 
12.2.2 本地錨點(diǎn)  262 
12.2.3 本地錨點(diǎn)持久化與傳輸  266 
12.2.4 云錨點(diǎn)  268 
12.3 遠(yuǎn)程渲染  278 
12.4 小結(jié)  287
提高篇
第13章設(shè)計(jì)指南  291 
13.1 MR應(yīng)用設(shè)計(jì)挑戰(zhàn)  291 
13.2 MR應(yīng)用設(shè)計(jì)的一般原則  294 
13.2.1 舒適性  295 
13.2.2 顯示呈現(xiàn)  299 
13.2.3 UX設(shè)計(jì)  302 
13.2.4 3D音效  305 
13.2.5 視覺(jué)效果  306 
13.2.6 真實(shí)感  308 
13.2.7 跟蹤丟失  313 
13.3 MR應(yīng)用交互設(shè)計(jì)指南  313 
13.3.1 指示光標(biāo)  313 
13.3.2 可交互對(duì)象  315 
13.3.3 本能交互  318 
13.3.4 手勢(shì)交互  319 
13.3.5 語(yǔ)音交互  325 
13.3.6 凝視交互  328
第14章性能優(yōu)化  331 
14.1 性能優(yōu)化基礎(chǔ)  331 
14.1.1 影響性能的主要因素  331 
14.1.2 MR應(yīng)用常用調(diào)試方法  333 
14.1.3 MR應(yīng)用性能優(yōu)化的一般原則  334 
14.2 MR應(yīng)用性能調(diào)試工具  335 
14.2.1 Unity分析器  335 
14.2.2 幀調(diào)試器  338 
14.3 Unity分析器使用  340 
HoloLens 2開(kāi)發(fā)入門(mén)精要——基于 Unity和 MRTK 
14.3.1 CPU使用情況分析器  340 
14.3.2 渲染情況分析器  341 
14.3.3 內(nèi)存使用情況分析器  342 
14.3.4 物理分析器  342 
14.3.5 聲頻視頻分析器  343 
14.4 性能優(yōu)化的一般步驟  344 
14.4.1 收集運(yùn)行數(shù)據(jù)  345 
14.4.2 分析運(yùn)行數(shù)據(jù)  346 
14.4.3 確定問(wèn)題的原因  348 
14.5 渲染優(yōu)化  350 
14.5.1 渲染流程  351 
14.5.2 CPU瓶頸  351 
14.5.3 GPU瓶頸  354 
14.6 代碼優(yōu)化  356 
14.6.1 內(nèi)存管理  356 
14.6.2 垃圾回收  357 
14.6.3 對(duì)象池  362 
14.6.4 常見(jiàn)影響性能的代碼優(yōu)化策略  363 
14.7 MRTK優(yōu)化設(shè)置 365 
14.7.1 UI/UX優(yōu)化  365 
14.7.2 常用優(yōu)化設(shè)置  366 
14.7.3 MR應(yīng)用開(kāi)發(fā)一般注意事項(xiàng)  368
附錄 A 更多資源 369
參考文獻(xiàn) 370