計(jì)算機(jī)視覺度量深入解析

第1章　圖像的獲取和表示　1
1．1 圖像傳感器技術(shù)　1
1．1．1 傳感器材料　2
1．1．2 傳感器光電二極管元件　3
1．1．3 傳感器配置：馬賽克、Faveon和BSI　3
1．1．4 動(dòng)態(tài)范圍和噪聲　5
1．1．5 傳感器處理　5
1．1．6 去馬賽克　6
1．1．7 壞像素的校正　6
1．1．8 顏色和照明校正　6
1．1．9 幾何校正　7
1．2 攝像機(jī)和計(jì)算成像　7
1．2．1 計(jì)算成像概述　7
1．2．2 單像素的攝像頭計(jì)算　8
1．2．3 二維可計(jì)算攝像機(jī)　9
1．2．4 三維深度的攝像機(jī)系統(tǒng)　10
1．3 三維深度處理　21
1．3．1 方法概述　21
1．3．2 深度感知和處理中存在的問題　22
1．3．3 單目深度處理　27
1．4 三維表示：體元、深度圖、網(wǎng)格和點(diǎn)云　31
1．5 總結(jié)　32
第2章　圖像預(yù)處理　33
2．1 圖像處理概述　33
2．2 圖像預(yù)處理要解決的問題　34
2．2．1 計(jì)算機(jī)視覺的流程和圖像預(yù)處理　34
2．2．2 圖像校正　36
2．2．3 圖像增強(qiáng)　36
2．2．4 為特征提取準(zhǔn)備圖像　37
2．3 圖像處理方法分類　41
2．3．1 點(diǎn)運(yùn)算　42
2．3．2 直線運(yùn)算　42
2．3．3 區(qū)域運(yùn)算　42
2．3．4 算法　42
2．3．5 數(shù)據(jù)轉(zhuǎn)換　43
2．4 色度學(xué)　43
2．4．1 色彩管理系統(tǒng)概述　44
2．4．2 光源、白點(diǎn)、黑點(diǎn)和中性軸　44
2．4．3 設(shè)備色彩模型　45
2．4．4 顏色空間與色彩感知　45
2．4．5 色域映射與渲染目的　46
2．4．6 色彩增強(qiáng)的實(shí)際考慮　47
2．4．7 色彩的準(zhǔn)確度與精度　48
2．5 空間濾波　48
2．5．1 卷積濾波與檢測(cè)　48
2．5．2 核濾波與形狀選擇　50
2．5．3 點(diǎn)濾波　51
2．5．4 噪聲與偽像濾波　52
2．5．5 積分圖與盒式濾波器　53
2．6 邊緣檢測(cè)器　54
2．6．1 核集合： Sobel， Scharr， Prewitt， Roberts， Kirsch， Robinson和Frei-Chen　54
2．6．2 Canny檢測(cè)器　55
2．7 變換濾波、Fourier變換及其他　56
2．7．1 Fourier變換　56
2．7．2 其他變換　58
2．8 形態(tài)學(xué)與分割　59
2．8．1 二值形態(tài)學(xué)　59
2．8．2 灰度和彩色形態(tài)學(xué)　61
2．8．3 形態(tài)學(xué)優(yōu)化和改進(jìn)　61
2．8．4 歐氏距離映射　61
2．8．5 超像素分割　62
2．8．6 深度圖分割　63
2．8．7 色彩分割　64
2．9 閾值化　64
2．9．1 全局閾值化　65
2．9．2 局部閾值化　68
2．10 總結(jié)　69
第3章　全局特征和區(qū)域特征　70
3．1 視覺特征的歷史概述　70
3．1．1 核心思想：全局、區(qū)域和局部　71
3．1．2 紋理分析　73
3．1．3 統(tǒng)計(jì)方法　76
3．2 紋理區(qū)域度量　77
3．2．1 邊緣度量　77
3．2．2 互相關(guān)和自相關(guān)　79
3．2．3 Fourier頻譜、小波和基簽名　79
3．2．4 共生矩陣和Haralick特征　80
3．2．5 Laws紋理度量　89
3．2．6 LBP局部二值模式　90
3．2．7 動(dòng)態(tài)紋理　91
3．3 統(tǒng)計(jì)區(qū)域度量　91
3．3．1 圖像矩特征　92
3．3．2 點(diǎn)度量特征　92
3．3．3 全局直方圖　94
3．3．4 局部區(qū)域直方圖　94
3．3．5 散點(diǎn)圖和3D直方圖　95
3．3．6 多分辨率和多尺度直方圖　97
3．3．7 徑向直方圖　98
3．3．8 輪廓或邊緣直方圖　99
3．4 基空間度量　99
3．4．1 Fourier描述　101
3．4．2 Walsh-Hadamard變換　102
3．4．3 HAAR變換　103
3．4．4 斜變換　103
3．4．5 Zernike多項(xiàng)式　103
3．4．6 導(dǎo)向?yàn)V波器　104
3．4．7 Karhunen-Loeve變換與Hotelling變換　104
3．4．8 小波變換和Gabor濾波器　105
3．4．9 Hough變換與Radon變換　106
3．5 總結(jié)　108
第4章　局部特征設(shè)計(jì)、分類和學(xué)習(xí)　109
4．1 局部特征　109
4．1．1 檢測(cè)器、興趣點(diǎn)、關(guān)鍵點(diǎn)、錨點(diǎn)、標(biāo)注　110
4．1．2 描述子、特征描述、特征提取　110
4．1．3 稀疏局部模式方法　111
4．2 局部特征屬性　111
4．2．1 選擇特征描述子和興趣點(diǎn)　111
4．2．2 特征描述子和特征匹配　112
4．2．3 好特征的標(biāo)準(zhǔn)　112
4．2．4 可重復(fù)性，相對(duì)于困難的查找算容易　113
4．2．5 判別性與非判別性　114
4．2．6 相對(duì)和絕對(duì)位置　114
4．2．7 匹配代價(jià)和一致性　114
4．3 距離函數(shù)　115
4．3．1 關(guān)于距離函數(shù)的早期研究成果　115
4．3．2 歐氏或笛卡兒距離度量　116
4．3．3 網(wǎng)格距離度量　118
4．3．4 基于統(tǒng)計(jì)學(xué)的差異性度量　119
4．3．5 二值或布爾距離度量　120
4．4 描述子的表示　121
4．4．1 坐標(biāo)空間和復(fù)數(shù)空間　121
4．4．2 笛卡兒坐標(biāo)　121
4．4．3 極坐標(biāo)和對(duì)數(shù)極坐標(biāo)　121
4．4．4 徑向坐標(biāo)　122
4．4．5 球面坐標(biāo)　122
4．4．6 Gauge坐標(biāo)　122
4．4．7 多元空間和多模數(shù)據(jù)　122
4．4．8 特征金字塔　123
4．5 描述子的密度　123
4．5．1 丟棄興趣點(diǎn)和描述子　124
4．5．2 稠密與稀疏特征描述　124
4．6 描述子形狀拓?fù)洹?25
4．6．1 關(guān)聯(lián)性模板　125
4．6．2 塊和形狀　125
4．6．3 對(duì)象多邊形　127
4．7 局部二值描述與點(diǎn)對(duì)模式　128
4．7．1 FREAK視網(wǎng)膜模式　129
4．7．2 Brisk 模式　130
4．7．3 ORB和BRIEF模式　131
4．8 描述子判別性　131
4．8．1 譜的判別性　132
4．8．2 區(qū)域、形狀和模式的判別性　133
4．8．3 幾何判別因素　133
4．8．4 通過特征可視化來評(píng)價(jià)判別性　134
4．8．5 精度與可跟蹤　136
4．8．6 精度優(yōu)化、子區(qū)域重疊、Gaussian權(quán)重和池化　138
4．8．7 亞像素精度　138
4．9 搜索策略與優(yōu)化　139
4．9．1 密集搜索　139
4．9．2 網(wǎng)格搜索　139
4．9．3 多尺度金字塔搜索　140
4．9．4 尺度空間和圖像金字塔　140
4．9．5 特征金字塔　142
4．9．6 稀疏預(yù)測(cè)搜索與跟蹤　142
4．9．7 跟蹤區(qū)域限制搜尋　143
4．9．8 分割限制搜索　143
4．9．9 深度或Z限制搜索　143
4．10 計(jì)算機(jī)視覺、模型和結(jié)構(gòu)　144
4．10．1 特征空間　144
4．10．2 對(duì)象模型　145
4．10．3 約束　146
4．10．4 選擇檢測(cè)器和特征　146
4．10．5 訓(xùn)練概述　147
4．10．6 特征和對(duì)象的分類　148
4．10．7 特征學(xué)習(xí)、稀疏編碼和卷積網(wǎng)絡(luò)　154
4．11 總結(jié)　158
第5章　特征描述屬性的分類學(xué)　159
5．1 特征描述子系列　160
5．2 計(jì)算機(jī)視覺分類學(xué)方面的早期研究成果　161
5．3 魯棒性和精度　161
5．4 通用的魯棒性分類學(xué)　162
5．4．1 光照　163
5．4．2 顏色準(zhǔn)則　163
5．4．3 不完全性　164
5．4．4 分辨率和精度　164
5．4．5 幾何失真　165
5．4．6 效率變量、費(fèi)用和效益　165
5．4．7 判別性和唯一性　165
5．5 通用的視覺度量分類學(xué)　166
5．5．1 特征描述子族　168
5．5．2 頻譜維度　168
5．5．3 頻譜類型　168
5．5．4 興趣點(diǎn)　171
5．5．5 存儲(chǔ)格式　171
5．5．6 數(shù)據(jù)類型　172
5．5．7 描述子內(nèi)存　172
5．5．8 特征形狀　173
5．5．9 特征模式　173
5．5．10 特征密度　174
5．5．11 特征搜索方法　174
5．5．12 模式對(duì)采樣　175
5．5．13 模式區(qū)域大小　176
5．5．14 距離函數(shù)　176
5．6 特征度量評(píng)估　177
5．6．1 效率變量、成本和效益　177
5．6．2 圖像重建的效率度量　178
5．6．3 特征度量評(píng)估舉例　178
5．7 總結(jié)　180
第6章　興趣點(diǎn)檢測(cè)與特征描述子研究　181
6．1 興趣點(diǎn)調(diào)整　181
6．2 興趣點(diǎn)概念　182
6．3 興趣點(diǎn)方法概述　184
6．3．1 Laplacian 和Gaussian -Laplacian　185
6．3．2 Moravac角點(diǎn)檢測(cè)器　185
6．3．3 Harris方法、Harris-Stephens、Shi-Tomasi以及Hessian類型的檢測(cè)器　186
6．3．4 Hessian矩陣檢測(cè)器和Hessian-Laplace　186
6．3．5 Gaussian差　187
6．3．6 顯著性區(qū)域　187
6．3．7 SUSAN、Trajkovic 以及 Hedly　187
6．3．8 Fast、Faster以及 AGHAST　188
6．3．9 局部曲率方法　189
6．3．10 形態(tài)興趣區(qū)域　189
6．4 特征描述子介紹　190
6．4．1 局部二值描述子　190
6．4．2 Census　197
6．4．3 BRIEF　198
6．4．4 ORB　199
6．4．5 BRISK　200
6．4．6 FREAK　201
6．5 譜描述子　202
6．5．1 SIFT　202
6．5．2 SIFT-PCA　206
6．5．3 SIFT-GLOH　207
6．5．4 改進(jìn)的SIF-SIFER　207
6．5．5 SIFT CS-LBP改造　208
6．5．6 RootSIFT改造　208
6．5．7 CenSurE和STAR　209
6．5．8 相關(guān)模板　210
6．5．9 HAAR特征　212
6．5．10 使用類HAAR特征的Viola Jones算法　213
6．5．11 SURF　214
6．5．12 其他SURF算法　215
6．5．13 梯度直方圖及變種　216
6．5．14 PHOG和相關(guān)方法　217
6．5．15 Daisy和O-Daisy　218
6．5．16 CARD　219
6．5．17 具有魯棒性的快速特征匹配　221
6．5．18 RIFF和CHOG　222
6．5．19 鏈碼直方圖　223
6．5．20 D-NETS　224
6．5．21 局部梯度模式　225
6．5．22 局部相位量化　225
6．6 基空間描述子　226
6．6．1 傅里葉描述子　227
6．6．2 用其他基函數(shù)來構(gòu)建描述子　228
6．6．3 稀疏編碼方法　228
6．7 多邊形形狀描述　229
6．7．1 MSER方法　229
6．7．2 針對(duì)斑點(diǎn)和多邊形的物體形狀度量　230
6．7．3 形狀上下文　233
6．8 3D、4D、體積以及多模態(tài)描述子　234
6．8．1 3D HOG　235
6．8．2 HON 4D　235
6．8．3 3D SIFT　236
6．9 總結(jié)　237
第7章　基準(zhǔn)數(shù)據(jù)、內(nèi)容、度量和分析　238
7．1 什么是基準(zhǔn)數(shù)據(jù)？　238
7．2 先前關(guān)于標(biāo)注數(shù)據(jù)方面的研究：藝術(shù)與科學(xué)　240
7．2．1 質(zhì)量性能的一般度量　240
7．2．2 算法性能的衡量　241
7．2．3 Rosin關(guān)于角點(diǎn)方面的研究工作　242
7．3 構(gòu)造基準(zhǔn)數(shù)據(jù)的關(guān)鍵問題　243
7．3．1 內(nèi)容：采用、修改或創(chuàng)建　243
7．3．2 可用的基準(zhǔn)數(shù)據(jù)介紹　243
7．3．3 使用數(shù)據(jù)擬合算法　244
7．3．4 場(chǎng)景構(gòu)成和標(biāo)記　245
7．4 定義目標(biāo)和預(yù)期　247
7．4．1 Mikolajczyk和Schmid的方法學(xué)　247
7．4．2 開放式評(píng)價(jià)系統(tǒng)　248
7．4．3 極端情況和限制　248
7．4．4 興趣點(diǎn)和特征　248
7．5 基準(zhǔn)數(shù)據(jù)的魯棒性準(zhǔn)則　249
7．5．1 舉例說明魯棒性準(zhǔn)則　249
7．5．2 將魯棒性準(zhǔn)則用于實(shí)際應(yīng)用　250
7．6 度量與基準(zhǔn)數(shù)據(jù)的配對(duì)　252
7．6．1 興趣點(diǎn)、特征和基準(zhǔn)數(shù)據(jù)的配對(duì)和優(yōu)化　252
7．6．2 一般的視覺分類學(xué)的例子　253
7．7 合成的特征字母表　254
7．7．1 合成數(shù)據(jù)集的目標(biāo)　254
7．7．2 合成興趣點(diǎn)字母表　256
7．7．3 將合成字母表疊加到真實(shí)圖像上　258
7．8 總結(jié)　260
第8章　可視流程及優(yōu)化　261
8．1 階段、操作和資源　261
8．2 計(jì)算資源預(yù)算　263
8．2．1 計(jì)算單元、ALU和加速器　265
8．2．2 能耗的使用　266
8．2．3 內(nèi)存的利用　266
8．2．4 I O性能　269
8．3 計(jì)算機(jī)視覺流程的實(shí)例　270
8．3．1 汽車識(shí)別　270
8．3．2 人臉檢測(cè)、情感識(shí)別以及年齡識(shí)別　277
8．3．3 圖像分類　285
8．3．4 增強(qiáng)現(xiàn)實(shí)　289
8．4 可選的加速方案　294
8．4．1 內(nèi)存優(yōu)化　294
8．4．2 粗粒度并行　296
8．4．3 細(xì)粒度數(shù)據(jù)并行　297
8．4．4 高級(jí)指令集和加速器　300
8．5 計(jì)算機(jī)視覺算法的優(yōu)化與調(diào)整　301
8．5．1 編譯器優(yōu)化與手工優(yōu)化　301
8．5．2 特征描述子改造、檢測(cè)器和距離函數(shù)　302
8．5．3 Boxlets與卷積加速　303
8．5．4 數(shù)據(jù)類型優(yōu)化，整型與浮點(diǎn)型　303
8．6 優(yōu)化資源　304
8．7 總結(jié)　304
附錄A　合成特征分析　306
A．1 目標(biāo)的背景與期望　307
A．2 測(cè)試方法和結(jié)果　309
A．3 合成字母基準(zhǔn)圖像概述　311
A．4 測(cè)試1：合成興趣點(diǎn)字母檢測(cè)　313
A．5 測(cè)試2：合成角點(diǎn)字母檢測(cè)　323
A．6 測(cè)試3：疊加到真實(shí)圖像上的合成字母檢測(cè)　333
A．7 測(cè)試4：字母的旋轉(zhuǎn)不變性　333
A．8 結(jié)果分析和不可重復(fù)性異常　336
附錄B　基準(zhǔn)數(shù)據(jù)集概述　339
附錄C　成像和計(jì)算機(jī)視覺資源　347
C．1 商業(yè)產(chǎn)品　347
C．2 開放源碼　348
C．3 組織、機(jī)構(gòu)和標(biāo)準(zhǔn)　350
C．4 在線資源　351
附錄D　擴(kuò)展SDM準(zhǔn)則　353
譯后記　370
參考文獻(xiàn)　372