基于深度學(xué)習(xí)的目標(biāo)檢測原理與應(yīng)用

第1章 計算機(jī)視覺及目標(biāo)檢測 1
1.1 計算機(jī)視覺原理 1
1.1.1 人類視覺與計算機(jī)視覺比較 1
1.1.2 計算機(jī)視覺應(yīng)用展現(xiàn) 2
1.2 目標(biāo)檢測概述 9
1.2.1 計算機(jī)視覺三大主要任務(wù) 9
1.2.2 目標(biāo)檢測的應(yīng)用 11
1.2.3 目標(biāo)檢測面臨的挑戰(zhàn) 12
1.2.4 目標(biāo)檢測方法 13
第2章 計算機(jī)視覺數(shù)學(xué)、編程基礎(chǔ) 15
2.1 向量、矩陣和卷積 15
2.1.1 向量 15
2.1.2 矩陣 16
2.1.3 卷積 16
2.2 函數(shù)極值理論與非極大值抑制 18
2.2.1 函數(shù)極值理論 19
2.2.2 非極大值抑制 21
2.3 跨平臺計算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫OpenCV 基礎(chǔ) 24
2.3.1 OpenCV的歷史起源 24
2.3.2 安裝OpenCV 24
2.3.3 OpenCV圖像和視頻的讀/寫 24
2.3.4 OpenCV基本操作 28
2.3.5 OpenCV顏色空間轉(zhuǎn)換 29
2.3.6 OpenCV幾何變換 31
2.3.7 OpenCV圖像簡單閾值處理 34
2.3.8 OpenCV形態(tài)學(xué)轉(zhuǎn)換 40
2.3.9 OpenCV圖像梯度 43
2.4 PyTorch基礎(chǔ) 46
2.4.1 PyTorch簡介 46
2.4.2 PyTorch安裝 47
2.4.3 張量 47
2.4.4 基本代碼操作 49
2.4.5 PIL圖像格式轉(zhuǎn)換 51
2.4.6 PyTorch自動求導(dǎo)機(jī)制 52
2.4.7 PyTorch的神經(jīng)網(wǎng)絡(luò)nn包 55
第3章 OpenCV目標(biāo)檢測實(shí)戰(zhàn) 60
3.1 Haar特征與積分圖像構(gòu)建算法 60
3.1.1 Haar特征 60
3.1.2 積分圖像構(gòu)建算法 65
3.2 AdaBoost應(yīng)用于Haar人臉特征分類 66
3.3 AdaBoost級聯(lián)應(yīng)用于Haar特征人臉檢測 70
3.4 利用OpenCV進(jìn)行基于Haar特征的人臉檢測實(shí)戰(zhàn) 73
第4章 深度學(xué)習(xí)引入及圖像分類實(shí)戰(zhàn) 75
4.1 卷積神經(jīng)網(wǎng)絡(luò)的重要概念 75
4.2 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練技巧及經(jīng)典架構(gòu) 79
4.3 設(shè)計卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類 82
4.4 選擇卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)及優(yōu)化器 85
4.5 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)以提高圖像分類準(zhǔn)確率 88
第5章 目標(biāo)檢測的兩階段深度學(xué)習(xí)方法 90
5.1 R-CNN目標(biāo)檢測思想 90
5.1.1 目標(biāo)檢測數(shù)據(jù)集 91
5.1.2 從滑動窗口到選擇搜索 91
5.1.3 R-CNN網(wǎng)絡(luò)架構(gòu)及訓(xùn)練過程 93
5.2 目標(biāo)檢測指標(biāo)——二分類器 97
5.3 R-CNN目標(biāo)檢測模型評估結(jié)果 100
5.3.1 R-CNN用于細(xì)粒度類別檢測 108
5.3.2 R-CNN用于目標(biāo)檢測與分割 109
5.4 R-CNN的缺陷和Fast R-CNN的改進(jìn) 110
5.4.1 R-CNN的缺陷 110
5.4.2 感興趣區(qū)域池化 111
5.4.3 Fast R-CNN創(chuàng)新?lián)p失函數(shù)設(shè)計 113
5.5 Fast R-CNN網(wǎng)絡(luò)架構(gòu)和模型評估 115
5.5.1 Fast R-CNN模型工作流程 115
5.5.2 Fast R-CNN網(wǎng)絡(luò)架構(gòu) 116
5.5.3 RoI池化反向傳播方法 116
5.5.4 Fast R-CNN結(jié)果評估 117
5.6 Fast R-CNN的創(chuàng)新 118
5.6.1 Faster R-CNN的創(chuàng)新思想 118
5.6.2 替代選擇搜索的錨框 119
5.6.3 區(qū)域建議網(wǎng)絡(luò) 120
5.7 深入剖析Faster R-CNN中邊界框回歸 123
5.7.1 為什么使用邊界框回歸 124
5.7.2 邊界框回歸的數(shù)學(xué)支撐 125
5.8 Faster R-CNN的全景架構(gòu)和損失函數(shù) 127
5.9 Faster R-CNN的訓(xùn)練步驟及測試步驟 129
5.9.1 Faster R-CNN的訓(xùn)練步驟 129
5.9.2 Faster R-CNN的測試步驟 131
5.10 詳細(xì)講解Faster R-CNN關(guān)鍵部分RoI代碼 132
第6章 目標(biāo)檢測的一階段學(xué)習(xí)方法 134
6.1 YOLO目標(biāo)檢測思想 135
6.1.1 改進(jìn)思想 136
6.1.2 網(wǎng)格單元 137
6.1.3 YOLO創(chuàng)新細(xì)節(jié) 138
6.2 YOLO的網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)與損失函數(shù) 140
6.2.1 YOLO的網(wǎng)絡(luò)結(jié)構(gòu) 140
6.2.2 YOLO的網(wǎng)絡(luò)訓(xùn)練與損失函數(shù) 142
6.3 YOLO模型評估、優(yōu)劣勢分析 144
6.3.1 YOLO數(shù)據(jù)集 145
6.3.2 YOLO模型評估 145
6.3.3 YOLO模型優(yōu)缺點(diǎn) 146
6.4 YOLOv2實(shí)現(xiàn)更好、更快、更強(qiáng) 149
6.5 YOLOv2改進(jìn)YOLOv1——更好 149
6.5.1 批歸一化 150
6.5.2 高分辨率分類器 150
6.5.3 預(yù)設(shè)錨框并采用全卷積 150
6.5.4 框聚類 151
6.5.5 約束邊框位置 153
6.5.6 細(xì)粒度特征 154
6.5.7 多尺度訓(xùn)練 154
6.5.8 實(shí)驗(yàn)對比 156
6.6 YOLOv2 使用Darknet-19——更快 158
6.6.1 Darknet-19 158
6.6.2 三階段訓(xùn)練 159
6.6.3 YOLOv2的損失函數(shù) 161
6.7 使用WordTree的YOLO9000——更強(qiáng) 164
6.7.1 組合兩種數(shù)據(jù)集的必要性 164
6.7.2 構(gòu)建WordTree進(jìn)行分層分類 165
6.7.3 在組合數(shù)據(jù)集上訓(xùn)練YOLO9000 167
第7章 YOLOv3創(chuàng)新思想及整體架構(gòu) 170
7.1 YOLOv3的創(chuàng)新改進(jìn) 170
7.2 YOLOv3的關(guān)鍵創(chuàng)新點(diǎn) 171
7.2.1 106層的Darknet-53主干網(wǎng)絡(luò)架構(gòu) 171
7.2.2 三級檢測 176
7.2.3 更擅長檢測較小的物體 177
7.2.4 更多的錨框 177
7.2.5 損失函數(shù) 178
7.3 YOLOv3的三級檢測輸出過程 179
7.4 YOLOv3的非極大值抑制 183
7.5 YOLOv3的檢測效果 184
7.6 SSD多尺度特征圖目標(biāo)檢測思想 185
7.7 SSD網(wǎng)絡(luò)架構(gòu) 191
7.7.1 SSD網(wǎng)絡(luò)基礎(chǔ)架構(gòu) 191
7.7.2 擴(kuò)張卷積 192
7.7.3 SSD與YOLOv3 193
7.7.4 SSD網(wǎng)絡(luò)檢測物體方法 193
7.8 SSD網(wǎng)絡(luò)損失函數(shù) 194
7.8.1 默認(rèn)框匹配策略 194
7.8.2 損失函數(shù) 195
7.9 SSD較YOLOv3的劣勢 196
第8章 構(gòu)建Darknet-53網(wǎng)絡(luò)實(shí)踐 198
8.1 Darknet-53網(wǎng)絡(luò)工程結(jié)構(gòu)和配置 198
8.2 實(shí)踐代碼 200
8.3 構(gòu)建Darknet-53網(wǎng)絡(luò)前向傳遞過程 203
8.3.1 構(gòu)建Darknet-53的模塊 203
8.3.2 Darknet-53的模塊詳解 205
8.4 YOLOv3 實(shí)現(xiàn)檢測層特征圖到邊界的預(yù)測值轉(zhuǎn)變 209
8.4.1 參數(shù)講解 209
8.4.2 實(shí)現(xiàn)步驟和代碼 210
8.5 YOLOv3 演示邊框生成過程 212
8.6 YOLOv3 處理低閾值邊框 214
8.6.1 思路講解 215
8.6.2 代碼實(shí)踐 215
8.7 YOLOv3 非極大值抑制過程 218
8.7.1 延續(xù)上一節(jié)代碼講解NMS過程 219
8.7.2 NMS后的整理 220
8.8 YOLOv3演示NMS過程找到最優(yōu)框 220
8.8.1 運(yùn)行檢測代碼演示 220
8.8.2 運(yùn)行結(jié)果分析 221
8.9 YOLOv3實(shí)現(xiàn)工業(yè)工具檢測 224
8.9.1 YOLOv3工業(yè)實(shí)踐需求分析及目標(biāo)分析 225
8.9.2 數(shù)據(jù)采集標(biāo)注與數(shù)據(jù)預(yù)處理部分 226
8.9.3 模型訓(xùn)練部分 230
8.9.4 模型優(yōu)化部分 239
第9章 YOLOv4目標(biāo)檢測方法 240
9.1 YOLOv4目標(biāo)檢測創(chuàng)新路徑及技巧體系 240
9.1.1 速度與精度雙提升 240
9.1.2 YOLOv4技巧匯總 240
9.2 YOLOv4大型網(wǎng)絡(luò)架構(gòu)及其主要創(chuàng)新改進(jìn) 246
9.2.1 空間金字塔結(jié)構(gòu) 246
9.2.2 路徑增強(qiáng)網(wǎng)絡(luò) 247
9.2.3 使用YOLOv4的網(wǎng)絡(luò)詳情 248
9.2.4 CSPDarknet-53網(wǎng)絡(luò) 254
9.2.5 YOLOv4網(wǎng)絡(luò)全景關(guān)系 255
9.3 YOLOv4中的激活函數(shù) 256
9.3.1 各激活函數(shù)的比較 256
9.3.2 keras實(shí)現(xiàn)三種激活函數(shù)性能比較 260
9.4 YOLOv4中的損失函數(shù)C-IoU 263
9.4.1 L1和L2損失的缺陷 264
9.4.2 IoU和IoU損失 264
9.4.3 G-IoU、D-IoU和C-IoU 265
9.5 YOLOv4中的新型批標(biāo)準(zhǔn)化 268
9.5.1 各種批標(biāo)準(zhǔn)化 268
9.5.2 跨迭代標(biāo)準(zhǔn)化 270
第10章 EfficientDet目標(biāo)檢測方法 272
10.1 復(fù)合縮放 272
10.2 雙向特征金字塔網(wǎng)絡(luò) 274
10.3 EfficientDet體系結(jié)構(gòu) 276
10.3.1 輸入圖像分辨率縮放 276
10.3.2 BiFPN縮放 277
10.3.3 框/類預(yù)測網(wǎng)絡(luò)縮放 277
10.3.4 主干網(wǎng) 277
10.4 EfficientDet推理效果和不足之處 279
10.4.1 EfficientDet推理效果 279
10.4.2 EfficientDet不足之處 282
參考文獻(xiàn) 284