遷移學(xué)習(xí)導(dǎo)論（第2版）

第I 部分遷移學(xué)習(xí)基礎(chǔ)
1 緒論3
1.1 遷移學(xué)習(xí)3
1.2 相關(guān)研究領(lǐng)域7
1.3 遷移學(xué)習(xí)的必要性8
1.3.1 大數(shù)據(jù)與少標(biāo)注之間的矛盾9
1.3.2 大數(shù)據(jù)與弱計(jì)算能力的矛盾9
1.3.3 有限數(shù)據(jù)與模型泛化能力的矛盾.10
1.3.4 普適化模型與個(gè)性化需求的矛盾.11
1.3.5 特定應(yīng)用的需求 11
1.4 遷移學(xué)習(xí)的研究領(lǐng)域12
1.4.1 按特征空間分類 13
1.4.2 按目標(biāo)域有無標(biāo)簽分類 13
1.4.3 按學(xué)習(xí)方法分類 13
1.4.4 按離線與在線形式分類 14
1.5 學(xué)術(shù)界和工業(yè)界中的遷移學(xué)習(xí)15
1.6 遷移學(xué)習(xí)的應(yīng)用18
1.6.1 計(jì)算機(jī)視 覺19
1.6.2 自然語言處理 21
1.6.3 語音識(shí)別與合成 23
1.6.4 普適計(jì)算與人機(jī)交互25
1.6.5 醫(yī)療健康 28
1.6.6 其他應(yīng)用領(lǐng)域30
參考文獻(xiàn)
2 從機(jī)器學(xué)習(xí)到遷移學(xué)習(xí)48
2.1 機(jī)器學(xué)習(xí)基礎(chǔ)48
2.1.1 機(jī)器學(xué)習(xí)概念48
2.1.2 結(jié)構(gòu)風(fēng)險(xiǎn)最小化 49
2.1.3 數(shù)據(jù)的概率分布 50
2.2 遷移學(xué)習(xí)定義52
2.3 遷移學(xué)習(xí)基本問題 55
2.3.1 何時(shí)遷移 55
2.3.2 何處遷移 56
2.3.3 如何遷移 58
2.4 失敗的遷移：負(fù)遷移 58
2.5 一個(gè)完整的遷移學(xué)習(xí)過程 60
參考文獻(xiàn)61
3 遷移學(xué)習(xí)方法總覽63
3.1 分布差異的度量 63
3.2 分布差異的統(tǒng)一表征66
3.2.1 分布自適應(yīng)因子的計(jì)算 67
3.3 遷移學(xué)習(xí)方法統(tǒng)一表征68
3.3.1 樣本權(quán)重遷移法 70
3.3.2 特征變換遷移法 70
3.3.3 模型預(yù)訓(xùn)練遷移法 71
3.4 上手實(shí)踐72
3.4.1 數(shù)據(jù)準(zhǔn)備 .73
3.4.2 基準(zhǔn)模型構(gòu)建：KNN 75
參考文獻(xiàn)76
4 樣本權(quán)重遷移法78
4.1 問題定義78
4.2 基于樣本選擇的方法 80
4.2.1 基于非強(qiáng)化學(xué)習(xí)的樣本選擇法 81
4.2.2 基于強(qiáng)化學(xué)習(xí)的樣本選擇法82
4.3 基于權(quán)重自適應(yīng)的方法 83
4.4 上手實(shí)踐 85
4.5 小結(jié) 88
參考文獻(xiàn)88
5 統(tǒng)計(jì)特征變換遷移法93
5.1 問題定義93
5.2 最大均值差異法94
5.2.1 基本概念 94
5.2.2 基于最大均值差異的遷移學(xué)習(xí)96
5.2.3 求解與計(jì)算 99
5.2.4 應(yīng)用與擴(kuò)展 101
5.3 度量學(xué)習(xí)法102
5.3.1 度量學(xué)習(xí) 102
5.3.2 基于度量學(xué)習(xí)的遷移學(xué)習(xí) 104
5.4 上手實(shí)踐 105
5.5 小結(jié)108
參考文獻(xiàn)108
6 幾何特征變換遷移法 111
6.1 子空間變換法111
6.1.1 子空間對(duì)齊法112
6.1.2 協(xié)方差對(duì)齊法113
6.2 流形空間變換法 114
6.2.1 流形學(xué)習(xí) 114
6.2.2 基于流形學(xué)習(xí)的遷移學(xué)習(xí)方法 115
6.3 最優(yōu)傳輸法 118
6.3.1 最優(yōu)傳輸 118
6.3.2 基于最優(yōu)傳輸法的遷移學(xué)習(xí)方法 119
6.4 上手實(shí)踐 121
6.5 小結(jié) 122
參考文獻(xiàn) 123
7 遷移學(xué)習(xí)理論、評(píng)測與模型選擇125
7.1 遷移學(xué)習(xí)理論 125
7.1.1 基于H-divergence 的理論分析 126
7.1.2 基于HΔH-distance 的理論分析.128
7.1.3 基于差異距離的理論分析 129
7.1.4 結(jié)合標(biāo)簽函數(shù)差異的理論分析 130
7.2 遷移學(xué)習(xí)評(píng)測 131
7.3 遷移學(xué)習(xí)模型選擇132
7.3.1 基于密度估計(jì)的模型選擇 133
7.3.2 遷移交叉驗(yàn)證133
7.4 小結(jié)134
參考文獻(xiàn) 135
第II 部分現(xiàn)代遷移學(xué)習(xí)
8 預(yù)訓(xùn)練?C 微調(diào) 139
8.1 深度神經(jīng)網(wǎng)絡(luò)的可遷移性 140
8.2 預(yù)訓(xùn)練??微調(diào) 143
8.2.1 預(yù)訓(xùn)練?C 微調(diào)的有效性 144
8.3 遷移學(xué)習(xí)中的正則 145
8.4 預(yù)訓(xùn)練模型用于特征提取148
8.5 學(xué)習(xí)如何微調(diào) 149
8.6 上手實(shí)踐 151
8.7 小結(jié) 155
參考文獻(xiàn)155
9 深度遷移學(xué)習(xí) 158
9.1 總體思路159
9.2 深度遷移學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)160
9.2.1 單流結(jié)構(gòu) 161
9.2.2 雙流結(jié)構(gòu) 161
9.3 數(shù)據(jù)分布自適應(yīng)方法163
9.4 結(jié)構(gòu)自適應(yīng)的深度遷移學(xué)習(xí)方法165
9.4.1 基于批歸一化的遷移學(xué)習(xí) 165
9.4.2 基于多表示學(xué)習(xí)的遷移網(wǎng)絡(luò)結(jié)構(gòu).166
9.4.3 基于解耦的深度遷移方法 168
9.5 知識(shí)蒸餾 169
9.6 上手實(shí)踐170
9.6.1 網(wǎng)絡(luò)結(jié)構(gòu) 171
9.6.2 遷移損失 174
9.6.3 訓(xùn)練和測試 179
9.7 小結(jié)183
參考文獻(xiàn)184
10 對(duì)抗遷移學(xué)習(xí) 187
10.1 生成對(duì)抗網(wǎng)絡(luò)與遷移學(xué)習(xí)187
10.2 數(shù)據(jù)分布自適應(yīng)的對(duì)抗遷移方法189
10.3 基于最大分類器差異的對(duì)抗遷移方法192
10.4 基于數(shù)據(jù)生成的對(duì)抗遷移方法 194
10.5 上手實(shí)踐195
10.5.1 領(lǐng)域判別器 195
10.5.2 分布差異計(jì)算 .196
10.5.3 梯度反轉(zhuǎn)層 197
10.6 小結(jié)198
參考文獻(xiàn)198
11 遷移學(xué)習(xí)的泛化200
11.1 領(lǐng)域泛化200
11.2 基于數(shù)據(jù)操作的領(lǐng)域泛化方法203
11.2.1 數(shù)據(jù)增強(qiáng)和生成方法 203
11.2.2 基于Mixup 的數(shù)據(jù)生成方法 .205
11.3 領(lǐng)域不變特征學(xué)習(xí)206
11.3.1 核方法：領(lǐng)域不變成分分析 .206
11.3.2 深度領(lǐng)域泛化方法.208
11.3.3 特征解耦 210
11.4 用于領(lǐng)域泛化的不同學(xué)習(xí)策略212
11.4.1 基于集成學(xué)習(xí)的方法 212
11.4.2 基于元學(xué)習(xí)的方法213
11.4.3 用于領(lǐng)域泛化的其他學(xué)習(xí)范式 215
11.5 領(lǐng)域泛化理論215
11.5.1 平均風(fēng)險(xiǎn)預(yù)估誤差上界 215
11.5.2 泛化風(fēng)險(xiǎn)上界217
11.6 上手實(shí)踐17
11.6.1 數(shù)據(jù)加載 218
11.6.2 訓(xùn)練和測試 220
11.6.3 示例方法：ERM 和CORAL.222
11.7 小結(jié)225
參考文獻(xiàn)225
12 安全和魯棒的遷移學(xué)習(xí)232
12.1 安全遷移學(xué)習(xí)232
12.1.1 遷移學(xué)習(xí)模型可以被攻擊嗎233
12.1.2 抵制攻擊的方法233
12.1.3 ReMoS：一種新的安全遷移學(xué)習(xí)方法 235
12.2 聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí) 238
12.2.1 聯(lián)邦學(xué)習(xí) 238
12.2.2 面向非獨(dú)立同分布數(shù)據(jù)的個(gè)性化聯(lián)邦學(xué)習(xí) 241
12.2.3 模型自適應(yīng)的個(gè)性化遷移學(xué)習(xí) 242
12.2.4 基于相似度的個(gè)性化聯(lián)邦學(xué)習(xí) 243
12.3 無需源數(shù)據(jù)的遷移學(xué)習(xí)244
12.3.1 信息最大化方法 246
12.3.2 特征匹配方法 247
12.4 基于因果關(guān)系的遷移學(xué)習(xí)248
12.4.1 什么是因果關(guān)系 248
12.4.2 因果關(guān)系與遷移學(xué)習(xí) 250
12.5 小結(jié)254
參考文獻(xiàn)254
13 復(fù)雜環(huán)境中的遷移學(xué)習(xí) 260
13.1 類別非均衡的遷移學(xué)習(xí)260
13.2 多源遷移學(xué)習(xí)263
13.3 開放集遷移學(xué)習(xí)265
13.4 時(shí)間序列遷移學(xué)習(xí)267
13.4.1 AdaRNN：用于時(shí)間序列預(yù)測的遷移學(xué)習(xí) 269
13.4.2 DIVERSIFY：用于時(shí)間序列分類的遷移學(xué)習(xí)271
13.5 在線遷移學(xué)習(xí) 273
13.6 小結(jié)276
參考文獻(xiàn)276
14 低資源學(xué)習(xí)281
14.1 遷移學(xué)習(xí)模型壓縮 281
14.2 半監(jiān)督學(xué)習(xí)284
14.2.1 一致性正則化方法285
14.2.2 偽標(biāo)簽和閾值法 287
14.3 元學(xué)習(xí)290
14.3.1 基于模型的元學(xué)習(xí)方法 .292
14.3.2 基于度量的元學(xué)習(xí)方法 .293
14.3.3 基于優(yōu)化的元學(xué)習(xí)方法 .295
14.4 自監(jiān)督學(xué)習(xí) 297
14.4.1 構(gòu)造輔助任務(wù) .298
14.4.2 對(duì)比自監(jiān)督學(xué)習(xí) .299
14.5 小結(jié)300
參考文獻(xiàn)301
第III 部分遷移學(xué)習(xí)的應(yīng)用與實(shí)踐
15 計(jì)算機(jī)視覺中的遷移學(xué)習(xí)實(shí)踐309
15.1 目標(biāo)檢測309
15.1.1 任務(wù)與數(shù)據(jù) 309
15.1.2 加載數(shù)據(jù) 310
15.1.3 模型 313
15.1.4 訓(xùn)練和測試 313
15.2 神經(jīng)風(fēng)格遷移315
15.2.1 數(shù)據(jù)加載 315
15.2.2 模型 316
15.2.3 訓(xùn)練 317
參考文獻(xiàn)319
16 自然語言處理中的遷移學(xué)習(xí)實(shí)踐320
16.1 情緒分類任務(wù)及數(shù)據(jù)集320
16.2 模型322
16.3 訓(xùn)練和測試323
16.4 預(yù)訓(xùn)練??微調(diào)324
參考文獻(xiàn)325
17 語音識(shí)別中的遷移學(xué)習(xí)實(shí)踐326
17.1 跨領(lǐng)域語音識(shí)別 326
17.1.1 語音識(shí)別中的遷移損失 327
17.1.2 CMatch 算法實(shí)現(xiàn).328
17.1.3 實(shí)驗(yàn)及結(jié)果 332
17.2 跨語言語音識(shí)別333
17.2.1 適配器模塊 334
17.2.2 基于適配器進(jìn)行跨語言語音識(shí)別335
17.2.3 算法：MetaAdapter 和SimAdapter .336
17.2.4 結(jié)果與討論 337
參考文獻(xiàn)339
18 行為識(shí)別中的遷移學(xué)習(xí)實(shí)踐340
18.1 任務(wù)及數(shù)據(jù)集340
18.2 特征提取341
18.3 源域選擇342
18.4 使用TCA 方法進(jìn)行非深度遷移學(xué)習(xí)344
18.5 深度遷移學(xué)習(xí)用于跨位置行為識(shí)別345
參考文獻(xiàn)350
19 醫(yī)療健康中的聯(lián)邦遷移學(xué)習(xí)實(shí)踐351
19.1 任務(wù)和數(shù)據(jù)集351
19.1.1 模型結(jié)構(gòu) 355
19.2 聯(lián)邦學(xué)習(xí)基礎(chǔ)算法FedAvg 356
19.2.1 客戶端更新 357
19.2.2 服務(wù)器端更新 .357
19.2.3 結(jié)果 358
19.3 個(gè)性化聯(lián)邦學(xué)習(xí)算法AdaFed 359
19.3.1 相似度矩陣計(jì)算 .359
19.3.2 服務(wù)器端通信 .361
19.3.3 結(jié)果 362
參考文獻(xiàn)362
20 回顧與展望364
參考文獻(xiàn)367
附錄368
常用度量準(zhǔn)則368
常見的幾種距離 .368
余弦相似度 .369
互信息.369
相關(guān)系數(shù) .369
KL 散度與JS 距離 370
最大均值差異MMD .370
Principal Angle .371
A-distance 371
Hilbert-Schmidt Independence Criterion 371
Wasserstein Distance 372
常用數(shù)據(jù)集372
手寫體識(shí)別圖像數(shù)據(jù)集 373
對(duì)象識(shí)別數(shù)據(jù)集 .374
圖像分類數(shù)據(jù)集 .374
通用文本分類數(shù)據(jù)集.375
行為識(shí)別公開數(shù)據(jù)集.375
相關(guān)期刊會(huì)議376
遷移學(xué)習(xí)資源匯總377
參考文獻(xiàn)378