聯(lián)邦學習：算法詳解與系統(tǒng)實現(xiàn)

前言
第一部分 聯(lián)邦學習基礎知識
第 1 章 聯(lián)邦學習概述 2
1.1 什么是聯(lián)邦學習 2
1.1.1 聯(lián)邦學習的發(fā)展歷史 3
1.1.2 聯(lián)邦學習的工作流程 4
1.1.3 聯(lián)邦學習的分類 6
1.2 聯(lián)邦學習的應用和挑戰(zhàn) 8
1.2.1 聯(lián)邦學習的應用現(xiàn)狀 8
1.2.2 聯(lián)邦學習的核心挑戰(zhàn) 9
1.3 分布式機器學習與聯(lián)邦學習 10
1.3.1 分布式機器學習的發(fā)展歷史 10
1.3.2 分布式機器學習概述 11
1.3.3 分布式機器學習與聯(lián)邦學習的共同發(fā)展 13
1.4 總結(jié) 14
第 2 章 聯(lián)邦學習應用場景 15
2.1 聯(lián)邦學習與金融 15
2.2 聯(lián)邦學習與生物醫(yī)學 17
2.3 聯(lián)邦學習與計算機視覺 19
2.4 聯(lián)邦學習與自然語言處理 22
2.5 聯(lián)邦學習與邊緣計算和云計算 25
2.6 聯(lián)邦學習與計算機硬件 27
2.7 總結(jié) 29
第 3 章 常用隱私保護技術(shù) 30
3.1 面向隱私保護的機器學習 30
3.1.1 概述 30
3.1.2 面向隱私保護的機器學習發(fā)展 33
3.2 常用的隱私保護技術(shù) 34
3.2.1 差分隱私 34
3.2.2 安全多方計算 41
3.2.3 同態(tài)加密 49
3.3 總結(jié) 66
第二部分 聯(lián)邦學習算法詳述
第 4 章 縱向聯(lián)邦樹模型算法 68
4.1 樹模型簡介 68
4.2 縱向聯(lián)邦隨機森林算法 69
4.2.1 算法結(jié)構(gòu) 69
4.2.2 算法詳述 70
4.2.3 安全性分析 71
4.3 縱向聯(lián)邦梯度提升算法 75
4.3.1 XGBoost 算法 76
4.3.2 SecureBoost 算法 76
4.3.3 所提算法詳述 77
4.4 總結(jié) 78
第 5 章 縱向聯(lián)邦線性回歸算法 79
5.1 縱向聯(lián)邦線性回歸 80
5.1.1 算法訓練過程 81
5.1.2 算法預測過程 81
5.1.3 縱向聯(lián)邦的一個困境 82
5.2 聯(lián)邦多視角線性回歸 82
5.2.1 基于 BFGS 的二階優(yōu)化方法 84
5.2.2 安全計算協(xié)議 87
5.3 總結(jié) 92
第 6 章 縱向聯(lián)邦核學習算法 93
6.1 引言 93
6.2 雙隨機核方法 95
6.2.1 問題定義 95
6.2.2 核方法的簡要介紹 96
6.2.3 隨機傅里葉特征近似 98
6.2.4 雙隨機梯度 98
6.3 所提算法 99
6.3.1 問題表示 100
6.3.2 算法結(jié)構(gòu) 100
6.3.3 算法設計 101
6.3.4 場景案例 103
6.4 理論分析 105
6.4.1 收斂性分析 105
6.4.2 安全性分析 105
6.4.3 復雜度分析 106
6.5 實驗驗證 106
6.5.1 實驗設置 106
6.5.2 實驗結(jié)果和討論 107
6.6 總結(jié) 110
第 7 章 異步縱向聯(lián)邦學習算法 111
7.1 引言 111
7.2 相關(guān)工作 112
7.2.1 現(xiàn)有工作概述 112
7.2.2 SGD 類算法回顧 113
7.3 問題表示 114
7.4 所提算法 114
7.4.1 算法框架 114
7.4.2 算法詳述 116
7.4.3 場景案例 119
7.5 理論分析 120
7.5.1 收斂性分析 120
7.5.2 安全性分析 123
7.5.3 復雜度分析 124
7.6 實驗驗證 125
7.6.1 實驗設置 125
7.6.2 實驗結(jié)果和討論 127
7.7 總結(jié) 1