對偶理論及應用

目錄
前言
第1章 優(yōu)化理論的基本概念 1
1.1 引例 1
1.2 優(yōu)化問題的一般形式 2
1.2.1 優(yōu)化問題 2
1.2.2 多目標優(yōu)化 2
1.3 優(yōu)化算法 4
1.3.1 線性搜索 4
1.3.2 信賴域法 6
1.3.3 下降方向 7
1.4 算法的收斂性與收斂速度 8
1.4.1 收斂性 8
1.4.2 收斂速度 9
1.5 凸集和凸函數(shù) 9
1.5.1 凸集 10
1.5.2 凸函數(shù) 13
1.5.3 梯度、Hessian矩陣和Taylor公式 17
1.5.4 凸函數(shù)的判別 19
1.6 優(yōu)化問題的分類 21
1.6.1 凸優(yōu)化問題 22
1.6.2 凹優(yōu)化問題 22
參考文獻 22
第2章 優(yōu)性條件 25
2.1 無約束問題的優(yōu)性條件 25
2.2 約束問題的優(yōu)性條件 27
2.2.1 約束問題優(yōu)性條件的幾何意義 27
2.2.2 KKT條件 30
參考文獻 33
第3章 對偶理論 34
3.1 拉格朗日對偶 34
3.1.1 懲罰法的基本思想 34
3.1.2 原問題與對偶問題之間的關(guān)系 36
3.1.3 鞍點與大小問題 47
3.2 基本算法 50
3.2.1 次梯度算法 50
3.2.2 原對偶算法 54
3.3 增量拉格朗日方法 55
3.4 交替方向數(shù)乘法 60
3.5 擴展對偶理論及算法 64
參考文獻 70
第4章 網(wǎng)絡資源分配中的對偶應用 74
4.1 網(wǎng)絡效用大化的基本思想 74
4.1.1 網(wǎng)絡效用大化的應用背景 74
4.1.2 Kelly的原始模型 76
4.1.3 網(wǎng)絡效用大化的基本模型和分布式算法設計 78
4.2 效用與效用函數(shù)設計 83
4.2.1 效用的定義 83
4.2.2 效用函數(shù)的設計 85
4.3 網(wǎng)絡效用大化模型擴展 96
4.3.1 無線網(wǎng)絡效用大化模型 97
4.3.2 云計算中網(wǎng)絡效用大化模型 101
4.3.3 有限信道狀態(tài)的效用大化模型 103
4.3.4 其他網(wǎng)絡效用大化模型 105
參考文獻 106
第5章 無線傳感器網(wǎng)絡功率控制中的對偶應用 113
5.1 無線傳感器網(wǎng)絡中聯(lián)合功率控制和速率調(diào)整 113
5.1.1 應用背景及問題的提出 114
5.1.2 系統(tǒng)模型 116
5.1.3 基于對偶分解的分布式算法 120
5.1.4 有反饋噪聲的分布式算法 124
5.1.5 數(shù)值計算與仿真驗證 126
5.2 無線網(wǎng)絡中基于ADMM的分布式功率控制算法設計 129
5.2.1 應用背景 130
5.2.2 系統(tǒng)模型 131
5.2.3 效用函數(shù)為凹的分布式功率控制 132
5.2.4 效用函數(shù)為非凹的分布式功率控制 135
5.2.5 仿真實驗 140
參考文獻 144
第6章 機器學習中的對偶應用 148
6.1 感知器算法 148
6.1.1 感知器的定義 148
6.1.2 感知器的表征能力 149
6.1.3 感知器學習策略 151
6.1.4 感知器學習原始算法 152
6.1.5 感知器學習對偶算法 153
6.2 支持向量機 154
6.2.1 動機與基本概念 154
6.2.2 線性可分支持向量機 155
6.2.3 軟間隔大化 158
6.3 主成分分析 163
6.3.1 主成分分析的概念 163
6.3.2 主成分分析算法 166
參考文獻 168