信息基礎(chǔ)理論解析

目錄
第1章 信息論概述 / 1
1.1　信息論與信息科學(xué) / 3
1.2　信息的概念與性質(zhì) / 5
1.2.1　信息的概念 / 5
1.2.2　信息的性質(zhì) / 9
1.2.3　信息、消息及信號(hào) / 9
1.3　信息論研究的對(duì)象、目的和內(nèi)容 / 11
1.3.1　信息論研究的對(duì)象 / 11
1.3.2　信息論研究的目的 / 13
1.3.3　信息論研究的內(nèi)容 / 14
1.4　信息論的發(fā)展歷程 / 16
1.4.1　信息論的醞釀 / 16
1.4.2　信息論的建立 / 18
1.4.3　信息論的發(fā)展 / 19
1.4.4　香農(nóng)及其貢獻(xiàn) / 19
第2章 信息的統(tǒng)一度量 / 21
2.1　自信息 / 24
2.1.1　自信息 / 24
2.1.2　條件自信息 / 26
2.2　信息熵 / 26
2.2.1　熵的定義 / 27
2.2.2　熵的性質(zhì) / 30
2.2.3　聯(lián)合熵 / 34
2.2.4　條件熵 / 35
2.3　互信息 / 36
2.3.1　互信息的定義 / 36
2.3.2　互信息的性質(zhì) / 37
2.4　平均互信息 / 38
2.4.1　平均互信息的定義 / 39
2.4.2　平均互信息的性質(zhì) / 40
2.5　各種信息度量之間的關(guān)系 / 45
2.6　擴(kuò)展信源的信息度量 / 46
2.7　連續(xù)隨機(jī)變量的信息度量 / 48
第3章 信源 / 57
3.1　信源的分類 / 60
3.2　信源的數(shù)學(xué)描述 / 61
3.2.1　用隨機(jī)變量描述離散消息 / 61
3.2.2　用隨機(jī)矢量描述離散序列 / 62
3.2.3　用隨機(jī)過(guò)程描述波形信源 / 64
3.3　馬爾可夫信源 / 65
3.3.1　馬爾可夫信源定義 / 65
3.3.2　狀態(tài)轉(zhuǎn)移概率及描述 / 65
3.3.3　切普曼—柯爾莫戈洛夫方程 / 68
3.3.4　馬爾可夫鏈的狀態(tài)分類 / 69
3.3.5　馬爾可夫鏈的遍歷性 / 70
3.3.6　離散馬爾可夫信源的熵 / 70
3.4　信源的相關(guān)性和剩余度 / 74
第4章 信　道 / 79
4.1　信道的分類 / 82
4.2　信道的數(shù)學(xué)描述 / 85
4.2.1　離散信道模型 / 86
4.2.2　連續(xù)信道模型 / 89
4.2.3　波形信道模型 / 90
4.3　信道疑義度和噪聲熵 / 91
4.4　信道的組合 / 92
4.4.1　串聯(lián)信道 / 92
4.4.2　并聯(lián)信道 / 95
4.5　信道容量 / / 96
4.5.1　信道容量的定義 / 97
4.5.2　簡(jiǎn)單離散信道的信道容量 / 98
4.5.3　對(duì)稱離散信道的信道容量 / 101
4.5.4　組合信道的信道容量 / 104
4.5.5　一般離散信道的信道容量 / 106
4.5.6　離散無(wú)記憶信道容量的迭代算法 / 118
4.5.7　連續(xù)型信道的信道容量 / 126
4.6　信源與信道的匹配 / 136
第5章 信源編碼 / 143
5.1　信源編碼的基本概念 / 146
5.2　唯一可譯性的判決問題 / 151
5.2.1　唯一可譯性的存在性判決 / 151
5.2.2　唯一可譯碼判斷準(zhǔn)則 / 152
5.3　無(wú)失真信源編碼 / 154
5.3.1　等長(zhǎng)碼的編碼長(zhǎng)度 / 154
5.3.2　等長(zhǎng)無(wú)失真信源編碼定理 / 156
5.3.3　變長(zhǎng)無(wú)失真信源編碼定理（香農(nóng)第一定理） / 160
5.3.4　變長(zhǎng)碼的常用編碼方法 / 168
5.4　限失真信源編碼 / 176
5.4.1　失真測(cè)度 / 176
5.4.2　信息率失真函數(shù) / 181
5.4.3　信息率失真函數(shù)的計(jì)算 / 187
5.4.4　限失真信源編碼定理（香農(nóng)第三定理） / 188
第6章 信道編碼 / 199
6.1　信道編碼的基本概念 / 202
6.1.1　編碼信道 / 202
6.1.2　譯碼準(zhǔn)則 / 202
6.1.3　錯(cuò)誤概率 / 203
6.1.4　碼字空間 / 204
6.1.5　漢明距離 / 204
6.1.6　糾檢錯(cuò)能力 / 205
6.2　兩種典型的譯碼準(zhǔn)則 / 206
6.2.1　最大后驗(yàn)概率準(zhǔn)則 / 206
6.2.2　最大似然譯碼準(zhǔn)則 / 207
6.3　有噪信道編碼定理（香農(nóng)第二定理） / 210
6.4　信源信道聯(lián)合編碼定理 / 211
6.5　信道編碼 / 212
6.5.1　奇偶校驗(yàn)碼 / 213
6.5.2　簡(jiǎn)單重復(fù)碼 / 216
6.5.3　線性分組碼 / 218
6.5.4　循環(huán)碼 / 220
6.5.5　卷積碼 / 223
第7章 網(wǎng)絡(luò)信息論 / 235
7.1　網(wǎng)絡(luò)信道的分類 / 239
7.1.1　多源接入信道 / 239
7.1.2　廣播信道 / 240
7.1.3　中繼信道 / 240
7.1.4　串?dāng)_信道 / 241
7.1.5　反饋信道 / 241
7.2　網(wǎng)絡(luò)信道的容量 / 242
7.3　網(wǎng)絡(luò)編碼的基本原理 / 250
7.3.1　網(wǎng)絡(luò)編碼相關(guān)概念 / 251
7.3.2　網(wǎng)絡(luò)編碼的優(yōu)點(diǎn) / 252
7.3.3　網(wǎng)絡(luò)編碼的構(gòu)造算法及發(fā)展方向 / 258
7.3.4　網(wǎng)絡(luò)編碼的適用條件 / 265
第8章 信息論的應(yīng)用 / 267
8.1　生物信息學(xué) / 269
8.1.1　核酸序列分析 / 271
8.1.2　蛋白質(zhì)序列分析 / 271
8.1.3　生物醫(yī)學(xué)成像 / 272
8.2　信息光學(xué) / 279
8.2.1　光學(xué)全息 / 281
8.2.2　光學(xué)信息處理 / 283
8.2.3　光通信 / 286
8.3　信息論與密碼學(xué) / 288
8.3.1　保密系統(tǒng)的數(shù)學(xué)模型 / 290
8.3.2　傳統(tǒng)加密技術(shù) / 291
8.3.3　現(xiàn)代加密技術(shù) / 295
8.4　經(jīng)濟(jì)信息學(xué) / 298
8.4.1　香農(nóng)的投資之路 / 299
8.4.2　凱利公式 / 302
8.4.3　優(yōu)化投資組合——馬科維茨理論 / 304
8.4.4　優(yōu)化投資組合的熵理論 / 306
8.5　信息論與管理 / 307
8.5.1　管理的最簡(jiǎn)信息模型 / 308
8.5.2　復(fù)雜管理信息模型構(gòu)造 / 312