信息論與編碼理論（第二版）

第1章 引言
1.1 信息論的發(fā)展概況
1.1.1 信息論的早期醞釀
1.1.2 Shannon信息論的建立與發(fā)展
1.1.3 信息論的近期發(fā)展
1.1.4 信息論在信息技術領域中的應用
1.2 信息論與編碼理論的主要內(nèi)容
1.2.1 信息的度量問題
1.2.2 通信系統(tǒng)的基本模型
1.2.3 通信系統(tǒng)中信息的傳遞過程
1.2.4 通信系統(tǒng)的概率統(tǒng)計模型
1.2.5 通信系統(tǒng)的序列模型
1.3 本書內(nèi)容簡介與文獻介紹
1.3.1 內(nèi)容簡介
1.3.2 有關著作和文獻介紹
1.3.3 對有關記號的說明
習題1
第一部分 信息論
第2章 信息量
2.1 熵
2.1.1 離散隨機變量的不肯定性
2.1.2 不肯定性的特征與表示
2.1.3 熵的簡單性質(zhì)與例子
2.2 聯(lián)合熵和條件熵
2.2.1 聯(lián)合熵的記號
2.2.2 條件熵的定義與性質(zhì)
2.3 熵的基本性質(zhì)
2.3.1 對數(shù)函數(shù)的基本不等式與熵函數(shù)的最大值
2.3.2 熵函數(shù)的可加性
2.3.3 Fano不等式
2.4 互熵與互信息
2.4.1 互熵
2.4.2 互信息
2.4.3 條件互信息
2.5 凸函數(shù)及其應用
2.5.1 凸函數(shù)的定義與它的判別
2.5.2 Jenson不等式與它的應用
2.6 連續(xù)型隨機變量的信息量
2.6.1 連續(xù)型隨機變量的Shannon熵
2.6.2 多維連續(xù)型隨機變量的Shannon熵
2.6.3 其他連續(xù)型隨機變量的信息量
2.7 最大熵原理
2.7.1 有限區(qū)間情形的最大熵
2.7.2 半開區(qū)間情形的最大熵
2.7.3 全直線情形的最大熵
2.7.4 多維連續(xù)型隨機變量的最大熵
習題2
第3章 信源編碼
3.1 信源編碼問題
3.1.1 信源編碼
3.1.2 定長編碼與變長編碼
3.1.3 信源變長碼的編碼問題
3.1.4 信源序列的定長編碼問題
3.2 前綴碼和即時碼
3.2.1 唯一可譯變長碼的構造
3.2.2 Kraft不等式
3.3 信源變長碼的編碼定理
3.3.1 最優(yōu)變長碼平均碼長的下界估計
3.3.2 最優(yōu)變長碼平均碼長的上界估計
3.3.3 無記憶信源平均碼長的上界和下界估計
3.4 Huffman信源編碼算法
3.4.1 Huffman編碼的實例分析
3.4.2 Huffman編碼的一般算法
3.5 Huffman信源編碼性能分析
3.5.1 Huffman編碼的前綴性
3.5.2 Huffman編碼的最優(yōu)性
3.6 信源定長碼的編碼定理
習題3
第4章 信道編碼定理
4.1 信道編碼問題
4.1.1 通信系統(tǒng)的編碼誤差
4.1.2 信道序列的編碼問題
4.2 離散無記憶信道
4.2.1 離散無記憶信道的一般定義
4.2.2 幾種特殊的離散無記憶信道
4.3 無記憶信道的信道容量
4.3.1 信道容量的一般定義
4.3.2 無記憶信道序列的容量性質(zhì)
4.4 信道容量的計算
4.4.1 凸函數(shù)的極大值性質(zhì)
4.4.2 信道容量的計算
4.5 信道的編碼和譯碼問題
4.6 信道的正編碼定理和反編碼定理
4.7 可加高斯(Gaussian)信道
習題4
第二部分 抽象代數(shù)
第5章 抽象代數(shù)的基本知識
5.1 群
5.2 環(huán)和域
5.3 理想和商環(huán)
5.4 域上的多項式
5.5 有限域
5.6 域上的線性代數(shù)
習題5
第三部分 編碼理論
第6章 編碼理論的基本知識
6.1 碼的基本概念
6.1.1 碼的定義
6.1.2 Hamming距離和Hamming重量
6.1.3 譯碼策略
6.1.4 系統(tǒng)碼
6.2 碼的檢錯和糾錯能力
6.3 編碼理論的基本問題
6.3.1 碼的等價變換
6.3.2 編碼理論的一些界
習題6
第7章 線性碼
7.1 線性碼的定義
7.2 線性碼的對偶碼
7.3 線性碼的譯碼方法
7.4 線性碼的重量分布
習題7
第8章 Hamming碼
8.1 Hamming碼的定義
8.2 Hamming碼的性質(zhì)
8.3 Hamming碼的譯碼方法
8.4 二元Hamming碼的對偶碼
習題8
第9章 循環(huán)碼
9.1 循環(huán)碼的定義
9.2 循環(huán)碼的性質(zhì)
9.3 循環(huán)碼的校驗矩陣及其對偶碼
9.4 循環(huán)碼的編碼方法
9.5 循環(huán)碼的檢錯性能
習題9
第10章 BCH碼和Reed-Solomon碼
10.1 BCH碼及其基本性質(zhì)
10.2 Reed-Solomon碼及其基本性質(zhì)
10.3 BCH碼和Reed-Solomon碼的譯碼方法
10.4 Reed-Solomon碼和最大距離可分碼的重量分布
習題10
第11章 幾種重要的線性碼
11.1 Golay碼
11.2 Reed-Muller碼
11.2.1 布爾函數(shù)
11.2.2 Reed-Muller碼
11.3 平方剩余碼
11.4 Goppa碼
習題11
第四部分 信息論和編碼理論的應用
第12章 若干應用問題
12.1 有失真的數(shù)據(jù)壓縮
12.1.1 有失真信源編碼問題
12.1.2 有失真信源的率失真函數(shù)
12.1.3 有失真信源編碼的可達速率
12.1.4 率失真函數(shù)的計算
12.1.5 有失真信源編碼定理
12.1.6 數(shù)據(jù)壓縮問題概述
12.1.7 數(shù)據(jù)壓縮問題的實例分析
12.1.8 數(shù)據(jù)壓縮技術的主要分析指標
12.2 卷積碼理論及其應用
12.2.1 卷積碼的構造
12.2.2 卷積碼的樹結(jié)構
12.2.3 卷積碼的譯碼算法
12.2.4 卷積碼的應用
12.3 幾種實用的編碼問題
12.3.1 漢字編碼
12.3.2 計算機代碼
12.3.3 圖形碼
習題12
主要參考文獻