信息論基礎(chǔ)及應用

第1章緒論
1.1信息的概念
1.1.1信息、消息及信號的區(qū)別與聯(lián)系
1.1.2香農(nóng)信息的定義與度量
1.2信息論研究的對象、目的和內(nèi)容
1.2.1信息論研究的對象
1.2.2信息論研究的目的
1.2.3信息論研究的內(nèi)容
1.3信息論的形成及發(fā)展
第2章離散信源及信息的度量
2.1信源的數(shù)學模型及分類
2.1.1信源輸出的消息由隨機變量描述
2.1.2信源輸出的消息由隨機矢量描述
2.1.3信源輸出的消息由隨機過程描述
2.2離散信源的信息量
2.2.1非平均不確定性
2.2.2非平均信息量
2.2.3平均信息量
2.3熵的基本性質(zhì)
2.4消息序列的熵
2.4.1消息序列信息量的一般表達式
2.4.2離散無記憶的擴展信源
2.4.3離散平穩(wěn)信源
2.4.4馬爾可夫信源
2.5信源的相關(guān)性和剩余度
習題
第3章離散信源的無失真編碼
3.1編碼器
3.2離散無記憶信源的漸近等同分割性
3.3等長碼和等長信源編碼定理
3.4變長碼
3.4.1碼的分類和主要編碼方法
3.4.2克拉夫特不等式和麥克米倫不等式
3.4.3惟一可譯碼判斷準則
3.5香農(nóng)第一定理
3.5.1碼的平均長度
3.5.2變長無失真信源編碼定理
3.6變長碼的編碼方法
3.6.1香農(nóng)編碼
3.6.2費諾編碼
3.6.3霍夫曼編碼
3.7離散平穩(wěn)信源和馬爾可夫信源的編碼定理*
3.7.1離散平穩(wěn)信源的編碼定理.
3.7.2馬爾可夫信源的編碼定理
習題
第4章離散信道及信道容量
4.1信道的數(shù)學模型和分類
4.1.1信道
4.1.2信道的分類
4.I.3離散信道的數(shù)學模型
4.1.4單維離散信道的數(shù)學模型
4.2信道傳輸?shù)钠骄バ畔?
4.2.1損失熵和噪聲熵
4.2.2平均互信息
4.2.3平均條件互信息
4.3平均互信息的特性
4.4信道容量的概念及其計算方法
4.4.1信道容量的定義
4.4.2簡單離散信道的信道容量
4.4.3對稱離散信道的信道容量
4.4.4一般離散信道的信道容量
4.4.5離散無記憶信道容量的迭代算法
4.4.6離散無記憶N次擴展信道及其信道容量
4.5串聯(lián)信道和并聯(lián)信道的信道容量
4.5.1串聯(lián)信道及其信道容量
4.5.2并聯(lián)信道及其信道容量
4.6信源與信道的匹配
習題
第5章有噪信道編碼
5.1錯誤概率和譯碼規(guī)則
5.1.1錯誤概率的分析
5.1.2兩種典型的譯碼規(guī)則
5.1.3費諾不等式
5.2錯誤概率與編碼方法
5.2.1簡單重復編碼
5.2.2消息符號個數(shù)
5.2.3(5.2)線性碼
5.2.4漢明距離
5.3聯(lián)合典型序列與聯(lián)合漸近等同分割定理
5.4香農(nóng)第二定理
5.4.1有噪信道編碼定理
5.4.2有噪信道編碼定理的逆定理
5.4.3錯誤概率的上界
習題
第6章離散信源的限失真編碼
6.1失真測度
6.1.1失真度
6.1.2平均失真度
6.2信息率失真函數(shù)
6.2.1D允許信道(試驗信道)
6.2.2信息率失真函數(shù)的定義
6.2.3信息率失真函數(shù)的性質(zhì)
6.3信息率失真函數(shù)的參量表述及其計算
6.3.1利用信源的對稱性來計算信息率失真函數(shù)
6.3.2信息率失真函數(shù)的參量表述
6.4信息率失真函數(shù)的迭代計算
6.5香農(nóng)第三定理
6.5.1限失真信源編碼定理
6.5.2限失真信源編碼逆定理
6.5.3限失真編碼定理的意義
習題
第7章連續(xù)信源和波形信源
7.1連續(xù)／波形信源的統(tǒng)計特性
7：2連續(xù)信源和波形信源的信息度量
7.2.1連續(xù)信源的差熵
7.2.2波形信源的差熵
7.2.3三種特殊連續(xù)信源的差熵
7.3最大差熵定理
7.3.1峰值功率受限最大差熵定理
7.3.2平均功率受限最大差熵定理
7.4熵速率和熵功率
7.5連續(xù)信源熵的變換
7.5.1坐標變換后概率密度函數(shù)的變化
7.5.2坐標變換后差熵的變化
7.6連續(xù)信源的信息率失真函數(shù)
7.6.1連續(xù)信源的信息率失真函數(shù)定義
7.6.2平方誤差失真度下高斯信源的信息率失真函數(shù)
習題
第8章連續(xù)信道和波形信道
8.1連續(xù)／波形信道的分類
8.1.1按噪聲統(tǒng)計特性分類
8.1.2按噪聲對信號的作用功能分類
8.2連續(xù)信道的信息傳輸率
8.2.1單維連續(xù)信道的平均互信息
8.2.2多維連續(xù)信道的平均互信息..
8.2.3連續(xù)信道平均互信息的特性
8.3連續(xù)信道的信道容量
8.3.1單維高斯加性信道
8.3.2單維非高斯加性信道
8.3.3多維無記憶高斯加性連續(xù)信道
8.3.4多維有記憶高斯加性連續(xù)信道
8.4波形信道的信息傳輸率和信道容量
8.4.1波形信道的信息傳輸率
8.4.2高斯白噪聲加性波形信道
8.4.3有色高斯加性波形信道
8.5連續(xù)信道編碼定理
習題
第9章網(wǎng)絡信息理論
9.1網(wǎng)絡信道的分類
9.1.1多源接入信道
9.1.2廣播信道
9.1.3中繼信道
9.1.4串擾信道
9.1.5反饋信道
9.2多個隨機變量下的聯(lián)合典型序列
9.3相關(guān)信源編碼
9.3.1兩個相關(guān)信源的模型
9.3.2相關(guān)信源編碼定理
9.4多源接入信道
9.4.1多源接入信道的容量
9.4.2相關(guān)信源的多源接入信道
9.4.3高斯多源接入信道
附錄Matlab源程序
附錄A信息熵
附錄B離散無記憶信道容量的迭代計算
附錄CShannon編碼
附錄DFano編碼
附錄EHuffman編碼
附錄F信息率失真函數(shù)的迭代計算
參考文獻