信息論與編碼

第1章　緒論
第2章　熵和互信息
2．1　隨機變量的熵和互信息
2．1．1事件的自信息和互信息
2．1．2條件事件的互信息與聯(lián)合事件的互信息
2．1．3隨機變量的平均自信息——熵
2．1．4熵的性質(zhì)
2．1．5凸函數(shù)
2．1.6隨機變量間的平均互信息
2．1．7概率分布的散度（相對熵）
2．1．8關(guān)于疑義度的Fano不等式
2．1．9馬爾可夫鏈和數(shù)據(jù)處理定理
2．1．10Shamon信息度量與集合論之間的聯(lián)系
2．1．11信息論與博弈之間的關(guān)系
2．2　連續(xù)隨機變量的互信息和微分熵
2．2．1連續(xù)隨機變量的互信息
2．2.2連續(xù)隨機變量的熵——微分熵
2．2．3微分熵的極大化
2．3　平穩(wěn)離散信源的熵
2．3．1平穩(wěn)離散信源的一般概念
2．3．2平穩(wěn)信源的熵
2．3．3馬爾可夫信源
2．4平穩(wěn)隨機過程的信息量與熵
習(xí)題
第3章　離散無記憶信源（DMs）的無損編碼
3．1　離散無記憶信源的等長編碼
3．1．1等長編碼
3．1．2Shannon編碼定理和典型列解釋
3．1．3漸近等分性質(zhì)（AEP）與Shamon定理的證明
3．2　離散無記憶源（DMs）的不等長編碼
3．2．1不等長編碼的惟一可譯性和譯碼延時
3．2．2Kraf不等式
3．2．3不等長編碼定理
3．3　幾種不等長編碼算法
3．3．1最佳不等長編碼（Huffman編碼）
3．3．2Shannon編碼法
3．3．3Fano編碼
3．3．4ShannOn-Fano-EIias編碼
3．3．5算術(shù)編碼
3．3．6通用信源編碼算法
3．3．7壓縮編碼與離散隨機數(shù)發(fā)生
3．4　平穩(wěn)信源和馬爾可夫信源的編碼定理
3．4．1平穩(wěn)信源的編碼
3．4．2馬爾可夫信源的編碼
習(xí)題
第4章　信道、信道容量及信道編碼定理
4．1　信道、信道模型和分類
4．2　離散無記憶信道（DMC）及其容量
4．2．1信道容量定義及例子
4．2．2離散無記憶信道（DMC）的容量定理
4．2．3對稱離散無記憶信道容量的計算
4.　2．4轉(zhuǎn)移概率矩陣可逆信道的容量計算
4．2．5離散無記憶信道（DMC）容量的迭代計算
4．3　信道的組合
4．3．1積信道（平行組合信道）
4．3．2和信道
4．3．3級聯(lián)信道
4．4　離散無記憶信道（DMC）的編碼定理
4．4．1幾個有關(guān)定義
4．4．2二元對稱信道編碼定理的證明
4．4．3一般離散無記憶信道編碼定理的證明（典型列方法）
4．4．4信道編碼定理之逆
4．4．5具有理想反饋的離散無記憶信道的容量
4.　4．6信源、信道編碼分離定理和信源、信道聯(lián)合編碼
4．5　加性高斯噪聲（AwGN）信道
4．5.1高斯信道的容量
4．5．2高斯信道編碼定理
4．5．3高斯信道編碼定理之逆
4．5．4帶有獨立高斯噪聲的平行信道
4．5．5帶有相關(guān)高斯噪聲的平行信道
4.　5．6MIMO高斯信道的容量
4．6　模擬信道的信道容量
4．6．1帶限、加性白高斯噪聲信道
4．6．2帶限、有色高斯噪聲信道
習(xí)題
第5章　率失真理論和保真度準則下的信源編碼
5．1　率失真函數(shù)的定義
5．2　簡單信源的率失真函數(shù)計算
5．2．1Hamming失真度量下的貝努利信源
5．2．2高斯信源
5．2．3高斯矢量信源
5．3　率失真函數(shù)的性質(zhì)
5．3．1R（D）的非零區(qū)域（Dmin,Dmax）
5．3．2R（D）的向下凸性
5．3．3R（D）為單調(diào)遞減的連續(xù)函數(shù)
5．3．4利用信源的對稱性來計算率失真函數(shù)
5．4　率失真函數(shù)解的充要條件和參數(shù)方程
5．5　率失真函數(shù)的交替迭代計算
5．6　保真度準則下離散無記憶信源編碼定理
5．6．1可達性證明
5．6．2逆定理證明
5．6．3信道編碼定理與限失真信源編碼定理之間的對偶
5．7　無記憶連續(xù)信源的率失真函數(shù)
5．7．1無記憶連續(xù)信源的率失真函數(shù)定義
5．7．2平方誤差失真度量下連續(xù)隨機變量的率失真函數(shù)的上、下限
5．8　平方誤差失真度量下有記憶高斯信源的率失真函數(shù)
5．8．1有記憶信源的率失真函數(shù)定義
5．8．2高斯信源的特征
5．8．3離散時間平穩(wěn)高斯信源的率失真函數(shù)
5．8．4連續(xù)時間平穩(wěn)高斯信源的率失真函數(shù)
習(xí)題
第6章　受限系統(tǒng)和受限系統(tǒng)編碼
6．1　受限系統(tǒng)概述
6．1．1受限信道
6．1．2序列的自相關(guān)函數(shù)和功率譜
6．2　受限系統(tǒng)的表示和容量計算
6．2．1受限系統(tǒng)的概念
6．2．2RLL（d，k）序列
6．2．3受限系統(tǒng)的有限狀態(tài)轉(zhuǎn)移圖表示
6．2．4受限系統(tǒng)的容量
6．2．5受限系統(tǒng)容量的計算
6．2．6最大熵游程受限序列的功率譜
6．3　受限系統(tǒng)編碼方法
6．3．1定長分組編碼
6．3．2碼長最短的定長分組碼
6．3．3可變長度固定速率編碼
6．3．4向前看（LA）編碼技術(shù)
6．4　基于ACH狀態(tài)分裂算法的有限狀態(tài)編碼器
6．4．1狀態(tài)分裂
6．4．2近似本征矢量
6.　4．3一致分裂
6．4．4ACH狀態(tài)分裂算法
第7章　線性分組糾錯編碼
7．1分組糾錯編碼的一般概念
7．1．1用于糾錯和檢錯的信道編碼
7．1．2二元對稱信道的差錯概率和差錯分布
7．1．3檢錯和糾錯
……
第8章　循環(huán)碼
第9章　卷積碼
第10章　Turbo編碼與迭代譯碼算法
第11章　多用戶信息論與多用戶編碼
參考文獻