信息與編碼理論

目 錄第1章 緒論 11.1 信息的概念 11.2 信息論的研究對(duì)象、目的和內(nèi)容 31.2.1 研究對(duì)象 31.2.2 研究目的 51.2.3 研究?jī)?nèi)容 5第2章 信息的測(cè)度 72.1 自信息 72.2 平均自信息 92.2.1 平均自信息的概念 92.2.2 熵的物理意義 102.3 熵函數(shù)的性質(zhì) 112.3.1 對(duì)稱性 122.3.2 確定性 122.3.3 非負(fù)性 132.3.4 擴(kuò)展性 132.3.5 連續(xù)性 132.3.6 可加性 132.3.7 強(qiáng)可加性 142.3.8 極值性 152.3.9 上凸性 162.4 互信息和平均互信息 162.4.1 互信息 162.4.2 平均互信息 172.4.3 平均互信息的性質(zhì) 192.4.4 平均條件互信息 21思考題 21習(xí)題 22第3章 離散信源熵 243.1 信源分類及數(shù)學(xué)模型 243.1.1 離散信源 243.1.2 連續(xù)信源 253.1.3 信源分類 253.2 離散信源熵的計(jì)算 263.3 離散無記憶擴(kuò)展信源 273.4 離散平穩(wěn)信源 303.4.1 離散平穩(wěn)信源的數(shù)學(xué)定義 303.4.2 二維離散平穩(wěn)信源及其信息熵 313.4.3 離散平穩(wěn)信源的極限熵 343.5 馬爾可夫信源 353.5.1 馬爾可夫信源的定義 363.5.2 馬爾可夫信源的熵 383.6 信源的相關(guān)性和剩余度 393.6.1 實(shí)際離散信源的不同模型近似過程 403.6.2 信源剩余度 40思考題 42習(xí)題 42第4章 離散信道及信道容量 444.1 信道模型及其分類 444.1.1 信道模型 444.1.2 信道分類 454.2 離散單符號(hào)信道及其信道容量 464.2.1 離散單符號(hào)信道的數(shù)學(xué)模型 464.2.2 離散信道各種概率間的關(guān)系式 474.2.3 信道中平均互信息的物理意義 474.2.4 信道中條件熵的物理意義 484.2.5 信道容量的概念 494.2.6 幾種特殊信道的信道容量 504.2.7 離散對(duì)稱信道的信道容量 524.2.8 利用信道容量定理求解信道容量 554.3 離散多符號(hào)信道及其信道容量 574.3.1 離散多符號(hào)信道的數(shù)學(xué)模型 574.3.2 離散多符號(hào)信道的信道容量 584.4 組合信道及其信道容量 604.4.1 獨(dú)立并聯(lián)信道 604.4.2 級(jí)聯(lián)信道 614.5 信源與信道的匹配和信道剩余度 62思考題 63習(xí)題 63第5章 無失真信源編碼 665.1 信源編碼的一般概念 665.1.1 編碼器的構(gòu)成 665.1.2 常用信源編碼的概念 675.1.3 即時(shí)碼的樹圖構(gòu)造法 715.2 定長(zhǎng)碼和定長(zhǎng)信源編碼定理 735.2.1 定長(zhǎng)碼 735.2.2 定長(zhǎng)編碼定理 745.2.3 編碼效率 755.3 變長(zhǎng)碼和變長(zhǎng)信源編碼定理 775.3.1 克拉夫特（Kraft）不等式 775.3.2 唯一可譯變長(zhǎng)碼的判別方法 785.3.3 平均碼長(zhǎng) 815.3.4 信源變長(zhǎng)編碼定理 825.3.5 無失真變長(zhǎng)信源編碼定理 835.3.6 編碼效率 845.4 典型的變長(zhǎng)編碼方法 865.4.1 香農(nóng)碼 865.4.2 霍夫曼碼 875.4.3 費(fèi)諾碼 935.4.4 香農(nóng)-費(fèi)諾-埃利斯碼 95思考題 97習(xí)題 98第6章 有噪信道編碼 1016.1 信道編碼的一般概念 1016.1.1 編碼信道 1016.1.2 信道編碼的概念 1026.1.3 差錯(cuò)控制的基本方式 1026.2 信道譯碼的選取規(guī)則 1046.2.1 影響平均錯(cuò)誤概率的因素 1056.2.2 譯碼規(guī)則的選取準(zhǔn)則 1056.2.3 費(fèi)諾不等式 1086.3 信道編碼的選取規(guī)則 1106.3.1 簡(jiǎn)單重復(fù)編碼 1106.3.2 信道編碼的選取 1126.3.3 （5，2）線性碼 1136.3.4 碼的最小距離 1156.3.5 最小距離譯碼準(zhǔn)則 1166.4 有噪信道編碼定理 1176.5 糾錯(cuò)碼原理 1186.5.1 檢錯(cuò)與糾錯(cuò)原理 1196.5.2 檢錯(cuò)與糾錯(cuò)能力 1196.6 線性分組碼 1216.6.1 線性分組碼的基本概念 1216.6.2 線性分組碼的編碼 1236.6.3 線性分組碼的性質(zhì) 1276.6.4 線性分組碼的譯碼 1296.6.5 漢明碼 137思考題 142習(xí)題 142第7章 連續(xù)信源熵和連續(xù)信道容量 1467.1 連續(xù)信源的差熵 1467.1.1 一維連續(xù)信源的差熵 1467.1.2 N維連續(xù)信源的差熵 1497.1.3 典型連續(xù)信源的差熵 1507.2 連續(xù)信源最大差熵定理 1517.2.1 峰值受限條件下連續(xù)信源的最大熵 1527.2.2 平均功率受限條件下連續(xù)信源的最大熵 1527.3 連續(xù)信源熵的性質(zhì) 1537.3.1 可負(fù)性 1537.3.2 可加性 1537.3.3 極值性 1547.3.4 上凸性 1547.3.5 變換性 1547.4 連續(xù)信道的平均互信息及性質(zhì) 1577.4.1 連續(xù)信道分類及數(shù)學(xué)模型 1577.4.2 連續(xù)信道的平均互信息 1607.4.3 連續(xù)信道平均互信息的性質(zhì) 1617.5 連續(xù)信道的信道容量 1647.5.1 單符號(hào)高斯噪聲加性信道 1647.5.2 多維無記憶高斯噪聲加性信道 1657.5.3 加性高斯白噪聲波形信道 169思考題 171習(xí)題 172第8章 限失真信源編碼 1748.1 信源失真測(cè)度 1748.1.1 單符號(hào)信源失真度 1748.1.2 信源符號(hào)序列失真度 1768.1.3 平均失真度 1778.1.4 信源符號(hào)序列的平均失真度 1788.2 信息率失真函數(shù) 1788.2.1 保真度準(zhǔn)則 1788.2.2 信息率失真函數(shù)定義 1798.2.3 信息率失真函數(shù)性質(zhì) 1808.3 典型率失真函數(shù)的計(jì)算 1858.3.1 離散對(duì)稱信源的R(D)函數(shù) 1858.3.2 連續(xù)信源的 R (D ) 函數(shù) 1888.4 限失真信源編碼定理 193思考題 194習(xí)題 194附錄A Jensen不等式 196附錄B 熵函數(shù)的函數(shù)表 198附錄C 實(shí)驗(yàn)內(nèi)容和程序 200C.1 唯一可譯碼判決準(zhǔn)則 200C.2 Huffman編碼 205C.3 （7，4）線性分組碼 210參考文獻(xiàn) 214