模式識別之特征選擇

第1章 緒論\t1
1．1 概述\t1
1．2 本書章節(jié)安排\t3
參考文獻(xiàn)\t4
第2章 特征選擇原理\t5
2．1 定義\t5
2．1．1 特征相關(guān)性定義\t5
2．1．2 特征選擇定義\t5
2．2 特征選擇過程\t6
2．2．1 特征子集的搜索\t6
2．2．2 特征子集的評價\t8
2．2．3 特征子集搜索的終止\t9
2．2．4 選擇結(jié)果確認(rèn)\t9
2．3 特征選擇方法分類\t9
2．3．1 濾波式（Filters）\t9
2．3．2 封裝式（Wrappers）\t10
2．3．3 混合式（Hybrid Algorithm）\t11
2．3．4 嵌入式（Embedded Solutions）\t12
2．4 特征選擇算法的評價\t12
2．4．1 特征選擇算法的兩個重要參數(shù)\t12
2．4．2 特征選擇算法的穩(wěn)定性評價\t12
2．5 本章小結(jié)\t14
參考文獻(xiàn)\t15
第3章 特征評價方法\t17
3．1 概述\t17
3．2 基于距離的評價準(zhǔn)則\t17
3．2．1 質(zhì)心距離準(zhǔn)則\t17
3．2．2 類類間最小距離準(zhǔn)則\t17
3．2．3 類內(nèi)間距離準(zhǔn)則\t17
3．2．4 混合距離準(zhǔn)則\t18
3．3 基于互信息理論的特征評價準(zhǔn)則\t18
3．3．1 特征選擇問題中的信息熵\t18
3．3．2 特征選擇問題中的互信息\t21
3．3．3 互信息特征評價準(zhǔn)則\t23
3．3．4 連續(xù)特征的離散化\t24
3．4 基于支持向量機(jī)的特征評價準(zhǔn)則\t26
3．4．1 SVM的工作原理\t26
3．4．2 SVM分類器分類性能估計及設(shè)計\t33
3．4．3 基于SVM分類性能估計的特征評價準(zhǔn)則\t37
3．5 本章小結(jié)\t38
參考文獻(xiàn)\t38
第4章 濾波式特征選擇算法\t40
4．1 順序搜索特征選擇算法\t40
4．1．1 順序向前特征選擇算法\t40
4．1．2 順序向后特征選擇算法\t41
4．1．3 順序雙向特征選擇算法\t41
4．2 Relief特征選擇算法\t41
4．3 最近鄰收縮規(guī)則\t42
4．4 Simba算法\t43
4．5 實驗及結(jié)果\t44
4．5．1 實驗數(shù)據(jù)及實驗設(shè)置\t44
4．5．2 實驗及討論\t44
4．6 本章小結(jié)\t47
參考文獻(xiàn)\t47
第5章 基于人工免疫系統(tǒng)的特征選擇算法\t49
5．1 人工免疫系統(tǒng)的研究歷史和現(xiàn)狀\t49
5．2 基于免疫機(jī)理的特征選擇算法\t50
5．2．1 算法原理\t50
5．2．2 編碼與初始種群的生成\t50
5．2．3 適應(yīng)度函數(shù)\t50
5．2．4 免疫操作\t51
5．3 基于免疫克隆機(jī)理的特征選擇方法\t52
5．3．1 算法原理\t52
5．3．2 問題編碼\t53
5．3．3 親合度函數(shù)\t53
5．3．4 抗體克隆數(shù)\t53
5．3．5 免疫克隆算子\t53
5．4 遺傳算法\t55
5．4．1 遺傳算法基本概念\t55
5．4．2 遺傳算法用于特征選擇原理\t55
5．5 實驗與討論\t57
5．5．1 實驗?zāi)康腬t57
5．5．2 實驗數(shù)據(jù)\t57
5．5．3 實驗結(jié)果及討論\t57
5．6 本章小結(jié)\t64
參考文獻(xiàn)\t65
第6章 特征選擇、樣本選擇與分類器集成融合\t67
6．1 概述\t67
6．2 樣本選擇原理\t67
6．2．1 樣本選擇的定義\t67
6．2．2 樣本選擇的必要性\t67
6．2．3 樣本選擇方法分類\t68
6．2．4 加權(quán)最近鄰收縮樣本選擇算法\t69
6．2．5 加權(quán)免疫克隆樣本選擇算法\t70
6．3 分類器集成\t72
6．3．1 分類器集成\t72
6．3．2 經(jīng)典分類器集成方法\t73
6．3．3 分類器選擇性集成算法\t76
6．4 樣本選擇與特征選擇融合方法\t79
6．4．1 WRNN-FSA融合算法\t79
6．4．2 WICIS -FSA融合算法\t80
6．4．3 實驗與討論\t81
6．5 樣本、特征與分類器集成的融合方法\t85
6．5．1 樣本選擇、特征選擇與分類器集成融合原理\t85
6．5．2 MISFFS算法\t86
6．5．3 WRNNIF-SVME算法\t87
6．5．4 WICIF-SVME算法\t87
6．5．5 實驗與討論\t88
6．6 本章小結(jié)\t96
參考文獻(xiàn)\t96
第7章 無監(jiān)督特征選擇算法\t101
7．1 基于特征相關(guān)性的無監(jiān)督特征選擇\t101
7．1．1 基于互信息的無監(jiān)督特征選擇\t101
7．1．2 基于非參數(shù)互信息的無監(jiān)督特征選擇\t105
7．1．3 基于特征相似性的無監(jiān)督特征選擇\t107
7．2 基于譜圖理論的無監(jiān)督特征選擇\t110
7．2．1 基于譜的無監(jiān)督特征選擇\t111
7．2．2 譜聚類無監(jiān)督特征選擇\t114
7．3 本章小結(jié)\t118
參考文獻(xiàn)\t118
第8章 特征選擇算法集成\t121
8．1 概述\t121
8．2 特征選擇算法集成\t121
8．2．1 基本概念\t121
8．2．2 個體特征選擇器的生成方法\t122
8．2．3 特征選擇算法集成方法\t124
8．3 基于特征排序表的特征選擇算法集成方法\t125
8．3．1 特征排序表集成概念\t125
8．3．2 特征排序表集成方法\t126
8．4 特征選擇算法集成實驗及討論\t127
8．4．1 實驗數(shù)據(jù)介紹\t127
8．4．2 基于Bagging的特征選擇算法集成實驗\t127
8．4．3 IFSA算法的集成實驗結(jié)果及討論\t128
8．4．4 順序向前特征選擇算法集成的實驗結(jié)果及討論\t130
8．4．5 實驗結(jié)論\t131
8．5 特征選擇算法集成的應(yīng)用實例――基于fMRI圖像及基因的疾病診斷\t131
8．5．1 應(yīng)用背景\t131
8．5．2 利用特征選擇與SVM集成融合fMRI和SNP數(shù)據(jù)進(jìn)行疾病診斷\t134
8．6 本章小結(jié)\t142
參考文獻(xiàn)\t142
第9章 特征選擇用于深度學(xué)習(xí)\t146
9．1 深度置信網(wǎng)絡(luò)基礎(chǔ)模型――受限玻爾茲曼機(jī)\t146
9．1．1 受限玻爾茲曼機(jī)模型\t147
9．1．2 高斯-伯努利受限玻爾茲曼機(jī)\t148
9．1．3 受限玻爾茲曼機(jī)的訓(xùn)練\t148
9．2 深度置信網(wǎng)絡(luò)及其特征學(xué)習(xí)\t150
9．2．1 深度置信網(wǎng)絡(luò)的提出\t150
9．2．2 深度置信網(wǎng)絡(luò)的訓(xùn)練\t150
9．2．3 用于分類識別的深度置信網(wǎng)絡(luò)\t153
9．2．4 特征學(xué)習(xí)結(jié)果分析\t153
9．3 基于互信息的深度特征優(yōu)化選擇\t155
9．3．1 平均互信息無監(jiān)督深度特征優(yōu)化選擇\t156
9．3．2 非參數(shù)互信息無監(jiān)督深度特征優(yōu)化選擇\t161
9．3．3 信息增益有監(jiān)督深度特征優(yōu)化選擇\t165
9．3．4 聯(lián)合互信息有監(jiān)督深度特征優(yōu)化選擇\t170
9．4 基于特征選擇優(yōu)化的DBN模型\t173
9．4．1 基于特征選擇優(yōu)化的DBN結(jié)構(gòu)\t173
9．4．2 基于平均互信息特征選擇優(yōu)化的DBN模型\t174
9．4．3 基于非參數(shù)互信息特征選擇優(yōu)化的DBN模型\t176
9．5 本章小結(jié)\t178
參考文獻(xiàn)\t178