文本數(shù)據(jù)挖掘

第 1章緒論 .1
1.1基本概念 1
1.2文本挖掘任務(wù) .2
1.3文本挖掘面臨的困難 .5
1.4方法概述與本書的內(nèi)容組織 .7
1.5進(jìn)一步閱讀 .9
第 2章數(shù)據(jù)預(yù)處理和標(biāo)注 . 11
2.1數(shù)據(jù)獲取 11
2.2數(shù)據(jù)預(yù)處理 . 15
2.3數(shù)據(jù)標(biāo)注 17
2.4基本工具 19
2.4.1漢語自動(dòng)分詞與詞性標(biāo)注 19
2.4.2句法分析 . 20
2.4.3 n元語法模型 . 21
2.5進(jìn)一步閱讀 . 22
第 3章文本表示 . 23
3.1向量空間模型 . 23
3.1.1向量空間模型的基本概念 23
3.1.2特征項(xiàng)的構(gòu)造與權(quán)重 . 24
3.1.3文本長度規(guī)范化 . 25
3.1.4特征工程 . 26
3.1.5其他文本表示方法 27
3.2詞的分布式表示 29
3.2.1神經(jīng)網(wǎng)絡(luò)語言模型 29
3.2.2 C&W模型 . 32
3.2.3 CBOW與 Skip-gram模型 34
3.2.4噪聲對比估計(jì)與負(fù)采樣 . 35
3.2.5字詞混合的分布式表示方法 . 37
3.3短語的分布式表示 . 38
3.3.1基于詞袋的分布式表示 . 39
3.3.2基于自動(dòng)編碼器的分布式表示 . 39
3.4句子的分布式表示 . 42
3.4.1通用的句子表示 . 42
3.4.2任務(wù)相關(guān)的句子表示 . 45
3.5文檔的分布式表示 . 48
3.5.1通用的文檔分布式表示 . 48
3.5.2任務(wù)相關(guān)的文檔分布式表示 . 49
3.6進(jìn)一步閱讀 . 52
第 4章文本分類 . 53
4.1概述 . 53
4.2傳統(tǒng)文本表示 . 54
4.3特征選擇 55
4.3.1互信息法 . 55
4.3.2信息增益法 58
4.3.3卡方統(tǒng)計(jì)量法 . 59
4.3.4其他方法 . 60
4.4傳統(tǒng)分類算法 . 61
4.4.1樸素貝葉斯模型 . 61
4.4.2 Logistic回歸、 Softmax回歸與最大熵模型 . 63
4.4.3支持向量機(jī) 65
4.4.4集成學(xué)習(xí) . 67
4.5深度神經(jīng)網(wǎng)絡(luò)方法 . 68
4.5.1多層前饋神經(jīng)網(wǎng)絡(luò) 68
4.5.2卷積神經(jīng)網(wǎng)絡(luò) . 69
4.5.3循環(huán)神經(jīng)網(wǎng)絡(luò) . 71
4.6文本分類性能評估 . 78
4.7進(jìn)一步閱讀 . 81
第 5章文本聚類 . 83
5.1概述 . 83
5.2文本相似性度量 83
5.2.1樣本間的相似性 . 83
5.2.2簇間的相似性 . 86
目錄 IX
5.2.3樣本與簇之間的相似性 . 87
5.3文本聚類算法 . 87
5.3.1 K-均值聚類 . 87
5.3.2單遍聚類 . 91
5.3.3層次聚類 . 92
5.3.4密度聚類 . 95
5.4性能評估 97
5.4.1外部標(biāo)準(zhǔn) . 97
5.4.2內(nèi)部標(biāo)準(zhǔn) . 99
5.5進(jìn)一步閱讀 . 99
第 6章主題模型 . 101
6.1概述 . 101
6.2潛在語義分析 . 102
6.2.1奇異值分解 102
6.2.2詞項(xiàng) -文檔矩陣的奇異值分解 103
6.2.3詞項(xiàng)和文檔的概念表示及相似度計(jì)算 . 104
6.3概率潛在語義分析 . 106
6.3.1模型假設(shè) . 106
6.3.2參數(shù)學(xué)習(xí) . 107
6.4潛在狄利克雷分布 . 108
6.4.1模型假設(shè) . 108
6.4.2詞項(xiàng)和主題序列的聯(lián)合概率 . 110
6.4.3模型推斷 . 112
6.4.4新文檔的推斷 . 114
6.4.5 PLSA與 LDA的聯(lián)系與區(qū)別 . 115
6.5進(jìn)一步閱讀 . 115
第 7章情感分析與觀點(diǎn)挖掘 117
7.1概述 . 117
7.2情感分析任務(wù)類型 . 118
7.2.1按目標(biāo)形式劃分 . 118
7.2.2按分析粒度劃分 . 119
7.3文檔或句子級情感分析方法 . 121
7.3.1基于規(guī)則的無監(jiān)督情感分類 . 122
7.3.2基于傳統(tǒng)機(jī)器學(xué)習(xí)的監(jiān)督情感分類 . 123
7.3.3深度神經(jīng)網(wǎng)絡(luò)方法 126
文本數(shù)據(jù)挖掘
7.4詞語級情感分析與情感詞典構(gòu)建 . 131
7.4.1基于語義知識庫的方法 . 131
7.4.2基于語料庫的方法 131
7.4.3情感詞典性能評估 134
7.5屬性級情感分析 134
7.5.1屬性抽取 . 135
7.5.2屬性情感分類 . 138
7.5.3主題與情感的生成式建模 141
7.6情感分析中的特殊問題 143
7.6.1情感極性轉(zhuǎn)移問題 143
7.6.2領(lǐng)域適應(yīng)問題 . 145
7.7進(jìn)一步閱讀 . 147
第 8章話題檢測與跟蹤 . 149
8.1概述 . 149
8.2術(shù)語與任務(wù) . 151
8.2.1術(shù)語 151
8.2.2任務(wù) 152
8.3報(bào)道或話題的表示與相似性計(jì)算 . 154
8.4話題檢測 156
8.4.1話題在線檢測 . 157
8.4.2話題回溯檢測 . 158
8.5話題跟蹤 159
8.6評估方法 160
8.7社交媒體話題檢測與跟蹤 . 161
8.7.1社交媒體話題檢測 162
8.7.2社交媒體話題跟蹤 163
8.8突發(fā)話題檢測 . 163
8.8.1突發(fā)狀態(tài)識別 . 164
8.8.2以文檔為中心的方法：先檢測話題后評估突發(fā)性 . 167
8.8.3以特征為中心的方法：先識別突發(fā)特征后生成突發(fā)話題 . 168
8.9進(jìn)一步閱讀 . 169
第 9章信息抽取 . 171
9.1概述 . 171
9.2命名實(shí)體識別 . 173
9.2.1基于規(guī)則的命名實(shí)體識別方法 . 174
目錄 XI
9.2.2有監(jiān)督的命名實(shí)體識別方法 . 175
9.2.3半監(jiān)督的命名實(shí)體識別方法 . 181
9.2.4命名實(shí)體識別方法評價(jià) . 183
9.3共指消解 184
9.3.1基于規(guī)則的共指消解方法 185
9.3.2數(shù)據(jù)驅(qū)動(dòng)的共指消解方法 187
9.3.3共指消解評價(jià) . 190
9.4實(shí)體消歧 193
9.4.1基于聚類的實(shí)體消歧方法 193
9.4.2基于鏈接的實(shí)體消歧 . 197
9.4.3實(shí)體消歧任務(wù)的評價(jià)方法 203
9.5關(guān)系抽取 204
9.5.1基于離散特征的關(guān)系分類方法 . 206
9.5.2基于分布式特征的關(guān)系分類方法 212
9.5.3基于遠(yuǎn)程監(jiān)督的關(guān)系分類方法 . 214
9.5.4關(guān)系分類性能評價(jià) 215
9.6事件抽取 215
9.6.1事件描述模板 . 215
9.6.2事件抽取方法 . 217
9.6.3事件抽取評價(jià) . 224
9.7進(jìn)一步閱讀 . 224
第 10章文本自動(dòng)摘要 227
10.1概述 . 227
10.2抽取式自動(dòng)摘要 228
10.2.1句子重要性評估 229
10.2.2基于約束的摘要生成方法 . 237
10.3壓縮式自動(dòng)摘要方法 238
10.3.1句子壓縮方法 238
10.3.2基于句子壓縮的自動(dòng)摘要方法 242
10.4生成式自動(dòng)摘要 244
10.4.1基于信息融合的生成式摘要方法 . 244
10.4.2基于編碼 -解碼的生成式摘要方法 249
10.5基于查詢的自動(dòng)摘要 251
10.5.1基于語言模型的相關(guān)性計(jì)算方法 . 251
10.5.2基于關(guān)鍵詞語重合度的相關(guān)性計(jì)算方法 . 252
10.5.3基于圖模型的相關(guān)性計(jì)算方法 252
10.6跨語言和多語言自動(dòng)摘要方法 253
10.6.1跨語言自動(dòng)摘要 253
10.6.2多語言自動(dòng)摘要 256
10.7摘要質(zhì)量評估方法和相關(guān)評測 258
10.7.1摘要質(zhì)量評估方法 . 258
10.7.2相關(guān)評測活動(dòng) 262
10.8進(jìn)一步閱讀 . 263
參考文獻(xiàn) . 265
名詞術(shù)語索引 . 285