Python數(shù)據(jù)分析、挖掘與可視化從入門到精通

第1篇　基礎(chǔ)入門篇
第1章 從零開始：初識(shí)數(shù)據(jù)分析與挖掘
1.1 什么是數(shù)據(jù)分析 3
1.1.1　與數(shù)據(jù)相關(guān)的概念 3
1.1.2　什么是大數(shù)據(jù) 3
1.1.3　數(shù)據(jù)分析工具 4
1.1.4　數(shù)據(jù)分析技術(shù)的發(fā)展 7
1.2 什么是數(shù)據(jù)挖掘 8
1.2.1　數(shù)據(jù)挖掘相關(guān)概念 8
1.2.2　數(shù)據(jù)挖掘起源 9
1.2.3　數(shù)據(jù)挖掘要解決的問題 10
1.2.4　數(shù)據(jù)挖掘任務(wù) 10
1.3 數(shù)據(jù)分析與挖掘的應(yīng)用領(lǐng)域 11
1.4 用Python進(jìn)行數(shù)據(jù)分析與挖掘 12
1.4.1　Python語言概述 12
1.4.2　Python的優(yōu)點(diǎn) 13
1.4.3　認(rèn)識(shí)Python常用庫 14
1.5 本章小結(jié) 15
1.6 思考與練習(xí) 15
第2章 Python數(shù)據(jù)分析基礎(chǔ)
2.1 搭建Python開發(fā)環(huán)境 17
2.1.1　安裝Python 17
2.1.2　安裝PyCharm 18
2.1.3　安裝Anaconda 19
2.1.4　安裝與使用Jupyter 20
2.2 Python基礎(chǔ) 21
2.2.1　Python基礎(chǔ)語法 21
2.2.2　Python基本數(shù)據(jù)類型 24
2.2.3　Python控制流與文件操作 31
2.2.4　Python函數(shù)與模塊 39
2.2.5　Python面向?qū)ο蟪绦蛟O(shè)計(jì) 44
2.3 本章小結(jié) 52
2.4 思考與練習(xí) 52
第3章 Python數(shù)據(jù)分析相關(guān)庫應(yīng)用
3.1 NumPy 54
3.1.1　初識(shí)NumPy 54
3.1.2　創(chuàng)建數(shù)組 54
3.1.3　數(shù)組的基本操作 58
3.1.4　NumPy矩陣的基本操作 63
3.2 SciPy 66
3.2.1　初識(shí)SciPy 66
3.2.2　統(tǒng)計(jì)子模塊scipy.stats 66
3.2.3　優(yōu)化子模塊scipy.optimize 68
3.2.4　插值子模塊scipy.interpolate 69
3.3 Pandas 70
3.3.1　初識(shí)Pandas 70
3.3.2　Pandas的數(shù)據(jù)結(jié)構(gòu) 70
3.3.3　Pandas對(duì)象的基本操作 73
3.3.4　基本統(tǒng)計(jì)分析 80
3.4 Scikit-learn 82
3.4.1　初識(shí)Scikit-learn 82
3.4.2　線性回歸模型 83
3.4.3　支持向量機(jī) 85
3.4.4　聚類 87
3.5 其他常用模塊 89
3.6 本章小結(jié) 90
3.7 思考與練習(xí) 91
第2篇　數(shù)據(jù)分析篇
第4章 數(shù)據(jù)的預(yù)處理
4.1 數(shù)據(jù)獲取 94
4.1.1　爬蟲概述 94
4.1.2　爬蟲常用庫和框架 95
4.1.3　數(shù)據(jù)獲取實(shí)踐 100
4.2 文件與數(shù)據(jù)存儲(chǔ) 104
4.2.1　概述 104
4.2.2　CSV文件 105
4.2.3　JSON文件 107
4.2.4　XLSL文件 108
4.2.5　SQL數(shù)據(jù)庫文件 110
4.3 數(shù)據(jù)清洗 111
4.3.1　編碼 112
4.3.2　缺失值的檢測與處理 113
4.3.3　去除異常值 116
4.3.4　去除重復(fù)值和冗余信息 118
4.4 本章小結(jié) 120
4.5 思考與練習(xí) 120
第5章 數(shù)據(jù)的分析方法
5.1 分布分析 123
5.1.1　分布分析的概念 123
5.1.2　分布分析的實(shí)現(xiàn) 123
5.2 對(duì)比分析 128
5.2.1　對(duì)比分析的概念 128
5.2.2　對(duì)比分析的比較標(biāo)準(zhǔn) 129
5.2.3　對(duì)比分析的實(shí)現(xiàn) 131
5.3 統(tǒng)計(jì)量分析 133
5.3.1　統(tǒng)計(jì)量分析的概念 133
5.3.2　統(tǒng)計(jì)量分析的實(shí)現(xiàn) 133
5.4 相關(guān)性分析 137
5.4.1　相關(guān)性分析的概念 137
5.4.2　相關(guān)性分析的作用 138
5.4.3　相關(guān)性分析的實(shí)現(xiàn) 138
5.5 帕累托分析 141
5.5.1　帕累托分析的概念 141
5.5.2　帕累托分析的實(shí)現(xiàn) 142
5.6 正態(tài)分布分析 143
5.6.1　正態(tài)分布分析的概念 144
5.6.2　正態(tài)分布分析的實(shí)現(xiàn) 144
5.7 本章小結(jié) 150
5.8 思考與練習(xí) 150
第6章 數(shù)據(jù)可視化工具的應(yīng)用
6.1 數(shù)據(jù)可視化工具——Matplotlib 153
6.1.1　安裝Matplotlib模塊 153
6.1.2　繪制基礎(chǔ)圖形 154
6.1.3　圖形的設(shè)置 163
6.1.4　繪制多個(gè)子圖 168
6.2 數(shù)據(jù)可視化工具——Seaborn 169
6.2.1　Seaborn庫簡介 170
6.2.2　Seaborn常用統(tǒng)計(jì)圖 170
6.3 本章小結(jié) 173
6.4 思考與練習(xí) 173
第3篇　數(shù)據(jù)挖掘篇
第7章 數(shù)據(jù)挖掘之線性回歸
7.1 線性回歸概述 177
7.2 一元線性回歸 177
7.2.1　一元線性回歸原理分析 178
7.2.2　一元線性回歸代碼實(shí)現(xiàn) 178
7.2.3　線性回歸方法總結(jié) 183
7.3 多元線性回歸 183
7.3.1　多元線性回歸原理分析 183
7.3.2　多元線性回歸代碼實(shí)現(xiàn) 184
7.4 線性回歸模型的評(píng)估與檢驗(yàn) 187
7.4.1　擬合優(yōu)度檢驗(yàn)（R2評(píng)估） 187
7.4.2　顯著性檢驗(yàn)（F檢驗(yàn)） 188
7.4.3　回歸參數(shù)顯著性檢驗(yàn)（T檢驗(yàn)） 194
7.5 本章小結(jié) 196
7.6 思考與練習(xí) 196
第8章 數(shù)據(jù)挖掘之分類模型
8.1 邏輯回歸模型 199
8.1.1　邏輯回歸模型的原理 199
8.1.2　分類模型評(píng)估 200
8.1.3　邏輯回歸模型實(shí)現(xiàn)二分類 206
8.2 決策樹和隨機(jī)森林算法 210
8.2.1　決策樹的工作原理 210
8.2.2　特征選擇 211
8.2.3　決策樹的生成 213
8.2.4　決策樹的剪枝 217
8.2.5　隨機(jī)森林算法 223
8.3 KNN算法 225
8.3.1　KNN算法的思想 225
8.3.2　相似性的度量方法 225
8.3.3　KNN算法的性能 226
8.3.4　KNN算法的實(shí)現(xiàn) 227
8.4 本章小結(jié) 230
8.5 思考與練習(xí) 231
第9章 數(shù)據(jù)挖掘之關(guān)聯(lián)分析
9.1 關(guān)聯(lián)分析概述 235
9.1.1　關(guān)聯(lián)分析的基本概念 235
9.1.2　常見的關(guān)聯(lián)分析算法 236
9.2 Apriori關(guān)聯(lián)分析算法 237
9.2.1　Apriori算法原理 237
9.2.2　Apriori算法挖掘頻繁項(xiàng)集 238
9.2.3　從頻繁項(xiàng)集中挖掘關(guān)聯(lián)規(guī)則 238
9.2.4　基于Python實(shí)現(xiàn)Apriori算法 239
9.2.5　Apriori算法總結(jié) 243
9.3 FP-growth關(guān)聯(lián)分析算法 244
9.3.1　構(gòu)建FP樹 244
9.3.2　從一棵FP樹中挖掘頻繁項(xiàng)集 246
9.3.3　FP-growth算法實(shí)例 248
9.3.4　FP-growth算法總結(jié) 252
9.4 本章小結(jié) 253
9.5 思考與練習(xí) 253
第10章 數(shù)據(jù)挖掘之聚類分析
10.1 聚類分析概述 255
10.1.1　聚類分析的概念 255
10.1.2　聚類分析的方法 255
10.1.3　聚類結(jié)果性能評(píng)估指標(biāo) 256
10.2 質(zhì)心聚類——K-Means算法 257
10.2.1　K-Means算法的原理 257
10.2.2　Python實(shí)現(xiàn)K-Means算法 260
10.3 密度聚類——DBSCAN算法 263
10.3.1　DBSCAN算法的原理 263
10.3.2　Python實(shí)現(xiàn)DBSCAN算法 265
10.4 層次聚類——AGNES算法 267
10.4.1　AGNES算法的原理 268
10.4.2　Python實(shí)現(xiàn)AGNES算法 268
10.5 本章小結(jié) 270
10.6 思考與練習(xí) 270
第4篇　實(shí)戰(zhàn)應(yīng)用篇
第11章 實(shí)戰(zhàn)案例：房價(jià)評(píng)估數(shù)據(jù)分析與挖掘
11.1 加載數(shù)據(jù)集 274
11.2 數(shù)據(jù)分析 274
11.3 數(shù)據(jù)可視化 275
11.4 數(shù)據(jù)預(yù)處理 277
11.5 拆分?jǐn)?shù)據(jù)集 279
11.6 建立線性回歸模型 282
11.7 建立決策樹模型 291
11.8 對(duì)比分析構(gòu)建的線性回歸和決策樹模型 294
11.9 本章小結(jié) 296
第12章 實(shí)戰(zhàn)案例：電信客戶流失數(shù)據(jù)分析與挖掘
12.1 案例背景 298
12.2 加載數(shù)據(jù) 298
12.3 數(shù)據(jù)準(zhǔn)備 300
12.4 數(shù)據(jù)清洗 301
12.4.1　缺失值處理 301
12.4.2　重復(fù)值處理 301
12.4.3　數(shù)值類型轉(zhuǎn)換 301
12.5 數(shù)據(jù)處理 304
12.6 數(shù)據(jù)可視化 305
12.7 特征工程 313
12.8 數(shù)據(jù)建模 318
12.9 訓(xùn)練模型 318
12.10 模型的評(píng)估 319
12.11 本章小結(jié) 320