Python爬蟲與反爬蟲開發(fā)從入門到精通

第1篇 基礎(chǔ)篇
第1章 爬蟲與反爬蟲開發(fā)環(huán)境搭建　/2
1.1　Python 3環(huán)境搭建　/3
1.2　PyCharm的安裝與基本使用　/7
1.3　Tesseract-OCR　/16
1.4　mitmproxy　/18
1.5　JDK 1.8　/22
本章小結(jié)　/24
第2章　爬蟲與反爬蟲通用基礎(chǔ)知識　/25
2.1　網(wǎng)頁基礎(chǔ)　/26
2.2　網(wǎng)絡(luò)傳輸協(xié)議　/28
2.3　Session和Cookies　/31
2.4　Nginx服務(wù)器　/34
2.5　代理IP　/36
2.6　HTTP接口概念　/40
2.7　手問答　/40
本章小結(jié)　/41
第3章　Python編程基礎(chǔ)　/42
3.1　Python的基礎(chǔ)語法　/43
3.2　基本數(shù)據(jù)類型　/49
3.3　流程控制　/55
3.4　函數(shù)　/60
3.5　文件操作　/61
3.6　面向?qū)ο蟆?64
3.7　多線程　/68
3.8　手實(shí)訓(xùn)　/70
3.9　手問答　/71
本章小結(jié)　/72
第2篇　爬蟲篇
第4章　網(wǎng)絡(luò)爬蟲快速入門　/74
4.1　爬蟲的基本結(jié)構(gòu)及工作流程　/75
4.2　urllib網(wǎng)絡(luò)請求庫　/75
4.3　requests網(wǎng)絡(luò)請求庫　/82
4.4　urllib3網(wǎng)絡(luò)請求庫　/86
4.5　Postman接口測試工具　/90
4.6　手實(shí)訓(xùn)　/95
4.7　手問答　/95
本章小結(jié)　/96
第5章　XPath匹配網(wǎng)頁數(shù)據(jù)　/97
5.1　安裝XPath　/98
5.2　XPath的基礎(chǔ)語法　/98
5.3　在Python中使用XPath匹配數(shù)據(jù)　/99
5.4　XPath表達(dá)式技巧　/103
5.5　擴(kuò)展補(bǔ)充知識點(diǎn)　/105
5.6　手實(shí)訓(xùn)　/107
5.7　手問答　/109
本章小結(jié)　/109
第6章　re正則匹配數(shù)據(jù)　/110
6.1　re.compile函數(shù)　/111
6.2　re.match函數(shù)　/111
6.3　re.search函數(shù)　/113
6.4　re.match與re.search的區(qū)別　/114
6.5　檢索和替換　/114
6.6　findall函數(shù)　/115
6.7　常見正則表達(dá)式寫法　/116
6.8　手實(shí)訓(xùn)　/117
6.9　手問答　/119
本章小結(jié)　/120
第7章　WebSocket數(shù)據(jù)抓取　/121
7.1　WebSocket通信原理　/122
7.2　使用aioWebSocket獲取數(shù)據(jù)　/122
7.3　手實(shí)訓(xùn)　/129
7.4　手問答　/131
本章小結(jié)　/131
第8章　Scrapy爬蟲框架應(yīng)用與開發(fā)　/132
8.1　Scrapy框架的基本架構(gòu)　/133
8.2　安裝Scrapy　/134
8.3　創(chuàng)建項(xiàng)目　/135
8.4　定義Item　/135
8.5　編寫個Spider　/136
8.6　運(yùn)行爬蟲　/137
8.7　提取Item　/137
8.8　在Shell中嘗試Selector選擇器　/138
8.9　提取數(shù)據(jù)　/139
8.10　使用Item　/140
8.11　Item Pipeline　/141
8.12　將Item寫入JSON文件　/142
8.13　手實(shí)訓(xùn)　/143
8.14　手問答　/146
本章小結(jié)　/146
第3篇　反爬蟲篇
第9章　爬蟲與反爬蟲　/148
9.1　爬蟲知識的回顧與總結(jié)　/149
9.2　反爬蟲的概念與定義　/154
本章小結(jié)　/155
第10章　反爬—Header信息校驗(yàn)　/156
10.1　User-Agent　/157
10.2　Cookie校驗(yàn)　/162
10.3　Referer校驗(yàn)　/165
10.4　簽名校驗(yàn)　/166
10.5　手實(shí)訓(xùn)　/170
10.6　手問答　/176
本章小結(jié)　/176
第11章　反爬—IP限制　/177
11.1　代理設(shè)置　/178
11.2　代理池構(gòu)建　/179
11.3　搭建自己的代理服務(wù)器　/183
11.4　使用Nginx實(shí)現(xiàn)封禁IP　/194
11.5　手問答　/195
本章小結(jié)　/196
第12章　反爬—動態(tài)渲染頁面　/197
12.1　動態(tài)渲染案例介紹　/198
12.2　常見應(yīng)對動態(tài)渲染頁面的解決辦法　/201
12.3　使用Selenium爬取動態(tài)渲染頁面　/201
12.4　獲取瀏覽器Network請求和響應(yīng)　/218
12.5　手實(shí)訓(xùn)　/222
12.6　手問答　/224
本章小結(jié)　/225
第13章　反爬—文本混淆　/226
13.1　圖片偽裝反爬　/227
13.2　CSS偏移反爬　/231
13.3　編碼映射反爬　/238
13.4　字體反爬　/242
13.5　手實(shí)訓(xùn)　/248
13.6　手問答　/252
本章小結(jié)　/252
第14章　反爬—特征識別　/253
14.1　瀏覽器指紋　/254
14.2　WebDriver驅(qū)動識別　/255
14.3　使用mitmproxy　/262
14.4　網(wǎng)頁精靈　/269
14.5　手實(shí)訓(xùn)　/275
14.6　手問答　/277
本章小結(jié)　/277
第15章　反爬—驗(yàn)證碼識別　/278
15.1　普通圖形驗(yàn)證碼　/279
15.2　滑動驗(yàn)證碼　/281
15.3　滑動拼圖驗(yàn)證碼　/285
15.4　手實(shí)訓(xùn)　/292
15.5　手問答　/294
本章小結(jié)　/295
第16章　反爬—APP數(shù)據(jù)抓取　/296
16.1　APP的抓包分析　/297
16.2　Appium自動化　/310
16.3　APK安裝包反編譯　/324
16.4　APK反編譯知識補(bǔ)充　/327
16.5　手實(shí)訓(xùn)　/327
16.6　手問答　/332
本章小結(jié)　/332
第4篇　實(shí)戰(zhàn)篇
第17章　項(xiàng)目實(shí)戰(zhàn)　/334
17.1　土地市場網(wǎng)——地塊公示　/335
17.2　紐約工商數(shù)據(jù)采集　/348
17.3　攜程旅行火車票票價數(shù)據(jù)采集　/356
17.4　智聯(lián)招聘數(shù)據(jù)采集　/361
附錄A　爬蟲法律法規(guī)　/368
附錄B　實(shí)驗(yàn)環(huán)境的搭建方法及說明　/371
附錄C　Python常見面試題精選　/375