白帽子講Web掃描

第1章 掃描器基礎(chǔ) 1
1．1 什么是Web掃描器 1
1．2 掃描器的重要性 2
1．3 掃描器的類型 3
1．4 常見的掃描器（掃描器的示例） 4
1．5 掃描器評(píng)測(cè) 8
1．6 漏洞測(cè)試平臺(tái) 9
1．7 掃描環(huán)境部署 9
1．7．1 測(cè)試環(huán)境 9
1．7．2 開發(fā)環(huán)境 12
第2章 Web爬蟲基礎(chǔ) 19
2．1 什么是Web爬蟲 19
2．2 瀏覽器手工爬取過程 19
2．3 URL 21
2．4 超級(jí)鏈接 22
2．5 HTTP協(xié)議（Request/Response） 23
2．5．1 HTTP請(qǐng)求 23
2．5．2 HTTP響應(yīng) 24
2．6 HTTP認(rèn)證 25
2．6．1 Basic認(rèn)證（基本式） 26
2．6．2 Digest認(rèn)證（摘要式） 27
2．7 HEAD方法 29
2．8 Cookie機(jī)制 29
2．9 DNS本地緩存 31
2．9．1 瀏覽器緩存 31
2．9．2 系統(tǒng)緩存 32
2．10 頁面解析 33
2．11 爬蟲策略 34
2．11．1 廣度優(yōu)先策略 34
2．11．2 深度優(yōu)先策略 34
2．11．3 最佳優(yōu)先策略（聚焦爬蟲策略） 35
2．12 頁面跳轉(zhuǎn) 35
2．12．1 客戶端跳轉(zhuǎn) 36
2．12．2 服務(wù)端跳轉(zhuǎn) 37
2．13 識(shí)別404錯(cuò)誤頁面 38
2．14 URL重復(fù)/URL相似/URL包含 39
2．14．1 URL重復(fù) 39
2．14．2 URL相似 39
2．14．3 URL包含 39
2．15 區(qū)分URL的意義 40
2．16 URL去重 40
2．16．1 布隆過濾器（Bloom Filter） 41
2．16．2 哈希表去重 41
2．17 頁面相似算法 42
2．17．1 編輯距離（Levenshtein Distance） 42
2．17．2 Simhash 43
2．18 斷連重試 43
2．19 動(dòng)態(tài)鏈接與靜態(tài)鏈接 43
第3章 Web爬蟲進(jìn)階 44
3．1 Web爬蟲的工作原理 44
3．2 實(shí)現(xiàn)URL封裝 45
3．3 實(shí)現(xiàn)HTTP請(qǐng)求和響應(yīng) 47
3．4 實(shí)現(xiàn)頁面解析 58
3．4．1 HTML解析庫 58
3．4．2 URL提取 59
3．4．3 自動(dòng)填表 66
3．5 URL去重去似 67
3．5．1 URL去重 67
3．5．2 URL去似去含 73
3．6 實(shí)現(xiàn)404頁面識(shí)別 75
3．7 實(shí)現(xiàn)斷連重試 77
3．8 實(shí)現(xiàn)Web爬蟲 78
3．9 實(shí)現(xiàn)Web 2．0爬蟲 83
第4章 應(yīng)用指紋識(shí)別 94
4．1 應(yīng)用指紋種類及識(shí)別 94
4．2 應(yīng)用指紋識(shí)別的價(jià)值 95
4．3 應(yīng)用指紋識(shí)別技術(shù) 96
第5章 安全漏洞審計(jì) 102
5．1 安全漏洞審計(jì)三部曲 102
5．2 通用型漏洞審計(jì) 103
5．2．1 SQL注入漏洞 103
5．2．2 XSS跨站漏洞 111
5．2．3 命令執(zhí)行注入 120
5．2．4 文件包含漏洞 129
5．2．5 敏感文件泄露 136
5．3 Nday/0day漏洞審計(jì) 146
5．3．1 Discuz!7．2 faq．php SQL注入漏洞 147
5．3．2 Dedecms get webshell漏洞 150
5．3．3 Heartbleed漏洞（CVE-2014-0160） 153
5．3．4 PHP multipart/form-data遠(yuǎn)程DDoS（CVE-2015-4024） 157
第6章 掃描器進(jìn)階 160
6．1 掃描流程 160
6．2 軟件設(shè)計(jì) 163
6．3 功能模塊 164
6．4 軟件架構(gòu) 165
6．5 數(shù)據(jù)結(jié)構(gòu) 166
6．6 功能實(shí)現(xiàn) 167
6．6．1 IP/端口掃描和檢測(cè)（端口模塊） 167
6．6．2 端口破解模塊 170
6．6．3 子域名信息枚舉 172
6．6．4 文件、目錄暴力枚舉探測(cè)（不可視URL爬取） 175
6．6．5 掃描引擎 176
6．7 掃描報(bào)告 180
6．8 掃描測(cè)試 182
第7章 云掃描 185
7．1 什么是云掃描 185
7．2 云掃描架構(gòu) 185
7．3 云掃描實(shí)踐 187
7．3．1 Celery框架 188
7．3．2 掃描器Worker部署 189
7．3．3 云端調(diào)度 193
7．4 云掃描服務(wù) 199
第8章 企業(yè)安全掃描實(shí)踐 202
8．1 企業(yè)為什么需要掃描 202
8．2 企業(yè)掃描的應(yīng)用場(chǎng)景 202
8．2．1 基于網(wǎng)絡(luò)流量的掃描 202
8．2．2 基于訪問日志的掃描 208
8．2．3 掃描的應(yīng)用場(chǎng)景比較 217
第9章 關(guān)于防御 218
9．1 爬蟲反制 218
9．1．1 基于IP的反爬蟲 218
9．1．2 基于爬行的反爬蟲 221
9．2 審計(jì)反制 223
9．2．1 云WAF 223
9．2．2 云WAF的價(jià)值 223
9．3 防御策略 225
附錄A 227
附錄B 229