日志管理與分析（第2版）

目 錄
第1章 走近日志 001
1.1 什么是日志 002
1.1.1 日志的概念 002
1.1.2 日志生態(tài)系統(tǒng) 002
1.1.3 日志的作用 003
1.2 日志數(shù)據(jù) 004
1.2.1 日志環(huán)境與日志類型 004
1.2.2 日志語法 005
1.2.3 日志管理規(guī)范 007
1.2.4 日志使用誤區(qū) 008
1.3 云日志 008
1.4 日志使用場景 009
1.4.1 故障排查 009
1.4.2 運(yùn)維監(jiān)控 010
1.4.3 安全審計(jì) 010
1.4.4 業(yè)務(wù)分析 011
1.4.5 物聯(lián)網(wǎng) 013
1.5 日志未來展望 013
第2章 日志管理 015
2.1 日志管理相關(guān)法律 016
2.2 日志管理要求 016
2.3 日志管理中存在的問題 017
2.4 日志管理的好處 018
2.5 日志歸檔 021
第3章 日志管理與分析系統(tǒng) 022
3.1 日志管理與分析系統(tǒng)的基本功能 023
3.1.1 日志采集 023
3.1.2 數(shù)據(jù)清洗 023
3.1.3 日志存儲(chǔ) 024
3.1.4 日志告警 024
3.1.5 日志分析 024
3.1.6 日志可視化 025
3.1.7 日志智能分析 025
3.1.8 用戶與權(quán)限管理 025
3.1.9 系統(tǒng)管理 025
3.2 日志管理與分析系統(tǒng)技術(shù)選型 026
3.2.1 日志分析的基本工具 026
3.2.2 開源+自研 028
3.2.3 商業(yè)產(chǎn)品 028
3.3 小結(jié) 031
第4章 日志采集 032
4.1 日志采集方式 033
4.1.1 Agent采集 033
4.1.2 Syslog 034
4.1.3 抓包 035
4.1.4 接口采集 035
4.1.5 業(yè)務(wù)埋點(diǎn)采集 035
4.1.6 Docker日志采集 036
4.2 日志采集常見問題 037
4.2.1 事件合并 037
4.2.2 高并發(fā)日志采集 038
4.2.3 深層次目錄采集 038
4.2.4 大量小文件日志采集 039
4.2.5 其他日志采集問題 039
4.3 小結(jié) 040
第5章 字段解析 041
5.1 字段的概念 042
5.2 通用字段 042
5.2.1 時(shí)間戳 043
5.2.2 日志來源 043
5.2.3 執(zhí)行結(jié)果 043
5.2.4 日志優(yōu)先級(jí) 043
5.3 字段抽取 044
5.3.1 日志語法 044
5.3.2 字段抽取方法 045
5.3.3 常用日志類型的字段抽取 047
5.4 schema on write與schema on read 048
5.5 字段解析常見問題 049
5.5.1 字段存在別名 049
5.5.2 多個(gè)時(shí)間戳 049
5.5.3 特殊字符 049
5.5.4 封裝成標(biāo)準(zhǔn)日志 050
5.5.5 類型轉(zhuǎn)換 050
5.5.6 敏感信息替換 050
5.5.7 HEX轉(zhuǎn)換 050
5.6 小結(jié) 051
第6章 日志存儲(chǔ) 052
6.1 日志存儲(chǔ)形式 053
6.1.1 普通文本 053
6.1.2 二進(jìn)制文本 054
6.1.3 壓縮文本 056
6.1.4 加密文本 057
6.2 日志存儲(chǔ)方式 057
6.2.1 數(shù)據(jù)庫存儲(chǔ) 057
6.2.2 分布式存儲(chǔ) 060
6.2.3 文件檢索系統(tǒng)存儲(chǔ) 061
6.2.4 云存儲(chǔ) 063
6.3 日志物理存儲(chǔ) 064
6.4 日志留存策略 064
6.4.1 空間策略維度 065
6.4.2 時(shí)間策略維度 065
6.4.3 起始位移策略維度 065
6.5 日志搜索引擎 065
6.5.1 日志搜索概述 066
6.5.2 實(shí)時(shí)搜索引擎 066
6.6 小結(jié) 067
第7章 日志分析 068
7.1 日志分析現(xiàn)狀 069
7.1.1 對日志的必要性認(rèn)識(shí)不足 069
7.1.2 缺乏日志分析專業(yè)人才 069
7.1.3 日志體量大且分散，問題定位難 069
7.1.4 數(shù)據(jù)外泄 069
7.1.5 忽略日志本身的價(jià)值 070
7.2 日志分析解決方案 070
7.2.1 數(shù)據(jù)集中管理 070
7.2.2 日志分析維度 071
7.3 常用分析方法 072
7.3.1 基線 072
7.3.2 聚類 072
7.3.3 閾值 073
7.3.4 異常檢測 073
7.3.5 機(jī)器學(xué)習(xí) 073
7.4 日志分析案例 074
7.4.1 Linux系統(tǒng)日志分析案例 074
7.4.2 運(yùn)營分析案例 075
7.4.3 交易監(jiān)控案例 077
7.4.4 VPN異常用戶行為監(jiān)控案例 077
7.4.5 高效運(yùn)維案例 078
7.5 SPL簡介 079
7.6 小結(jié) 081
第8章 SPL 082
8.1 SPL簡介 083
8.2 SPL學(xué)習(xí)經(jīng)驗(yàn) 083
8.3 小試牛刀 084
8.3.1 基本查詢與統(tǒng)計(jì) 088
8.3.2 統(tǒng)計(jì)命令 089
8.3.3 分時(shí)統(tǒng)計(jì) 091
8.3.4 重命名 092
8.4 圖表的使用 093
8.4.1 可視化：體現(xiàn)數(shù)據(jù)趨勢的圖表 093
8.4.2 快速獲取排名 094
8.5 數(shù)據(jù)整理 095
8.5.1 賦值與計(jì)算 095
8.5.2 只留下需要的數(shù)據(jù) 101
8.5.3 過濾項(xiàng) 101
8.5.4 利用表格 102
8.5.5 排序突出重點(diǎn) 104
8.5.6 去冗余 105
8.5.7 限量顯示 106
8.5.8 實(shí)現(xiàn)跨行計(jì)算 107
8.5.9 只留下想要的字段 108
8.6 關(guān)聯(lián)分析 109
8.6.1 數(shù)據(jù)關(guān)聯(lián)與子查詢 109
8.6.2 關(guān)聯(lián) 112
8.6.3 數(shù)據(jù)對比 113
8.7 小結(jié) 115
第9章 日志告警 116
9.1 概述 117
9.2 監(jiān)控設(shè)置 117
9.3 告警監(jiān)控分類 120
9.3.1 命中數(shù)統(tǒng)計(jì)類型的告警監(jiān)控 121
9.3.2 字段統(tǒng)計(jì)類型的告警監(jiān)控 121
9.3.3 連續(xù)統(tǒng)計(jì)類型的告警監(jiān)控 122
9.3.4 基線對比類型的告警監(jiān)控 122
9.3.5 自定義統(tǒng)計(jì)類型的告警監(jiān)控 123
9.3.6 智能告警 124
9.4 告警方式 124
9.4.1 告警發(fā)送方式 124
9.4.2 告警抑制和恢復(fù) 126
9.4.3 告警的插件化管理 127
9.5 小結(jié) 127
第10章 日志可視化 128
10.1 概述 129
10.2 可視化分析 129
10.2.1 初識(shí)可視化 129
10.2.2 圖表與數(shù)據(jù) 130
10.3 圖表詳解 131
10.3.1 序列類圖表 132
10.3.2 維度類圖表 136
10.3.3 關(guān)系類圖表 140
10.3.4 復(fù)合類圖表 143
10.3.5 地圖類圖表 145
10.3.6 其他圖表 146
10.4 日志可視化案例 151
10.4.1 MySQL性能日志可視化 151
10.4.2 金融業(yè)務(wù)日志可視化 155
10.5 小結(jié) 158
第11章 日志平臺(tái)兼容性與擴(kuò)展性 159
11.1 RESTful API 160
11.1.1 RESTful API概述 160
11.1.2 常見日志管理API類型 161
11.1.3 API設(shè)計(jì)案例 162
11.2 日志App 163
11.2.1 日志App概述 163
11.2.2 日志App的作用和特點(diǎn) 163
11.2.3 常見日志App類型 164
11.2.4 典型日志App案例 167
11.2.5 日志App的發(fā)展 171
第12章 運(yùn)維數(shù)據(jù)治理 172
12.1 運(yùn)維數(shù)據(jù)治理背景 173
12.2 運(yùn)維數(shù)據(jù)治理方法 175
12.2.1 元數(shù)據(jù)管理 176
12.2.2 主數(shù)據(jù)管理 176
12.2.3 數(shù)據(jù)標(biāo)準(zhǔn)管理 176
12.2.4 數(shù)據(jù)質(zhì)量管理 177
12.2.5 數(shù)據(jù)模型及服務(wù) 177
12.2.6 數(shù)據(jù)安全 177
12.2.7 數(shù)據(jù)生命周期 177
12.3 運(yùn)維數(shù)據(jù)治理工具 178
12.3.1 工具定位 178
12.3.2 整體架構(gòu) 178
12.3.3 數(shù)據(jù)接入管理 179
12.3.4 數(shù)據(jù)標(biāo)準(zhǔn)化管理 179
12.3.5 數(shù)據(jù)存儲(chǔ)管理 182
12.3.6 數(shù)據(jù)應(yīng)用與服務(wù) 184
第13章 智能運(yùn)維 186
13.1 概述 187
13.2 異常檢測 187
13.2.1 單指標(biāo)異常檢測 188
13.2.2 多指標(biāo)異常檢測 193
13.3 根因分析 195
13.3.1 相關(guān)性分析 195
13.3.2 事件關(guān)聯(lián)關(guān)系挖掘 197
13.4 日志分析 197
13.4.1 日志預(yù)處理 198
13.4.2 日志模式識(shí)別 199
13.4.3 日志異常檢測 199
13.5 告警收斂 200
13.6 趨勢預(yù)測 202
13.7 故障預(yù)測 203
13.7.1 故障預(yù)測的方法 203
13.7.2 故障預(yù)測的落地與評(píng)估 204
13.8 智能運(yùn)維對接自動(dòng)化運(yùn)維 205
13.9 智能運(yùn)維面臨的挑戰(zhàn) 206
第14章 可觀測性 207
14.1 概述 208
14.1.1 可觀測性的由來 208
14.1.2 可觀測性與監(jiān)控 208
14.1.3 可觀測性的三大支柱 209
14.2 實(shí)現(xiàn)可觀測性的方法 210
14.2.1 數(shù)據(jù)模型 211
14.2.2 數(shù)據(jù)來源 211
14.3 可觀測性應(yīng)用場景 215
14.3.1 運(yùn)維監(jiān)控 215
14.3.2 鏈路追蹤 217
14.3.3 指標(biāo)探索 219
14.3.4 故障定位 220
14.4 小結(jié) 221
第15章 SIEM 222
15.1 概述 223
15.2 信息安全建設(shè)中存在的問題 223
15.3 日志分析在SIEM中的作用 224
15.4 日志分析與安全設(shè)備分析的異同 224
15.5 SIEM功能架構(gòu) 225
15.6 SIEM適用場景 226
15.7 用戶行為分析 234
15.8 流量分析 240
15.8.1 流量協(xié)議介紹 240
15.8.2 流量分析功能 241
15.8.3 從WebLogic RCE漏洞到挖礦 241
15.9 小結(jié) 249
第16章 UEBA 250
16.1 深入理解用戶行為 251
16.1.1 背景介紹 251
16.1.2 數(shù)據(jù)源 252
16.1.3 標(biāo)簽畫像 254
16.2 行為分析模型 255
16.2.1 分析方法 255
16.2.2 機(jī)器學(xué)習(xí)模型 257
16.3 應(yīng)用場景 261
16.3.1 數(shù)據(jù)泄露 261
16.3.2 離職分析 261
16.3.3 合規(guī)分析 261
16.3.4 失陷賬戶 262
16.4 小結(jié) 265
第17章 安全編排、自動(dòng)化與響應(yīng) 266
17.1 SOAR簡介 267
17.2 SOAR架構(gòu)與功能 268
17.2.1 技術(shù)架構(gòu) 268
17.2.2 劇本與組件的定義 269
17.2.3 劇本與組件的使用 269
17.3 SOAR與SIEM的關(guān)系 271
17.3.1 SOAR與SIEM關(guān)聯(lián)使用 273
17.3.2 SOAR與SIEM信息同步 274
17.4 應(yīng)用場景 276
17.4.1 自動(dòng)化封禁場景 276
17.4.2 DNS網(wǎng)絡(luò)取證分析場景 277
17.5 小結(jié) 279
第18章 行業(yè)解決方案 280
18.1 概述 281
18.2 銀行行業(yè)解決方案 281
18.2.1 行業(yè)背景 281
18.2.2 行業(yè)當(dāng)前挑戰(zhàn) 281
18.2.3 整體建設(shè)思路 282
18.2.4 項(xiàng)目整體收益 286
18.3 證券行業(yè)解決方案 286
18.3.1 行業(yè)背景 286
18.3.2 行業(yè)當(dāng)前挑戰(zhàn) 286
18.3.3 整體建設(shè)思路 287
18.3.4 項(xiàng)目整體收益 289
18.4 保險(xiǎn)行業(yè)解決方案 290
18.4.1 行業(yè)背景 290
18.4.2 行業(yè)當(dāng)前挑