金融數據建模應用（中級）

第 1 章 金融大數據概述 　　　　　　　1
1.1 認識金融大數據 　　　　　　1
1.1.1 大數據的定義 　　　　　　　　1
1.1.2 金融大數據的定義 　　　　　　1
1.1.3 金融大數據的分類 　　　　　　2
1.1.4 金融大數據的特點 　　　　　　3
1.1.5 金融大數據的作用 　　　　　　4
1.1.6 金融大數據的分析方法 　　　　　　　5
1.2 金融大數據應用 　　　　　　6
1.2.1 金融大數據在銀行業(yè)的應用 　　　　　　6
1.2.2 金融大數據在證券業(yè)的應用 　　　　　　8
1.2.3 金融大數據在保險業(yè)的應用 　　　　　　8
1.3 金融大數據應用技術架構 　　　　　　10
1.3.1 數據產生層 　　　　　　　　10
1.3.2 數據交換層 　　　　　　　　11
1.3.3 流程調度層 　　　　　　　　13
1.3.4 數據計算層 　　　　　　　　13
1.3.5 數據應用層 　　　　　　　　17
1.3.6 數據訪問層 　　　　　　　　18
1.3.7 數據管控層 　　　　　　　　19
1.4 金融大數據應用的關鍵技術 　　　　　20
1.4.1 大數據采集技術 　　　　　　　20
1.4.2 大數據預處理技術 　　　　　　20
1.4.3 大數據存儲與管理技術 　　　　　　　20
1.4.4 大數據分析與挖掘技術 　　　　　　　21
1.4.5 大數據展現與應用技術 　　　　　　　21
本章習題 　　　　　　　21
第 2 章 金融數據分析基礎 　　　　　　23
2.1 認識金融數據分析 　　　　　　　　23
2.1.1 金融數據分析的目的 　　　　　　　　23
2.1.2 金融數據分析的意義 　　　　　　　　24
2.1.3 金融數據分析的基本思路 　　　　　　25
2.1.4 金融數據分析常用術語 　　　　　　　28
2.2 金融數據分析流程及應用場景 　　　　　　　37
2.2.1 金融數據的獲取 　　　　　　　37
2.2.2 金融數據的預處理 　　　　　　38
2.2.3 金融數據的清洗 　　　　　　　39
2.2.4 金融數據的分析 　　　　　　　39
2.2.5 金融數據的展示 　　　　　　　40
2.2.6 金融數據分析的應用場景 　　　　　　40
2.3 操作誤區(qū) 　　　　　　　　41
2.3.1 偏離分析目的 　　　　　　　42
2.3.2 分析報告缺少內涵 　　　　　　42
本章習題 　　　　　　　42
第 3 章 金融數據建模及常用算法 　　　　　　45
3.1 金融數據建模基礎 　　　　　　　　45
3.1.1 數據模型 　　　　　　　　　45
3.1.2 數據建模 　　　　　　　　　47
3.1.3 金融數據模型和金融數據建模規(guī)范 　　　　　　48
3.1.4 金融數據建模的流程 　　　　　　　　51
3.2 金融數據業(yè)務常用算法 　　　　　　55
3.2.1 相關分析 　　　　　　　　　55
3.2.2 回歸分析 　　　　　　　　　59
3.2.3 決策樹 　　　　　　　67
3.2.4 聚類分析 　　　　　　　　　71
3.2.5 關聯規(guī)則分析 　　　　　　　78
本章習題 　　　　　　　81
第 4 章 金融數據自主建模高級應用 　　　　　82
4.1 自主建模的基本概念 　　　　　　　82
4.1.1 數據模型 　　　　　　　　　82
4.1.2 數據表 　　　　　　　86
4.1.3 算子 　　　　　　　　86
4.2 大數據建模分析平臺簡介 　　　　　　86
4.2.1 大數據建模分析平臺的功能模塊 　　　　　　87
4.2.2 數據手動上傳 　　　　　　　96
4.3 模型創(chuàng)建與管理 　　　　　　　　100
4.3.1 模型創(chuàng)建 　　　　　　　　　100
4.3.2 模型管理 　　　　　　　　　102
4.4 單表級數據處理通用算子 　　　　　108
4.4.1 添加字段算子 　　　　　　　108
4.4.2 JSON解析算子 　　　　　　　109
4.4.3 算術運算算子 　　　　　　　111
4.4.4 日期處理算子 　　　　　　　113
4.4.5 字符串處理算子 　　　　　　116
4.4.6 空值率算子 　　　　　　　　120
4.4.7 SQL算子 　　　　　　　　　121
4.5 多表級數據建模算子 　　　　　　　123
4.5.1 左連接算子 　　　　　　　　123
4.5.2 差集算子 　　　　　　　　　125
4.5.3 全關聯算子 　　　　　　　　126
4.6 金融數據模型綜合應用 　　　　　　128
4.6.1 數據準備 　　　　　　　　　128
4.6.2 場景分析 　　　　　　　　　128
4.6.3 模型實現 　　　　　　　　　133
本章習題 　　　　　　　133
第 5 章 SQL在金融數據建模中的應用 　　　　135
5.1 SQL使用場景及技巧 　　　　　　　135
5.2 SQL查詢基本語法及函數應用 　　　　　　139
5.2.1 SQL查詢基本語法 　　　　　　　　139
5.2.2 數學運算函數應用 　　　　　　　　142
5.2.3 日期函數應用 　　　　　　　146
5.2.4 條件函數應用 　　　　　　　154
5.2.5 字符串函數應用 　　　　　　157
5.2.6 數值計算函數應用 　　　　　　　　162
5.2.7 聚合函數應用 　　　　　　　163
5.3 函數應用注意事項 　　　　　　　164
本章習題 　　　　　　　164
第 6 章 金融數據可視化分析高級應用 　　　　166
6.1 金融數據可視化分析概述 　　　　　166
6.1.1 金融數據可視化分析的定義 　　　　　166
6.1.2 金融數據可視化分析的應用場景 　　　　　　167
6.1.3 金融數據可視化分析的主要功能 　　　　　　167
6.2 可視化圖表類型介紹 　　　　　　　168
6.2.1 數據準備及上傳 　　　　　　168
6.2.2 堆積圖及百分比堆積圖 　　　　　　　169
6.2.3 瀑布圖 　　　　　　　173
6.2.4 詞云圖 　　　　　　　175
6.2.5 散點圖 　　　　　　　177
6.2.6 ?；鶊D 　　　　　　　180
6.3 圖表設置 　　　　　　　　182
6.3.1 圖表顏色設置 　　　　　　　182
6.3.2 圖表聯動設置 　　　　　　　187
6.3.3 圖表篩選設置 　　　　　　　191
6.3.4 圖表鉆取設置 　　　　　　　196
6.3.5 圖表排序設置 　　　　　　　197
6.3.6 圖表樣式設置 　　　　　　　197
6.4 圖表中的常用計算 　　　　　　　197
6.4.1 百分比 　　　　　　　197
6.4.2 留存率 　　　　　　　198
6.4.3 活躍率 　　　　　　　198
6.4.4 重復率 　　　　　　　198
6.4.5 同比 　　　　　　　　199
6.4.6 環(huán)比 　　　　　　　　199
6.4.7 移動計算 　　　　　　　　　200
6.4.8 累計計算 　　　　　　　　　200
6.5 圖表中的自定義計算 　　　　　　　200
6.5.1 分組字段 　　　　　　　　　200
6.5.2 計算字段 　　　　　　　　　201
本章習題 　　　　　　　202
第 7 章 金融數據建模應用案例解析 　　　　　203
7.1 案例背景 　　　　　　　　203
7.2 申請評分卡模型的構建 　　　　　　204
7.2.1 建模思想及原理 　　　　　　204
7.2.2 建模方法 　　　　　　　　　204
7.2.3 模型開發(fā)流程 　　　　　　　206
7.3 申請評分卡模型的實現 　　　　　　206
7.3.1 數據獲取 　　　　　　　　　206
7.3.2 數據預處理 　　　　　　　　207
7.3.3 探索性數據分析 　　　　　　210
7.3.4 變量選擇 　　　　　　　　　214
7.3.5 模型開發(fā) 　　　　　　　　　220
7.3.6 模型評估 　　　　　　　　　225
7.3.7 信用評分 　　　　　　　　　226
7.4 模型分析總結 　　　　　　227
本章習題 　　　　　　　227
第 8 章 金融數據建模新技術 　　　　　229
8.1 機器學習 　　　　　　　　229
8.1.1 機器學習概述 　　　　　　　229
8.1.2 機器學習常用算法 　　　　　　　　230
8.1.3 機器學習在金融領域的應用 　　　　　232
8.2 自然語言處理 　　　　　　232
8.2.1 自然語言處理概述 　　　　　　　　232
8.2.2 自然語言處理的基本任務 　　　　　　233
8.2.3 自然語言處理在金融領域的應用 　　　　　　235
8.3 知識圖譜 　　　　　　　　236
8.3.1 知識圖譜概述 　　　　　　　236
8.3.2 知識圖譜構建技術 　　　　　　　　236
8.3.3 知識圖譜在金融領域的應用 　　　　　239
8.4 區(qū)塊鏈 　　　　　　　　　240
8.4.1 區(qū)塊鏈概述 　　　　　　　　240
8.4.2 區(qū)塊鏈核心技術 　　　　　　241
8.4.3 區(qū)塊鏈技術在金融領域的應用 　　　　　　　242
本章習題 　　　　　　　244
第 9 章 金融數據安全規(guī)范 　　　　　245
9.1 金融數據安全概述 　　　　　　　245
9.1.1 金融數據安全的重要性 　　　　　　　245
9.1.2 金融數據面臨的風險 　　　　　　　245
9.1.3 我國金融數據安全原則 　　　　　　　247
9.1.4 我國金融數據安全法規(guī) 　　　　　　　247
9.2 金融數據安全分級 　　　　　　　250
9.2.1 金融數據安全分級的目標、原則和范圍 　　　　250
9.2.2 金融數據安全分級要素和規(guī)則 　　　　　　　251
9.2.3 金融數據安全級別劃分 　　　　　　　252
9.3 金融數據生命周期安全管理 　　　　　　　253
9.3.1 數據采集安全管理 　　　　　　　　253
9.3.2 數據傳輸安全管理 　　　　　　　　254
9.3.3 數據存儲安全管理 　　　　　　　　256
9.3.4 數據使用安全管理 　　　　　　　　257
9.3.5 數據刪除安全管理 　　　　　　　　261
9.3.6 數據銷毀安全管理 　　　　　　　　262
本章習題 　　　　　　　263
參考文獻　　　　　　　264