工業(yè)數(shù)據(jù)分析工程：基于CRISP-DM的形式化方法

目 錄
1.工業(yè)數(shù)據(jù)分析方法概述
1.1.方法論內(nèi)涵與作用
1.2.工業(yè)大數(shù)據(jù)項目落地的載體
1.2.1.大數(shù)據(jù)分析的3種載體形式：數(shù)據(jù)服務、模型服務、智能應用
1.2.2.工業(yè)大數(shù)據(jù)項目的價值落地
1.2.3.智能化項目管理
1.3.工業(yè)數(shù)據(jù)分析過程方法
1.4.如何用好工業(yè)數(shù)據(jù)分析方法
1.4.1.大數(shù)據(jù)分析方法的應用范疇
1.4.2.大數(shù)據(jù)分析方法與項目管理
1.4.3.大數(shù)據(jù)分析項目階段劃分
參考文獻
2.分析場景定義
2.1.什么是分析場景
2.2.分析場景識別
2.2.1.自頂向下的結(jié)構(gòu)化分解法
2.2.2.自下向上的歸納剖析法
2.2.3.數(shù)據(jù)驅(qū)動的業(yè)務能力匹配法
2.2.4.分析場景識別中的常見問題
2.3.分析場景篩選
2.3.1.基于基線思維的場景篩選法
2.3.2.基于要素-認知矩陣的場景篩選法
2.3.3.分析場景篩選中的常見問題
2.4.分析場景定義示例
2.4.1.智能運維：自頂向下的結(jié)構(gòu)化分解法
2.4.2.汽車制造：自下向上的歸納剖析法
2.4.3.電動礦卡智能管理：數(shù)據(jù)驅(qū)動的業(yè)務能力匹配法
參考文獻
3.業(yè)務理解
3.1.業(yè)務理解的目標
3.1.1.形成分析課題描述
3.1.2.提出數(shù)據(jù)需求清單
3.2.業(yè)務理解的主要內(nèi)容
3.2.1.決策邏輯
3.2.2.決策場景
3.2.3.領(lǐng)域概念
3.3.業(yè)務理解的形式化模型
3.3.1.層次分解模型-列表
3.3.2.層次分解模型-樹狀結(jié)構(gòu)
3.3.3.系統(tǒng)動力學模型
3.3.4.專家規(guī)則
3.3.5.運籌學模型
3.4.系統(tǒng)動力學的建模方法
3.4.1.系統(tǒng)動力學圖的建模過程
3.4.2.系統(tǒng)動力學建模背后的支撐技術(shù)
3.4.3.系統(tǒng)動力學模型的概念辨析
3.5.專家規(guī)則的建模方法
3.5.1.基于規(guī)則流的規(guī)則描述方法
3.5.2.基于邏輯表達式的規(guī)則檢驗方法
3.6.領(lǐng)域模型的建模方法
3.6.1.數(shù)據(jù)驅(qū)動的領(lǐng)域建模
3.6.2.業(yè)務驅(qū)動的領(lǐng)域建模
3.7.業(yè)務理解的執(zhí)行策略
3.7.1.了解性訪談
3.7.2.基于樣例數(shù)據(jù)的業(yè)務理解
3.7.3.確認性訪談
3.8.思考：業(yè)務理解中形式化模型的必要性
3.8.1.水箱水位預測的例子
3.8.2.發(fā)電機冷卻水溫度區(qū)間估計的例子
參考文獻
4.數(shù)據(jù)理解
4.1.數(shù)據(jù)收集
4.1.1.明確數(shù)據(jù)源系統(tǒng)和訪問方式
4.1.2.明確數(shù)據(jù)更新與存儲周期
4.2.數(shù)據(jù)描述-數(shù)據(jù)集層面的理解
4.2.1.樣本數(shù)據(jù)的人工閱讀
4.2.2.數(shù)據(jù)概覽
4.2.3.領(lǐng)域模型與數(shù)據(jù)模型交互理解
4.3.數(shù)據(jù)探索-數(shù)據(jù)字段層面的理解
4.3.1.統(tǒng)計分布
4.3.2.數(shù)據(jù)可視化
4.4.數(shù)據(jù)探索-業(yè)務層面的理解
4.4.1.業(yè)務維度組合的探索（基于領(lǐng)域模型）
4.4.2.業(yè)務過程理解（基于系統(tǒng)動力學模型）
4.4.3.專家知識的復現(xiàn)
4.5.數(shù)據(jù)質(zhì)量審查
4.5.1.示例案例
4.5.2.基于領(lǐng)域模型的質(zhì)量審查方法
4.5.3.分析項目中數(shù)據(jù)質(zhì)量突出的原因
4.5.4.數(shù)據(jù)質(zhì)量評價與影響分析
4.6.數(shù)據(jù)理解階段的執(zhí)行策略
4.6.1.執(zhí)行路徑
4.6.2.軟件工具
4.6.3.典型的數(shù)據(jù)處理技巧
參考文獻
5.數(shù)據(jù)準備
5.1.數(shù)據(jù)流設(shè)計
5.1.1.數(shù)據(jù)倉庫建模
5.1.2.領(lǐng)域模型驅(qū)動的工業(yè)數(shù)據(jù)組織方法
5.1.3.工業(yè)數(shù)據(jù)分析的數(shù)據(jù)流圖
5.1.4.分析數(shù)據(jù)流圖示例
5.2.數(shù)據(jù)選擇與清洗
5.3.數(shù)據(jù)融合
5.4.特征提取與選擇
5.4.1.特征的來源
5.4.2.特征提取的推進思路
5.5.數(shù)據(jù)資源化：數(shù)據(jù)分析師的視角
參考文獻
6.模型建立
6.1.常用的算法
6.2.目標變量的相關(guān)問題
6.2.1.目標變量的構(gòu)建
6.2.2.目標變量變換
6.2.3.不均衡問題
6.3.預測變量的相關(guān)問題
6.3.1.工況切分
6.3.2.變量的離散化
6.3.3.移除沒有業(yè)務意義的高相關(guān)特征量
6.3.4.特征變量組合
6.3.5.類別變量的完備度
6.4.工業(yè)分析建模問題
6.4.1.基準模型
6.4.2.大量測點的穩(wěn)定過程建模
6.4.3.基于樸素道理的深度網(wǎng)絡結(jié)構(gòu)參數(shù)優(yōu)化
6.4.4.時序分類問題
6.4.5.非監(jiān)督學習問題
6.4.6.優(yōu)化問題
6.4.7.評價型問題
6.4.8.淺機理、高維度的診斷型問題
6.5.機理模型與統(tǒng)計模型的結(jié)合方法
6.5.1.機理模型的范疇：定性與定量機理
6.5.2.統(tǒng)計模型與數(shù)學模型的4種融合范式
6.5.3.統(tǒng)計模型與仿真模型的2種融合模式
6.5.4.統(tǒng)計模型與經(jīng)驗性機理模型的融合
參考文獻
7.模型評價與部署
7.1.模型評價的內(nèi)容
7.2.技術(shù)評價
7.3.業(yè)務評價
7.4.下一步工作規(guī)劃
7.5.模型部署的內(nèi)容
7.6.部署包的設(shè)計
7.6.1.分析任務的邏輯審查
7.6.2.數(shù)據(jù)異常的影響分析與應對措施
7.6.3.分析模型打包
7.7.模型運維機制設(shè)計
7.8.分析課題總結(jié)
參考文獻
8. 機器學習融合的設(shè)計模式
8.1 機器學習融合設(shè)計模式的來源和分類
8.2 業(yè)務邏輯與機器學習融合
8.2.1 業(yè)務狀態(tài)機模式
8.2.2 關(guān)聯(lián)規(guī)則發(fā)現(xiàn)模式
8.3 機理知識與機器學習融合
8.3.1 機理矯正模式
8.3.2 機理正則化約束模式
8.4 運籌優(yōu)化與機器學習融合
8.4.1 啟發(fā)策略增強模式
8.4.2 代理模型輔助優(yōu)化模式
參考文獻
9.風功率曲線分析
9.1.業(yè)務理解
9.1.1.環(huán)境要素
9.1.2.風況要素
9.1.3.控制系統(tǒng)的要素
9.1.4.設(shè)計與安裝要素
9.2.風功率曲線擬合-數(shù)據(jù)理解
9.2.1.功率曲線預覽
9.2.2.多變量關(guān)系
9.3.風功率曲線擬合-數(shù)據(jù)準備
9.3.1.對風速做分倉
9.3.2.對有功功率做分倉
9.3.3.改進方向
9.4.風功率曲線擬合-回歸模型
9.5.風功率曲線異常點識別-數(shù)據(jù)理解
9.5.1.數(shù)據(jù)說明
9.5.2.單臺風機