MLOps工程實踐：工具、技術與企業(yè)級應用

CONTENTS
目??錄
作者簡介
前言
第1章　全面了解MLOps1
1.1　人工智能的趨勢和現(xiàn)狀　1
1.1.1　趨勢1：人工智能在企業(yè)中加速落地，彰顯更多業(yè)務價值　1
1.1.2　趨勢2：人工智能應用從以模型為中心向以數(shù)據(jù)為中心轉(zhuǎn)變　3
1.1.3　現(xiàn)狀：人工智能落地成功率低，
成本高　4
1.2　人工智能的問題、挑戰(zhàn)以及應對措施　5
1.2.1　問題1：機器學習代碼只是整個系統(tǒng)的一小部分　5
1.2.2　問題2：數(shù)據(jù)是最主要的問題　6
1.2.3　挑戰(zhàn)：人工智能系統(tǒng)
如何規(guī)?；涞亍?
1.2.4　應對措施：MLOps　8
1.3　MLOps簡介　8
1.3.1　MLOps的定義　8
1.3.2　MLOps相關的工具和平臺　12
1.3.3　MLOps的優(yōu)勢　13
1.4　MLOps與DevOps　14
1.4.1　DevOps的3個優(yōu)點　14
1.4.2　MLOps延續(xù)了DevOps的優(yōu)點　17
1.4.3　MLOps和DevOps的不同之處　19
1.4.4　MLOps和DevOps的目標與
實踐理念　20
1.5　MLOps與其他XOps的區(qū)別　20
1.5.1　MLOps與AIOps的區(qū)別　21
1.5.2　MLOps與DataOps的區(qū)別　21
1.5.3　MLOps與ModelOps的區(qū)別　22
1.5.4　XOps的相同點：
都基于DevOps原則　22
1.6　本章小結(jié)　22
第2章　MLOps涉及的角色23
2.1　角色類型　23
2.1.1　產(chǎn)品經(jīng)理　24
2.1.2　數(shù)據(jù)科學家　24
2.1.3　數(shù)據(jù)工程師　25
2.1.4　機器學習工程師　26
2.1.5　DevOps工程師　27
2.1.6　IT運維工程師　27
2.2　角色劃分以及角色之間
存在的問題　28
2.2.1　角色劃分　28
2.2.2　問題1：技術棧不一致導致人工智能模型線上、線下效果不一致　28
2.2.3　問題2：關注點不同導致對系統(tǒng)的
需求不同　29
2.2.4　協(xié)作問題及解決辦法　30
2.3　本章小結(jié)　30
第3章　機器學習項目概論31
3.1　機器學習項目簡介　31
3.1.1　機器學習的定義　31
3.1.2　機器學習相關概念　33
3.1.3　機器學習能解決的問題　37
3.1.4　機器學習項目度量　38
3.1.5　機器學習項目難以落地的
原因　41
3.2　深入理解機器學習項目全流程　44
3.2.1　方案調(diào)研　45
3.2.2　方案投產(chǎn)　49
3.3　本章小結(jié)　51
第4章　MLOps中的數(shù)據(jù)部分52
4.1　從以模型為中心到以數(shù)據(jù)為中心　52
4.1.1　以模型為中心的時代　52
4.1.2　以數(shù)據(jù)為中心的時代　53
4.2　MLOps中的數(shù)據(jù)生命周期管理　55
4.3　數(shù)據(jù)存儲架構(gòu)演進　56
4.4　MLOps中主要的數(shù)據(jù)問題及
解決方案　57
4.4.1　常見的數(shù)據(jù)質(zhì)量問題及
解決方案　57
4.4.2　時序數(shù)據(jù)穿越問題及解決方案　59
4.4.3　離線和實時數(shù)據(jù)一致性問題及
解決方案　64
4.4.4　數(shù)據(jù)安全問題及解決方案　66
4.4.5　數(shù)據(jù)共享與復用問題及
解決方案　67
4.5　本章小結(jié)　67
第5章　流水線工具69
5.1　Airflow　69
5.1.1　Airflow的功能和應用場景　69
5.1.2　Airflow的核心概念　72
5.1.3　Airflow的使用方法　72
5.2　MLflow　80
5.2.1　MLflow的功能和應用場景　80
5.2.2　MLflow的核心概念　81
5.2.3　MLflow的使用方法　82
5.3　其他流水線工具　91
5.4　本章小結(jié)　93
第6章　特征平臺94
6.1　特征平臺的概念和起源　94
6.2　特征平臺的特性　96
6.3　特征平臺的現(xiàn)狀　97
6.4　主流的特征平臺　98
6.4.1　Tecton的特征平臺　99
6.4.2　AWS的SageMaker特征平臺　100
6.4.3　Databricks的特征平臺　102
6.4.4　Feast項目　103
6.4.5　OpenMLDB項目　105
6.5　特征平臺的發(fā)展趨勢　106
6.6　本章小結(jié)　107
第7章　 實時特征平臺
OpenMLDB108
7.1　實時特征平臺構(gòu)建方法論　108
7.1.1　機器學習閉環(huán)　108
7.1.2　實時特征計算　109
7.1.3　痛點：線上線下計算一致性
校驗帶來的高成本　110
7.1.4　目標：開發(fā)即上線　112
7.1.5　技術需求　112
7.1.6　抽象架構(gòu)　113
7.1.7　OpenMLDB架構(gòu)設計實踐　114
7.2　OpenMLDB項目介紹　116
7.2.1　設計理念　116
7.2.2　生產(chǎn)級機器學習特征平臺　116
7.2.3　核心特性　117
7.2.4　常見問題　117
7.3　核心模塊—在線引擎　118
7.3.1　概覽　118
7.3.2　Apache ZooKeeper　119
7.3.3　Nameserver　119
7.3.4　Tablet　120
7.4　核心數(shù)據(jù)結(jié)構(gòu)　122
7.4.1　背景介紹　122
7.4.2　雙層跳表索引　122
7.4.3　預聚合技術　124
7.4.4　性能表現(xiàn)　125
7.5　高級特性—主從集群部署　127
7.5.1　定義和目標　127
7.5.2　技術方案　127
7.5.3　主從集群搭建實踐　130
7.5.4　主從集群部署常見問題　131
7.6　高級特性—雙存儲引擎　133
7.6.1　內(nèi)存和磁盤雙存儲
引擎架構(gòu)　133
7.6.2　功能支持對比　134
7.6.3　性能對比　135
7.7　執(zhí)行流程介紹　136
7.7.1　執(zhí)行流程概覽　136
7.7.2　執(zhí)行模式概覽　137
7.7.3　離線模式　137
7.7.4　在線模式　138
7.7.5　請求模式　138
7.8　實踐　139
7.8.1　準備　140
7.8.2　使用流程　141
7.8.3　實時特征計算的結(jié)果說明　144
7.9　生態(tài)整合—在線數(shù)據(jù)源Kafka　145
7.9.1　簡介　145
7.9.2　準備工作　146
7.9.3　步驟1：啟動OpenMLDB
并創(chuàng)建數(shù)據(jù)庫　146
7.9.4　步驟2：啟動Kafka
并創(chuàng)建Topic　147
7.9.5　步驟3：啟動Connector　147
7.9.6