探秘大模型應(yīng)用開(kāi)發(fā)

目錄
第1章 AI 2.0時(shí)代到來(lái) 1
1.1 ChatGPT旋風(fēng) 2
1.1.1 ChatGPT是什么 2
1.1.2 豐富的應(yīng)用 3
1.1.3 有喜有憂 4
1.2 認(rèn)識(shí)AI 2.0時(shí)代 5
1.2.1 何謂大模型 5
1.2.2 AI 1.0時(shí)代與AI 2.0時(shí)代特點(diǎn)分析 8
1.2.3 新“工業(yè)革命”來(lái)臨 11
1.3 本章小結(jié) 12
第2章 基座大模型準(zhǔn)備 13
2.1 大模型的歷史與未來(lái) 14
2.1.1 發(fā)展史 14
2.1.2 未來(lái)趨勢(shì) 15
2.2 基座大模型訓(xùn)練過(guò)程 16
2.2.1 預(yù)訓(xùn)練 17
2.2.2 人類反饋的強(qiáng)化學(xué)習(xí) 21
2.3 選擇合適的基座大模型 22
2.3.1 主流基座大模型介紹 22
2.3.2 選型標(biāo)準(zhǔn) 25
2.4 本章小結(jié) 27
第3章 GPU相關(guān)知識(shí) 28
3.1 基礎(chǔ)知識(shí) 29
3.1.1 顯卡與GPU 29
3.1.2 GPU與CPU 30
3.2 GPU的優(yōu)勢(shì) 32
3.2.1 GPU與深度學(xué)習(xí) 32
3.2.2 CUDA編程 34
3.3 準(zhǔn)備合適的GPU 36
3.3.1 選擇合適的GPU（顯卡）供應(yīng)商 36
3.3.2 英偉達(dá)與AMD 37
3.3.3 英偉達(dá)GPU各項(xiàng)參數(shù) 39
3.3.4 選型建議 46
3.4 本章小結(jié) 47
第4章 應(yīng)用開(kāi)發(fā)概覽 48
4.1 關(guān)鍵概念 49
4.1.1 提示 49
4.1.2 上下文學(xué)習(xí) 50
4.2 應(yīng)用趨勢(shì) 56
4.2.1 趨勢(shì)變遷 56
4.2.2 產(chǎn)品形態(tài) 59
4.3 技術(shù)實(shí)現(xiàn) 60
4.3.1 對(duì)齊方法 60
4.3.2 優(yōu)劣勢(shì)比較 63
4.3.3 應(yīng)用流程 65
4.4 本章小結(jié) 66
第5章 文檔處理 67
5.1 分塊 68
5.1.1 分塊的作用 68
5.1.2 分塊的策略 69
5.1.3 策略選擇 72
5.2 詞元化 73
5.2.1 概念和方法 73
5.2.2 Token采樣策略 76
5.3 嵌入 78
5.4 本章小結(jié) 84
第6章 向量數(shù)據(jù)庫(kù) 85
6.1 基本概念 86
6.2 相關(guān)算法 87
6.2.1 向量相似性算法 87
6.2.2 工程中常用的向量搜索折中算法 88
6.3 核心價(jià)值 92
6.4 定位 95
6.5 主流產(chǎn)品 97
6.6 本章小結(jié) 98
第7章 微調(diào) 99
7.1 背景與挑戰(zhàn) 100
7.1.1 背景知識(shí) 100
7.1.2 技術(shù)挑戰(zhàn) 102
7.2 參數(shù)高效微調(diào)技術(shù) 104
7.3 工具實(shí)踐 113
7.3.1 開(kāi)源工具包 113
7.3.2 模型微調(diào)服務(wù) 118
7.4 本章小結(jié) 121
第8章 推理優(yōu)化概論 122
8.1 優(yōu)化目標(biāo) 123
8.2 理論基礎(chǔ) 124
8.2.1 模型大小的指標(biāo) 124
8.2.2 模型大小對(duì)推理性能的影響 127
8.2.3 大模型相關(guān)分析 131
8.3 常見(jiàn)優(yōu)化技術(shù) 141
8.3.1 模型壓縮 141
8.3.2 Offloading 147
8.3.3 多GPU并行化 147
8.3.4 高效的模型結(jié)構(gòu) 148
8.3.5 FlashAttention 149
8.3.6 PagedAttention 149
8.3.7 連續(xù)批處理 150
8.4 本章小結(jié) 151
第9章 部署推理工具 152
9.1 推理架構(gòu)概述 153
9.2 Web服務(wù) 156
9.2.1 Streamlit與Gradio 158
9.2.2 FastAPI與Flask 160
9.3 推理執(zhí)行引擎 161
9.3.1 服務(wù)器端推理 161
9.3.2 端側(cè)推理 176
9.4 推理服務(wù) 181
9.5 對(duì)話類系統(tǒng) 194
9.6 本章小結(jié) 196
第10章 提示工程 197
10.1 理論與技術(shù) 198
10.1.1 提示的價(jià)值 198
10.1.2 應(yīng)用領(lǐng)域 198
10.1.3 提示工程技術(shù) 199
10.2 開(kāi)發(fā)工具 208
10.2.1 OpenAI Playground 210
10.2.2 Dify 211
10.2.3 PromptPerfect 213
10.3 本章小結(jié) 214
第11章 編排與集成 215
11.1 相關(guān)理論 216
11.1.1 面臨的問(wèn)題 216
11.1.2 核心價(jià)值 217
11.1.3 功能構(gòu)成 217
11.2 典型架構(gòu)模式 218
11.2.1 RAG 218
11.2.2 Agent 222
11.3 常見(jiàn)編排框架 235
11.3.1 LangChain框架 235
11.3.2 LlamaIndex框架 248
11.3.3 Semantic Kernel框架 253
11.4 本章小結(jié) 264
第12章 應(yīng)用示例 265
12.1 整體架構(gòu) 266
12.2 開(kāi)發(fā)過(guò)程 267
12.2.1 環(huán)境準(zhǔn)備 267
12.2.2 實(shí)現(xiàn)解析 269
12.2.3 打包部署 276
12.2.4 示例演示 281
12.3 本章小結(jié) 284
參考文獻(xiàn) 285