大語言模型：原理與工程實踐

定　價：￥119.00

作　者：	楊青
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網(wǎng) (￥119.00)

ISBN：	9787121473043	出版時間：	2024-03-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字數(shù)：

內(nèi)容簡介

　　本書用10章對大語言模型進行全面且深入的介紹。首先對大語言模型的基本概念進行介紹。其次，從大語言模型的基礎(chǔ)技術(shù)、預(yù)訓(xùn)練數(shù)據(jù)構(gòu)建、預(yù)訓(xùn)練技術(shù)等方面展開討論，幫助讀者深入了解大語言模型的構(gòu)建和訓(xùn)練過程。然后，詳細介紹有監(jiān)督微調(diào)和強化對齊等技術(shù)，以及如何評估大語言模型的性能。此外，介紹提示工程和工程實踐等方面的內(nèi)容，幫助讀者了解大語言模型的應(yīng)用和實際操作過程。最后，介紹如何從零開始微調(diào)大語言模型，輔以代碼示例，幫助讀者更好地應(yīng)用這些技術(shù)。通過閱讀本書，讀者可以獲得全面且深入的大語言模型的知識框架。

作者簡介

　　楊青度小滿金融技術(shù)委員會執(zhí)行主席、數(shù)據(jù)智能應(yīng)用部總經(jīng)理，度小滿AI Lab負責人，碩士畢業(yè)于清華大學(xué)計算機系，曾就職于百度、阿里巴巴，從事自然語言處理、搜索、推薦、大數(shù)據(jù)架構(gòu)等相關(guān)方向的研發(fā)工作。 2018年年初加入度小滿金融，組建數(shù)據(jù)智能部和AI Lab團隊，從0到1構(gòu)建度小滿金融的智能引擎核心算法，深耕計算機視覺、自然語言處理、圖模型、機器學(xué)習、因果推斷等技術(shù)領(lǐng)域，多篇文章被EMNLP、ACL、CIKM等國際會議收錄，“智能化征信解讀中臺”工程榮獲吳文俊人工智能科技進步獎。相關(guān)技術(shù)廣泛應(yīng)用于度小滿營銷、經(jīng)營、風控、反欺詐全流程業(yè)務(wù)場景，為上千萬客戶提供穩(wěn)定、安全的金融服務(wù)。目前，專注于AIGC相關(guān)研究及產(chǎn)品落地工作，基于度小滿模型即服務(wù)（MaaS）的模式積極探索文生圖、數(shù)字人與生成式大語言模型的應(yīng)用轉(zhuǎn)化。于2023年年初帶領(lǐng)團隊發(fā)布千億參數(shù)規(guī)模的中文大語言模型“軒轅”。2023年9月， “軒轅-70B”大語言模型在C-Eval和CMMLU兩大權(quán)威榜單上位列所有開源模型榜首。

圖書目錄

目錄
1 解鎖大語言模型1
1.1 什么是大語言模型·1
1.2 語言模型的發(fā)展·2
1.3 GPT 系列模型的發(fā)展·3
1.4 大語言模型的關(guān)鍵技術(shù)·4
1.5 大語言模型的涌現(xiàn)能力·5
1.6 大語言模型的推理能力·5
1.7 大語言模型的縮放定律·6
參考文獻·7
2 大語言模型基礎(chǔ)技術(shù)·8
2.1 語言表示介紹·8
2.1.1 詞表示技術(shù)·8
2.1.2 分詞技術(shù)·9
2.2 經(jīng)典結(jié)構(gòu) Transformer·14
2.2.1 輸入模塊·15
2.2.2 多頭自注意力模塊·16
2.2.3 殘差連接與層歸一化·19
2.2.4 前饋神經(jīng)網(wǎng)絡(luò)·19
2.2.5 解碼器·19
2.3 預(yù)訓(xùn)練語言模型·21
2.3.1 Decoder 的代表：GPT 系列·21
2.3.2 Encoder 的代表：BERT·23
2.4 初探大語言模型·24
2.4.1 InstructGPT·24
2.4.2 LLaMA 系列·28
參考文獻·30
3 預(yù)訓(xùn)練數(shù)據(jù)構(gòu)建·32
3.1 數(shù)據(jù)的常見類別及其來源·32
3.1.1 網(wǎng)頁數(shù)據(jù)·33
3.1.2 書籍數(shù)據(jù)·34
3.1.3 百科數(shù)據(jù)·34
3.1.4 代碼數(shù)據(jù)·34
3.1.5 其他數(shù)據(jù)·36
3.2 數(shù)據(jù)的預(yù)處理方式·36
3.2.1 正文提取·37
3.2.2 質(zhì)量過濾·37
3.2.3 文檔去重·38
3.2.4 數(shù)據(jù)集凈化·39
3.3 常用數(shù)據(jù)集的完整構(gòu)建方式 ·40
3.3.1 C4·40
3.3.2 MassiveText·40
3.3.3 RefinedWeb·41
3.3.4 ROOTS·42
3.4 難點和挑戰(zhàn)·43
3.4.1 數(shù)據(jù)收集的局限性·43
3.4.2 數(shù)據(jù)質(zhì)量評估的挑戰(zhàn)·43
3.4.3 自動生成數(shù)據(jù)的風險·44
參考文獻·44
4 大語言模型預(yù)訓(xùn)練·46
4.1 大語言模型為什么這么強·46
4.2 大語言模型的核心模塊·49
4.2.1 核心架構(gòu)·49
4.2.2 組成模塊選型·51
4.3 大語言模型怎么訓(xùn)練·60
4.3.1 訓(xùn)練目標·60
4.3.2 數(shù)據(jù)配比·62
4.4 預(yù)訓(xùn)練還有什么沒有解決·65
參考文獻·66
5 挖掘大語言模型潛能：有監(jiān)督微調(diào)·67
5.1 揭開有監(jiān)督微調(diào)的面紗·67
5.1.1 什么是有監(jiān)督微調(diào)·67
5.1.2 有監(jiān)督微調(diào)的作用與意義·68
5.1.3 有監(jiān)督微調(diào)的應(yīng)用場景·68
5.2 有監(jiān)督微調(diào)數(shù)據(jù)的構(gòu)建·69
5.2.1 有監(jiān)督微調(diào)數(shù)據(jù)的格式·69
5.2.2 有監(jiān)督微調(diào)數(shù)據(jù)的自動化構(gòu)建·70
5.2.3 有監(jiān)督微調(diào)數(shù)據(jù)的選擇·75
5.3 大語言模型的微調(diào)方法·76
5.3.1 全參數(shù)微調(diào)·76
5.3.2 適配器微調(diào)·76
5.3.3 前綴微調(diào)·77
5.3.4 提示微調(diào)·78
5.3.5 低秩適配·79
5.4 大語言模型的微調(diào)和推理策略·79
5.4.1 混合微調(diào)策略·80
5.4.2 基于上下文學(xué)習的推理策略·81
5.4.3 基于思維鏈的推理策略·82
5.5 大語言模型微調(diào)的挑戰(zhàn)和探索·83
5.5.1 大語言模型微調(diào)的幻覺問題·83
5.5.2 大語言模型微調(diào)面臨的挑戰(zhàn)·84
5.5.3 大語言模型微調(diào)的探索與展望 ·84
參考文獻·85
6 大語言模型強化對齊·87
6.1 強化學(xué)習基礎(chǔ) ·87
6.1.1 強化學(xué)習的基本概念·87
6.1.2 強化學(xué)習中的隨機性·88
6.1.3 強化學(xué)習的目標·89
6.1.4 Q 函數(shù)與 V 函數(shù)·89
6.2 DQN 方法·91
6.2.1 DQN 的結(jié)構(gòu)·91
6.2.2 DQN 訓(xùn)練：基本思想·92
6.2.3 DQN 訓(xùn)練：目標網(wǎng)絡(luò)·94
6.2.4 DQN 訓(xùn)練：探索策略·94
6.2.5 DQN 訓(xùn)練：經(jīng)驗回放·95
6.2.6 DQN 訓(xùn)練：完整算法·95
6.2.7 DQN 決策·96
6.3 策略梯度方法·96
6.3.1 策略網(wǎng)絡(luò)的結(jié)構(gòu)·96
6.3.2 策略網(wǎng)絡(luò)訓(xùn)練：策略梯度·97
6.3.3 策略網(wǎng)絡(luò)訓(xùn)練：優(yōu)勢函數(shù)·99
6.3.4 PPO 算法·100
6.4 揭秘大語言模型中的強化建模·101
6.4.1 Token-level 強化建模·101
6.4.2 Sentence-level 強化建模·102
6.5 獎勵模型·103
6.5.1 獎勵模型的結(jié)構(gòu)·103
6.5.2 獎勵模型的訓(xùn)練·104
6.5.3 獎勵模型損失函數(shù)分析·106
6.6 RLHF·108
6.6.1 即時獎勵·108
6.6.2 RLHF 算法·109
6.7 RLHF 實戰(zhàn)框架·111
6.8 RLHF 的難點和問題·111
6.8.1 數(shù)據(jù)瓶頸·112
6.8.2 硬件瓶頸·113
6.8.3 方法瓶頸·114
參考文獻·115
7 大語言模型的評測·117
7.1 基座語言模型的評測·117
7.1.1 主要的評測維度和基準概述·118
7.1.2 具體案例：LLaMA 2 選取的評測基準·118
7.2 大語言模型的對話能力評測·120
7.2.1 評測任務(wù)·120
7.2.2 評測集的構(gòu)建標準·131
7.2.3 評測方式·132
7.3 大語言模型的安全性評測·132
7.3.1 評測任務(wù)·133
7.3.2 評測方式和標準·134
7.4 行業(yè)大語言模型的評測：以金融行業(yè)大語言模型為例·134
7.4.1 金融行業(yè)大語言模型的自動化評測集·135
7.4.2 金融行業(yè)大語言模型的人工評測集·136
7.5 整體能力的評測·137
7.6 主流評測數(shù)據(jù)集及基準·138
參考文獻·142
8 大語言模型的應(yīng)用·143
8.1 大語言模型為什么需要提示工程·143
8.1.1 人類和大語言模型進行復(fù)雜決策的對比·144
8.1.2 提示工程的作用·144
8.2 什么是提示詞·145
8.2.1 提示詞的基礎(chǔ)要素·146
8.2.2 提示詞設(shè)計的通用原則·146
8.3 推理引導(dǎo)·147
8.3.1 零樣本提示·147
8.3.2 少樣本提示·148
8.3.3 思維鏈提示·149
8.3.4 自我一致性提示·150
8.3.5 思維樹提示·151
8.4 動態(tài)交互·155
8.4.1 檢索增強生成技術(shù)·155
8.4.2 推理和行動協(xié)同技術(shù)·159
8.5 案例分析·161
8.5.1 案例介紹·161
8.5.2 工具設(shè)計·161
8.5.3 提示詞設(shè)計·165
8.5.4 案例運行·167
8.6 局限和發(fā)展·172
8.6.1 目前的局限·172
8.6.2 未來的發(fā)展·173
參考文獻·173
9 工程實踐·175
9.1 大語言模型訓(xùn)練面臨的挑戰(zhàn)·175
9.2 大語言模型訓(xùn)練綜述·176
9.2.1 數(shù)據(jù)并行·176
9.2.2 模型并行·179
9.2.3 ZeRO 并行·181
9.3 大語言模型訓(xùn)練技術(shù)選型技巧·184
9.4 大語言模型訓(xùn)練優(yōu)化秘籍·186
9.4.1 I/O 優(yōu)化·186
9.4.2 通信優(yōu)化·187
9.4.3 穩(wěn)定性優(yōu)化·190
9.5 大語言模型訓(xùn)練工程實踐·190
9.5.1 DeepSpeed 架構(gòu)·191
9.5.2 DeepSpeed 訓(xùn)練詳解·191
9.5.3 DeepSpeed 訓(xùn)練調(diào)優(yōu)實踐·194
9.6 強化學(xué)習工程實踐·196
9.6.1 DeepSpeed-Chat 混合引擎架構(gòu)·196
9.6.2 DeepSpeed-Chat 訓(xùn)練詳解·197
9.6.3 DeepSpeed-Chat 訓(xùn)練調(diào)優(yōu)實踐·199
9.7 大語言模型推理工程·201
9.7.1 提升規(guī)模：模型量·202
9.7.2 提高并行度：張量并行·205
9.7.3 推理加速：算子優(yōu)化·207
9.7.4 降低計算量：KV-Cache·208
9.7.5 推理工程綜合實踐·210
參考文獻·212
10 手把手教你訓(xùn)練 7B 大語言模型·214
10.1 自動化訓(xùn)練框架·214
10.1.1 自動化訓(xùn)練框架介紹·214
10.1.2 主要模塊介紹·215
10.2 動手訓(xùn)練 7B 大語言模型·237
10.2.1 語料預(yù)處理·238
10.2.2 預(yù)訓(xùn)練實踐·240
10.2.3 指令微調(diào)實踐·245
10.3 小結(jié)·247