大型語言模型實戰(zhàn)指南：應(yīng)用實踐與場景落地

定　價：￥99.00

作　者：	劉聰沈盛宇李特麗杜振東
出版社：	機械工業(yè)出版社
叢編項：
標(biāo)　簽：	暫缺

購買這本書可以去

當(dāng)當(dāng)網(wǎng) (￥74.20)

ISBN：	9787111758457	出版時間：	2024-08-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　內(nèi)容簡介這是一本系統(tǒng)梳理并深入解析大模型的基礎(chǔ)理論、算法實現(xiàn)、數(shù)據(jù)構(gòu)造流程、模型微調(diào)方法、偏好對齊方法的著作，也是一本能手把手教你構(gòu)建角色扮演、信息抽取、知識問答、AI Agent等各種強大的應(yīng)用程序的著作。本書得到了零一萬物、面壁智能、通義千問、百姓AI、瀾舟科技等國內(nèi)主流大模型團隊的負(fù)責(zé)人的高度評價和鼎力推薦。具體地，通過本書你能了解或掌握以下知識：（1）大型語言模型的基礎(chǔ)理論，包括常見的模型架構(gòu)、領(lǐng)域大型語言模型以及如何評估大模型的性能。（2）大模型微調(diào)的關(guān)鍵步驟：從數(shù)據(jù)的收集、清洗到篩選，直至微調(diào)訓(xùn)練的技術(shù)細(xì)節(jié)。（3）大模型人類偏好對齊方法，從基于人工反饋的強化學(xué)習(xí)框架到當(dāng)前主流的對齊方法。（4）通過GPTs快速搭建個性化的專屬ChatGPT應(yīng)用。（5）通過開源模型在多種場景下搭建大模型應(yīng)用，包括：表格查詢、角色扮演、信息抽取、知識問答、AI Agent等。（6）掌握大模型Agent方法以及Agent常用框架。（7）基于LangChain框架構(gòu)建一個AutoGPT應(yīng)用。本書集大模型理論、實踐和場景落地于一體，提供大量經(jīng)詳細(xì)注釋的代碼，方便讀者理解和實操。總之，不管里是想深入研究大模型本身，還是進行大模型相關(guān)應(yīng)用搭建，本書都應(yīng)該能給你頗具價值的技術(shù)啟發(fā)與思考，讓你在大模型的路上快速前行，少走彎路。

作者簡介

　　劉聰資深NLP技術(shù)專家和AI技術(shù)專家，南京云問科技首席算法架構(gòu)師，MLNLP（機器學(xué)習(xí)算法與自然語言處理）社區(qū)學(xué)術(shù)委員。主攻文本向量表征、問答系統(tǒng)、AIGC等技術(shù)方向，是大模型領(lǐng)域的先驅(qū)者和布道者。開源了首個中文Unilm預(yù)訓(xùn)練模型、中文GPT2、夸夸閑聊機器人（ChatBot）、大模型微調(diào)等項目。作為主要負(fù)責(zé)人，在多項自然語言處理比賽中獲得前三名，在中文核心期刊和SCI發(fā)表多篇論文，有多項發(fā)明專利。知乎ID“劉聰NLP”，擁有公眾號“NLP工作站”，撰寫書籍《ChatGPT原理與實戰(zhàn)》。沈盛宇資深算法工程師，南京云問網(wǎng)絡(luò)技術(shù)有限公司算法組負(fù)責(zé)人。擅長結(jié)合用戶業(yè)務(wù)場景，針對性設(shè)計知識圖譜、問答、檢索、多模態(tài)、AIGC等的相關(guān)算法和落地方案。在結(jié)合客戶現(xiàn)有產(chǎn)品體系，推動數(shù)據(jù)中臺和算法平臺結(jié)合，從而提升服務(wù)質(zhì)量方面，有豐富實戰(zhàn)經(jīng)驗。曾獲得多項國家專利，參與制定和撰寫《IDP術(shù)語標(biāo)準(zhǔn)》《人工智能-智能助理能力等級評估標(biāo)準(zhǔn)》《人工智能標(biāo)準(zhǔn)化與開源研究報告》《ChatGPT原理與實戰(zhàn)》等多項國家級人工智能標(biāo)準(zhǔn)和書籍。李特麗資深大模型應(yīng)用專家，LangChain中文社區(qū)聯(lián)合創(chuàng)始人，開發(fā)Langchain等多個大模型開發(fā)框架的中文網(wǎng)，幫助中國開發(fā)者快速學(xué)習(xí)AI開發(fā)框架，撰寫書籍《LangChain入門指南》。杜振東資深NLP技術(shù)專家和AI技術(shù)專家，南京云問科技NLP研究院院長，國家人工智能標(biāo)準(zhǔn)委專家、AIIA 人工智能技術(shù)專家、CCF智能機器人專業(yè)組首批委員。擁有10年機器學(xué)習(xí)與文本挖掘經(jīng)驗，8年中文自然語言處理實戰(zhàn)經(jīng)驗，參與制定6項國家人工智能總體組標(biāo)準(zhǔn)，編寫書籍《會話式AI》《人工智能實踐錄》《ChatGPT原理與實戰(zhàn)》等。

圖書目錄

CONTENTS
目　　錄
前言

第1章　大型語言模型基礎(chǔ) 1
1.1　Transformer基礎(chǔ) 1
1.2　常用的大型語言模型 4
1.2.1　GPT系列模型 4
1.2.2　OPT模型 11
1.2.3　Bloom模型 12
1.2.4　GLM系列模型 12
1.2.5　LLaMA系列模型 14
1.2.6　Baichuan系列模型 16
1.2.7　Qwen系列模型 18
1.2.8　Skywork模型 19
1.3　領(lǐng)域大型語言模型 21
1.3.1　法律大型語言模型 21
1.3.2　醫(yī)療大型語言模型 24
1.3.3　金融大型語言模型 27
1.3.4　教育大型語言模型 29
1.4　大型語言模型評估 30
1.4.1　大型語言模型的評估內(nèi)容 30
1.4.2　大型語言模型的評估方法 32
1.4.3　大型語言模型評估榜單 33
1.5　本章小結(jié) 37

第2章　大型語言模型的常用微調(diào)方法 38
2.1　數(shù)據(jù)構(gòu)造與清洗 38
2.1.1　數(shù)據(jù)構(gòu)造方法 39
2.1.2　數(shù)據(jù)清洗方法 43
2.2　分詞器構(gòu)造 44
2.2.1　分詞器概述 44
2.2.2　BPE分詞器 45
2.2.3　WordPiece分詞器 52
2.2.4　Unigram分詞器 56
2.2.5　SentencePiece分詞器 58
2.2.6　詞表融合 62
2.3　大型語言模型的微調(diào)方法 63
2.3.1　前綴調(diào)優(yōu) 63
2.3.2　提示調(diào)優(yōu) 64
2.3.3　P-Tuning v2 65
2.3.4　LoRA 65
2.3.5　DyLoRA 66
2.3.6　AdaLoRA 67
2.3.7　QLoRA 67
2.3.8　QA-LoRA 68
2.3.9　LongLoRA 69
2.3.10　VeRA 69
2.3.11　S-LoRA 70
2.4　基于PEFT的LLaMA模型微調(diào)實戰(zhàn) 71
2.4.1　項目介紹 71
2.4.2　數(shù)據(jù)預(yù)處理 71
2.4.3　模型微調(diào) 72
2.4.4　模型預(yù)測 77
2.5　本章小結(jié) 78

第3章　大型語言模型的人類偏好對齊 79
3.1　基于人類反饋的強化學(xué)習(xí)框架 79
3.2　前沿偏好對齊方法 84
3.2.1　RRHF 84
3.2.2　RLAIF 85
3.2.3　DPO 87
3.2.4　APO 89
3.3　基于DPO的偏好對齊實戰(zhàn) 90
3.3.1　數(shù)據(jù)集介紹 90
3.3.2　TRL框架介紹 92
3.3.3　訓(xùn)練代碼解析 93
3.4　本章小結(jié) 96

第4章　創(chuàng)建個人專屬的ChatGPT—GPTs 97
4.1　GPTs初體驗 97
4.2　GPTs的初階使用 105
4.2.1　知識庫的使用 105
4.2.2　內(nèi)置插件的使用 108
4.2.3　知識庫與內(nèi)置插件的結(jié)合使用 111
4.3　GPTs的高階使用 113
4.4　本章小結(jié) 122

第5章　大型語言模型SQL任務(wù)實戰(zhàn) 123
5.1　公開數(shù)據(jù)集 123
5.1.1　英文公開數(shù)據(jù)集 123
5.1.2　中文公開數(shù)據(jù)集 128
5.2　主流方法 132
5.2.1　基于規(guī)則的方法 133
5.2.2　基于深度學(xué)習(xí)的方法 133
5.2.3　基于預(yù)訓(xùn)練語言模型的方法 136
5.2.4　基于大型語言模型的方法 136
5.3　Text2SQL任務(wù)實戰(zhàn) 141
5.3.1　項目介紹 141
5.3.2　數(shù)據(jù)預(yù)處理 142
5.3.3　模型微調(diào) 147
5.3.4　模型預(yù)測 149
5.4　本章小結(jié) 150

第6章　大型語言模型的角色扮演應(yīng)用 151
6.1　角色扮演 151
6.1.1　大型語言模型如何進行角色扮演 153
6.1.2　角色扮演數(shù)據(jù)的構(gòu)造方法 155
6.1.3　大型語言模型角色扮演的能力評估 155
6.2　角色扮演實戰(zhàn)測試 156
6.3　基于Baichuan的角色扮演模型微調(diào) 159
6.3.1　項目介紹 159
6.3.2　數(shù)據(jù)預(yù)處理 160
6.3.3　模型微調(diào) 164
6.3.4　模型預(yù)測 171
6.4　本章小結(jié) 175

第7章　大型語言模型的對話要素抽取應(yīng)用 176
7.1　對話要素抽取 176
7.2　對話要素抽取實戰(zhàn)測試 177
7.2.1　基于GPT-3.5 API進行對話要素抽取 178
7.2.2　基于Qwen-1.8B模型進行對話要素抽取 180
7.3　基于Qwen的對話要素抽取模型微調(diào) 183
7.3.1　項目介紹 183
7.3.2　數(shù)據(jù)預(yù)處理 183
7.3.3　模型微調(diào) 190
7.3.4　模型預(yù)測 198
7.4　本章小結(jié) 202

第8章　Agent應(yīng)用開發(fā) 203
8.1　Agent概述 203
8.2　Agent的主要模塊 205
8.3　Agent的行為決策機制 207
8.4　主流Agent 框架 211
8.4.1　LangChain框架 211
8.4.2　LlamaIndex框架 214
8.4.3　AutoGPT框架 215
8.4.4　AutoGen 框架 216
8.4.5　SuperAGI框架 219
8.5　本章小結(jié) 221

第9章　基于知識庫的大型語言模型問答應(yīng)用 222
9.1　基于知識庫問答 222
9.2　向量數(shù)據(jù)庫 224
9.2.1　文本的向量表征 225
9.2.2　向量的距離度量方法 228
9.2.3　常用的向量數(shù)據(jù)庫 229
9.3　基于知識庫的大型語言模型問答實戰(zhàn) 231
9.3.1　BGE微調(diào) 231
9.3.2　基于ChatGLM3知識庫答案生成任務(wù)的微調(diào) 238
9.3.3　基于Streamlit 的知識庫答案應(yīng)用搭建 245
9.4　本章小結(jié) 249

第10 章　使用LangChain 構(gòu)建一個AutoGPT 250
10.1　AutoGPT 概述 250
10.2　LangChain 概述 253
10.3　使用LangChain 構(gòu)建AutoGPT 254
10.3.1　構(gòu)建 254
10.3.2　規(guī)劃和任務(wù)分解 255
10.3.3　輸出解析 258
10.3.4　程序的核心AutoGPT類 261
10.3.5　工具能力配置 266
10.3.6　為Agent 配置記憶 269
10.4　運行AutoGPT 274
10.5　本章小結(jié) 277