Llama大模型實踐指南

定　價：￥79.00

作　者：	張俊祺等
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網(wǎng) (￥59.20)

ISBN：	9787121470103	出版時間：	2024-01-01	包裝：	平塑勒
開本：		頁數(shù)：		字數(shù)：

內容簡介

　　本書共包括7章，涵蓋了從基礎理論到實際應用的全方位內容。第1章深入探討了大模型的基礎理論。第2章和第3章專注于Llama 2大模型的部署和微調，提供了一系列實用的代碼示例、案例分析和最佳實踐。第4章介紹了多輪對話難題，這是許多大模型開發(fā)者和研究人員面臨的一大挑戰(zhàn)。第5章探討了如何基于Llama 2定制行業(yè)大模型，以滿足特定業(yè)務需求。第6章介紹了如何利用Llama 2和LangChain構建高效的文檔問答模型。第7章展示了多語言大模型的技術細節(jié)和應用場景。本書既適合剛入門的學生和研究人員閱讀，也適合有多年研究經(jīng)驗的專家和工程師閱讀。通過閱讀本書，讀者不僅能掌握Llama 2大模型的核心概念和技術，還能學會如何將這些知識應用于實際問題，從而在這一快速發(fā)展的領域中取得優(yōu)勢。

作者簡介

　　張俊祺，清華大學計算機系博士，曾獲CIKM 2018唯一最佳論文獎、 2022年中關村U30等榮譽，原子回聲創(chuàng)始人。曲東奇，東南大學畢業(yè)，德國亥姆霍茲研究中心訪問學者。張正，清華大學計算機系畢業(yè)，對于深度學習、自然語言處理技術有著極其豐富的研究和產(chǎn)業(yè)經(jīng)驗，組織訓練和研發(fā)了原子大模型。占冰強，AIGCLINK發(fā)起人，中關村超互聯(lián)聯(lián)盟副秘書長，行行AI合伙人，曾聯(lián)合創(chuàng)辦算法和數(shù)學建模交流平臺數(shù)學中國。

圖書目錄

第1章　大模型的基礎理論
1.1　大模型的發(fā)展歷史
1.1.1　從語言模型到預訓練大模型
1.1.2　預訓練大模型的發(fā)展
1.1.3　大模型的進化
1.2　大模型的核心框架
1.2.1　Transformer
1.2.2　位置編碼
1.2.3　多頭自注意力機制
1.3　數(shù)據(jù)收集和數(shù)據(jù)處理
1.3.1　數(shù)據(jù)收集
1.3.2　數(shù)據(jù)處理
1.4　大模型的預訓練及微調
1.4.1　無監(jiān)督預訓練
1.4.2　指令微調
1.4.3　基于人類反饋微調
1.5　大模型的評測
1.5.1　評測任務
1.5.2　評測數(shù)據(jù)集
1.5.3　評測方法
1.5.4　評測中的挑戰(zhàn)
第2章　部署Llama 2大模型
2.1　部署前的準備
2.1.1　硬件準備
2.1.2　環(huán)境準備
2.2　模型的導入與加載
2.2.1　下載代碼
2.2.2　下載模型
2.3　模型部署
2.3.1　API部署
2.3.2　text-generation-webui 部署
2.3.3　使用text-generation-webui
第3章　微調Llama 2大模型
3.1　微調的數(shù)據(jù)集準備和標注
3.1.1　數(shù)據(jù)集準備
3.1.2　數(shù)據(jù)集標注
3.2　Llama 2大模型加載
3.3　微調策略設計及模型重新訓練
3.3.1　微調策略設計
3.3.2　模型參數(shù)高效微調
3.4　模型評估、測試和模型優(yōu)化
3.4.1　模型評估、測試
3.4.2　模型優(yōu)化
3.5　模型保存、模型部署和推理加速
3.5.1　模型保存
3.5.2　模型部署
3.5.3　推理加速
第4章　解決Llama 2大模型多輪對話難題
4.1　定制多輪對話數(shù)據(jù)集和構造方法
4.1.1　準備微調訓練數(shù)據(jù)的7個原則
4.1.2　定制微調訓練數(shù)據(jù)集
4.1.3　多輪對話的3個場景
4.2　實操構造多輪對話微調訓練數(shù)據(jù)集
4.3　通過多輪對話存儲解決信息流失問題
4.3.1　拼接歷史與當前輸入
4.3.2　上下文向量
4.3.3　對話狀態(tài)追蹤
4.3.4　狀態(tài)壓縮
4.3.5　增量學習和在線學習
4.4　提高大模型多輪對話應對能力
4.4.1　針對性的數(shù)據(jù)集與微調
4.4.2　實時反饋與自適應
4.4.3　強化學習優(yōu)化
4.4.4　上下文感知與個性化
4.4.5　多模態(tài)與多任務學習
4.4.6　錯誤處理與恢復策略
4.5　模型評估與持續(xù)改進
4.5.1　微調Llama 2大模型評估
4.5.2　持續(xù)改進
4.6　適合Llama 2大模型多輪對話的prompt構建
第5章　基于Llama 2定制行業(yè)大模型
5.1　業(yè)務數(shù)據(jù)分析指導行業(yè)大模型定制
5.1.1　行業(yè)大模型的定制策略
5.1.2　模型性能的評估
5.2　行業(yè)數(shù)據(jù)的獲取與預處理
5.2.1　數(shù)據(jù)獲取
5.2.2　數(shù)據(jù)預處理
5.3　Llama 2大模型導入初始化
5.4　微調獲得行業(yè)特定大模型
5.4.1　領域預訓練
5.4.2　微調策略
5.5　模型測試、評估和優(yōu)化
第6章　Llama 2 + LangChain文檔問答模型構建
6.1　LangChain介紹
6.2　LangChain的主要概念與示例
6.2.1　模型
6.2.2　提示
6.2.3　輸出解析器
6.2.4　索引
6.2.5　內存
6.2.6　鏈
6.2.7　代理
6.2.8　工具
6.3　LangChain 環(huán)境配置
6.3.1　Python環(huán)境搭建
6.3.2　LangChain主要模塊
6.4　Llama 2+LangChain文檔問答模型評估
6.4.1　設置虛擬環(huán)境和創(chuàng)建文件結構
6.4.2　Llama 2和LangChain的交互流程
6.4.3　具體案例
第7章　多語言大模型技術介紹及其工業(yè)應用
7.1　多語言大模型的研究現(xiàn)狀和技術方向
7.1.1　為什么進行多語言研究
7.1.2　多語言在NLP社區(qū)的發(fā)展
7.1.3　多語言模型技術方向
7.2　多語言大模型的預訓練資源和評測任務
7.2.1　多語言大模型的預訓練資源介紹
7.2.2　評測任務介紹
7.3　多語言大模型的優(yōu)化方向
7.3.1　數(shù)據(jù)預處理流程
7.3.2　Tokenizer
7.3.3　訓練數(shù)據(jù)格式和采樣策略
7.3.4　多語言大模型的訓練任務
7.3.5　多語言大模型的優(yōu)化方向總結（以Llama 2為例）
7.4　多語言大模型的工業(yè)應用
7.4.1　智能客服
7.4.2　搜索引擎
7.4.3　機器翻譯