倉頡TensorBoost學(xué)習(xí)之旅：人工智能與深度學(xué)習(xí)實(shí)戰(zhàn)

教學(xué)課件（PPT）
 
本書源碼
 
第1章初探深度學(xué)習(xí)
1．1人工智能的基本概念
1.2神經(jīng)網(wǎng)絡(luò)的3次浪潮
1.2．1第1次浪潮： 感知機(jī)的誕生和應(yīng)用
1.2．2第2次浪潮： 神經(jīng)網(wǎng)絡(luò)的大發(fā)展
1.2．3第3次浪潮： 深度學(xué)習(xí)
1.3深度學(xué)習(xí)框架
1.3．1主流深度學(xué)習(xí)框架的對(duì)比
1.3．2昇思(MindSpore)
1.4本章小結(jié)
1.5習(xí)題
第2章倉頡語言快速入門
2.1倉頡語言的開發(fā)環(huán)境搭建
2.1．1安裝和配置倉頡語言編譯器
2.1．2第1個(gè)倉頡程序
2.2倉頡語言的基本語法
2.2．1變量和數(shù)據(jù)類型
2.2．2字符和字符串
2.2．3操作符和表達(dá)式
2.2．4條件結(jié)構(gòu)和循環(huán)結(jié)構(gòu)
2.2．5函數(shù)的定義和調(diào)用
2.3類和結(jié)構(gòu)體
2.3．1類與對(duì)象
2.3．2繼承和多態(tài)
2.3．3接口
2.3．4結(jié)構(gòu)體及其構(gòu)造函數(shù)
2.4泛型和集合類型
2.4．1泛型類型
2.4．2泛型函數(shù)
2.4．3集合類型
2.5包管理工具
2.5．1包
2.5．2模塊
2.5．3庫
2.6本章小結(jié)
2.7習(xí)題
第3章自制多層感知機(jī)
3.1準(zhǔn)備工作： 實(shí)現(xiàn)矩陣運(yùn)算和讀取MNIST數(shù)據(jù)集
3.1．1矩陣和矩陣運(yùn)算
3.1．2MNIST數(shù)據(jù)集
3.2自制多層感知機(jī)的實(shí)現(xiàn)
3.2．1多層感知機(jī)的構(gòu)建
3.2．2多層感知機(jī)的訓(xùn)練
3.2．3多層感知機(jī)的核心： 反向傳播算法
3.2．4隨機(jī)梯度下降和超參數(shù)的設(shè)置
3.2．5讓代碼運(yùn)行起來
3.3本章小結(jié)
3.4習(xí)題
第4章自動(dòng)微分
4.1自動(dòng)微分的原理和實(shí)現(xiàn)
4.1．1微分類型
4.1．2自動(dòng)微分的原理
4.1．3自動(dòng)微分的實(shí)現(xiàn)
4.2倉頡的可微編程
4.2．1初探可微編程
4.2．2可微類型
4.2．3可微函數(shù)
4.2．4伴隨函數(shù)
4.2．5高階微分
4.3本章小結(jié)
4.4習(xí)題
第5章倉頡TensorBoost的環(huán)境搭建
5.1準(zhǔn)備工作
5.2搭建MindSpore編譯環(huán)境
5.2．1顯卡驅(qū)動(dòng)與CUDA的安裝
5.2．2編譯工具的安裝
5.2．3編譯依賴的安裝
5.3編譯并安裝MindSpore
5.4倉頡TensorBoost的環(huán)境配置
5.4．1倉頡TensorBoost的安裝
5.4．2檢查倉頡TensorBoost是否安裝成功
5.5環(huán)境配置中的常見問題
5.5．1更新Python版本后終端無法正常打開
5.5．2編譯MindSpore時(shí)出現(xiàn)OpenMPI編譯錯(cuò)誤
5.5．3eigen包下載失敗
5.5．4通過SSH和Samba服務(wù)在Windows環(huán)境中開發(fā)倉頡TensorBoost
程序
5.6本章小結(jié)
5.7習(xí)題
第6章張量的基本用法
6.1張量
6.1．1張量的定義
6.1．2張量和數(shù)組的轉(zhuǎn)換
6.1．3張量的屬性
6.1．4張量的復(fù)制
6.2張量的基本運(yùn)算
6.2．1加、減、乘、除、取余
6.2．2無窮與非數(shù)
6.2．3矩陣運(yùn)算
6.2．4張量的維度交換和矩陣轉(zhuǎn)置
6.3張量是可微類型
6.3．1動(dòng)態(tài)圖和靜態(tài)圖
6.3．2張量的自動(dòng)微分
6.4張量元組與參數(shù)
6.4．1張量元組
6.4．2參數(shù)
6.5本章小結(jié)
6.6習(xí)題
第7章構(gòu)建神經(jīng)網(wǎng)絡(luò)
7.1單層感知機(jī)實(shí)現(xiàn)線性回歸
7.1．1MindRecord數(shù)據(jù)集的讀取
7.1．2定義感知機(jī)
7.1．3計(jì)算代價(jià)函數(shù)并反向傳播求解梯度
7.1．4應(yīng)用隨機(jī)梯度下降優(yōu)化器更新感知機(jī)參數(shù)
7.1．5訓(xùn)練感知機(jī)
7.2多層感知機(jī)實(shí)現(xiàn)數(shù)字識(shí)別
7.2．1MNIST數(shù)據(jù)集的讀取
7.2．2定義多層感知機(jī)
7.2．3計(jì)算代價(jià)函數(shù)并反向傳播求解梯度
7.2．4創(chuàng)建隨機(jī)梯度下降優(yōu)化器更新網(wǎng)絡(luò)參數(shù)
7.2．5訓(xùn)練多層感知機(jī)
7.3神經(jīng)網(wǎng)絡(luò)的持久化
7.3．1運(yùn)行環(huán)境管理和靜態(tài)圖的保存
7.3．2張量的持久化
7.3．3神經(jīng)網(wǎng)絡(luò)模型的持久化
7.4本章小結(jié)
7.5習(xí)題
第8章張量的高級(jí)用法
8.1數(shù)學(xué)運(yùn)算算子
8.1．1基礎(chǔ)數(shù)學(xué)運(yùn)算算子
8.1．2統(tǒng)計(jì)運(yùn)算
8.1．3稀疏算法
8.1．4邏輯運(yùn)算
8.1．5張量的內(nèi)存設(shè)置
8.2張量比較
8.2．1維度內(nèi)的比較
8.2．2元素級(jí)的比較
8.2．3廣播機(jī)制
8.3張量的維度操作
8.3．1基本維度變換
8.3．2張量的切片和取值
8.3．3張量的合并與分割
8.3．4反轉(zhuǎn)元素
8.4本章小結(jié)
8.5習(xí)題
第9章深度神經(jīng)網(wǎng)絡(luò)
9.1選擇合適的損失函數(shù)
9.1．1L1、L2范數(shù)損失函數(shù)
9.1．2熵和交叉熵
9.1．3交叉熵?fù)p失函數(shù)
9.1．4Softmax激活函數(shù)
9.2選擇合適的激活函數(shù)
9.2．1梯度消失和梯度爆炸
9.2．2Sigmoid及其衍生激活函數(shù)
9.2．3線性整流函數(shù)(ReLU)
9.2．4常用的激活函數(shù)
9.3選擇合適的優(yōu)化器
9.3．1動(dòng)量梯度下降
9.3．2自適應(yīng)學(xué)習(xí)率
9.3．3Adam算法
9.4正則化與過擬合問題
9.4．1過擬合和欠擬合
9.4．2L1和L2正則化
9.4．3DropOut
9.5改進(jìn)深度神經(jīng)網(wǎng)絡(luò)
9.5．1采樣器、訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集的加載
9.5．2改進(jìn)激活函數(shù)和損失函數(shù)
9.5．3改進(jìn)優(yōu)化器
9.6本章小結(jié)
9.7習(xí)題
第10章卷積神經(jīng)網(wǎng)絡(luò)
10.1卷積神經(jīng)網(wǎng)絡(luò)與圖像識(shí)別
10.1．1卷積和圖像卷積
10.1．2初識(shí)卷積神經(jīng)網(wǎng)絡(luò)
10.2LeNet神經(jīng)網(wǎng)絡(luò)
10.2．1LeNet5神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
10.2．2手寫數(shù)字識(shí)別的實(shí)現(xiàn)
10.3VGG神經(jīng)網(wǎng)絡(luò)
10.3．1CIFAR10數(shù)據(jù)集
10.3．2批標(biāo)準(zhǔn)化
10.3．3VGG16神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
10.3．4圖片分類的實(shí)現(xiàn)
10.4本章小結(jié)
10.5習(xí)題
第11章循環(huán)神經(jīng)網(wǎng)絡(luò)
11.1循環(huán)神經(jīng)網(wǎng)絡(luò)基本原理
11.1．1初識(shí)循環(huán)神經(jīng)網(wǎng)絡(luò)
11.1．2長短期記憶網(wǎng)絡(luò)
11.2用LSTM解決序列問題
11.2．1堆疊LSTM
11.2．2序列數(shù)據(jù)的表示方法
11.2．3預(yù)測航班載客量的實(shí)現(xiàn)
11.3本章小結(jié)
11.4習(xí)題
附錄A張量的操作符重載