神經(jīng)網(wǎng)絡(luò)在應(yīng)用科學(xué)和工程中的應(yīng)用

譯者序
前言
致謝
作者簡介
第1章 從數(shù)據(jù)到模型：理解生物學(xué)、生態(tài)學(xué)和自然系統(tǒng)的復(fù)雜性和挑戰(zhàn)
1.1 概述
1.2 本書安排
參考文獻(xiàn)
第2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)和線性數(shù)據(jù)分析模型
2.1 概述
2.2 神經(jīng)網(wǎng)絡(luò)及其能力
2.3 生物學(xué)的啟示
2.4 神經(jīng)元信息處理的建模
2.5 神經(jīng)元模型和學(xué)習(xí)策略
2.5.1 作為一個簡單分類器的閾值神經(jīng)元
2.5.2 神經(jīng)元和神經(jīng)集合的學(xué)習(xí)模型
2.5.2.1 Hebbian學(xué)習(xí)
2.5.2.2 無監(jiān)督學(xué)習(xí)或競爭學(xué)習(xí)
2.5.2.3 有監(jiān)督學(xué)習(xí)
2.5.3 作為分類器的有監(jiān)督學(xué)習(xí)的感知器
2.5.3.1 感知器學(xué)習(xí)算法
2.5.3.2 基于大量現(xiàn)實(shí)數(shù)據(jù)集的感知器實(shí)例：根據(jù)測定的成長年輪直徑辨識魚的起源
2.5.3.3 統(tǒng)計學(xué)中帶有線性判別函數(shù)分析的感知器比較
2.5.3.4 多種類分類中的多輸出感知器
2.5.3.5 使用感知器的高維分類
2.5.3.6 感知器小結(jié)
2.5.4 用于線性分類和預(yù)報的線性神經(jīng)元
2.5.4.1 利用delta規(guī)則的學(xué)習(xí)
2.5.4.2 作為分類器的線性神經(jīng)元
2.5.4.3 作為預(yù)報能力子集的線性神經(jīng)元的分類屬性
2.5.4.4 實(shí)例：作為預(yù)報器的線性神經(jīng)元
2.5.4.5 線性預(yù)報的實(shí)例：預(yù)報一個家庭的熱流
2.5.4.6 線性神經(jīng)元模型與線性回歸的比較
2.5.4.7 實(shí)例：多輸入線性神經(jīng)元模型——提高一個家庭的熱流預(yù)報精確度
2.5.4.8 一個多輸入線性神經(jīng)元與多重線性回歸的比較
2.5.4.9 多線性神經(jīng)元模型
2.5.4.10 多重線性神經(jīng)網(wǎng)絡(luò)與正則相關(guān)性分析的比較
2.5.4.11 線性神經(jīng)元和線性網(wǎng)絡(luò)小結(jié)
2.6 小結(jié)
習(xí)題
參考文獻(xiàn)
第3章 用于非線性模式識別的神經(jīng)網(wǎng)絡(luò)
3.1 概述
3.2 非線性神經(jīng)元
3.2.1 神經(jīng)元激勵函數(shù)
3.2.1.1 S形函數(shù)
3.2.1.2 高斯函數(shù)
3.2.2 實(shí)例：利用非線性神經(jīng)元對人口增長建模
3.2.3 非線性神經(jīng)元與非線性回歸分析的比較
3.3 單輸入多層非線性網(wǎng)絡(luò)
3.3.1 用單一非線性隱含層神經(jīng)元處理
3.3.2 實(shí)例：用多非線性神經(jīng)元建立循環(huán)現(xiàn)象模型
3.3.2.1 實(shí)例1：逼近一個方波
3.3.2.2 實(shí)例2：為物種的季節(jié)性遷移建立模型
3.4 兩輸入的多層感知器網(wǎng)絡(luò)
3.4.1 用非線性神經(jīng)元處理二維輸入
3.4.2 網(wǎng)絡(luò)輸出
3.4.3 實(shí)例：二維預(yù)報和分類
3.4.3.1 實(shí)例1：二維非線性函數(shù)逼近
3.4.3.2 實(shí)例2：二維非線性分類模型
3.5 用非線性多層感知器網(wǎng)絡(luò)為多維數(shù)據(jù)建模
3.6 小結(jié)
習(xí)題
參考文獻(xiàn)
第4章 神經(jīng)網(wǎng)絡(luò)對非線性模式的學(xué)習(xí)
4.1 概述
4.2 非線性模式識別中網(wǎng)絡(luò)的監(jiān)督訓(xùn)練
4.3 梯度下降法和誤差最小化
4.4 BP學(xué)習(xí)
4.4.1 實(shí)例：BP訓(xùn)練——手工計算
4.4.1.1 關(guān)于輸出神經(jīng)元權(quán)值的誤差梯度
4.4.1.2 關(guān)于隱含神經(jīng)元權(quán)值的誤差梯度
4.4.1.3 梯度下降法在BP學(xué)習(xí)中的應(yīng)用
4.4.1.4 批量學(xué)習(xí)：
4.4.1.5 學(xué)習(xí)率和權(quán)值更新
4.4.1.6 遍歷(在線)學(xué)習(xí)
4.4.1.7 動量法
4.4.2 實(shí)例：BP學(xué)習(xí)的計算實(shí)驗(yàn)
4.4.3 具有多隱含神經(jīng)元的單輸入單輸出網(wǎng)絡(luò)
4.4.4 多輸入、多隱含神經(jīng)元和單輸出網(wǎng)絡(luò)
4.4.5 多輸入、多隱含神經(jīng)元多輸出網(wǎng)絡(luò)
4.4.6 實(shí)例：BP學(xué)習(xí)個案學(xué)習(xí)——解決一個復(fù)雜的分類問題
4.5 delta-bar-delta學(xué)習(xí)方法
4.5.1 實(shí)例：用delta-bar-delta的網(wǎng)絡(luò)訓(xùn)練一手工計算
4.5.2 實(shí)例：帶有動量的delta-bar-delta方法——手工計算
4.5.3 delta-bar-delta的網(wǎng)絡(luò)訓(xùn)練——計算機(jī)實(shí)驗(yàn)
4.5.4 delta-bar-delta方法和BP方法的比較
4.5.5 實(shí)例：用delta-bar-delta方法的網(wǎng)絡(luò)訓(xùn)練——一個案例研究
4.6 最速下降法
4.6.1 實(shí)例：用最速下降法的網(wǎng)絡(luò)訓(xùn)練——手工計算
4.6.2 實(shí)例：用最速下降法的網(wǎng)絡(luò)訓(xùn)練——計算機(jī)實(shí)驗(yàn)
4.7 誤差最小和權(quán)值最優(yōu)的二階方法
4.7.1 QuickProp
4.7.1.1 實(shí)例：QuiekProp的網(wǎng)絡(luò)訓(xùn)練——手工計算
4.7.1.2 實(shí)例：QuickProp的網(wǎng)絡(luò)訓(xùn)練——計算機(jī)實(shí)驗(yàn)
4.7.1.3 QuiekProp與最速下降法、delta-bar-delta和BP方法的比較
4.7.2 誤差最小的二階方法的基本概念
4.7.3 高斯.牛頓方法
4.7.3.1 采用高斯-牛頓方法的網(wǎng)絡(luò)訓(xùn)練——手工計算
4.7.3.2 實(shí)例：采用高斯-牛頓方法的網(wǎng)絡(luò)訓(xùn)練——計算機(jī)實(shí)驗(yàn)
4.7.4 LM方法
4.7.4.1 實(shí)例：用LM方法的網(wǎng)絡(luò)訓(xùn)練——手工計算
4.7.4.2 用LM方法的網(wǎng)絡(luò)訓(xùn)練——計算機(jī)實(shí)驗(yàn)
4.7.5 一階和二階方法在使誤差最小效果上的比較
4.7.6 一階和二階學(xué)習(xí)方法收斂性的比較
4.7.6.1 BP方法
4.7.6.2 最速下降法
4.7.6.3 高斯-牛頓方法
4.7.6.4 LM方法
4.8 小結(jié)
習(xí)題
參考文獻(xiàn)
第5章 從數(shù)據(jù)中抽取可靠模式的神經(jīng)網(wǎng)絡(luò)模型的實(shí)現(xiàn)
5.1 概述
5.2 偏差-方差折中
5.3 改善神經(jīng)網(wǎng)絡(luò)的泛化
5.3.1 及早停止法的說明
5.3.1.1 任意初始權(quán)值的影響
5.3.1.2 訓(xùn)練好網(wǎng)絡(luò)的權(quán)值結(jié)構(gòu)
5.3.1.3 隨機(jī)采樣的影響
5.3.1.4 模型復(fù)雜性的影響：隱含神經(jīng)元的數(shù)目
5.3.1.5 及早停止法小結(jié)
5.3.2 正規(guī)化法
5.4 通過修剪減小網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性
5.4.1 最優(yōu)腦部損傷(OBD)
5.4.2 基于網(wǎng)絡(luò)靈敏度方差的網(wǎng)絡(luò)修剪
5.4.2.1 修剪權(quán)值的方差無效性應(yīng)用的闡述
5.4.2.2 基于靈敏度的方差無效性修剪隱含神經(jīng)元
5.5 網(wǎng)絡(luò)對權(quán)值擾動的魯棒性
5.6 小結(jié)
習(xí)題
參考文獻(xiàn)
第6章 數(shù)據(jù)探測、維數(shù)約簡和特征提取
6.1 概述
6.1.1 實(shí)例：關(guān)于相關(guān)輸入數(shù)據(jù)的木頭的熱導(dǎo)率
6.2 數(shù)據(jù)可視化
6.2.1 散點(diǎn)圖和柱狀圖的相關(guān)性
6.2.2 并行可視化
6.2.3 多維數(shù)據(jù)到二維平面的映射
6.3 變量間的相關(guān)性與協(xié)方差
6.4 數(shù)據(jù)的規(guī)范化
6.4.1 標(biāo)準(zhǔn)化
6.4.2 簡單值域調(diào)整
6.4.3 白化——多維相關(guān)數(shù)據(jù)的規(guī)范化
6.5 選擇相關(guān)輸入
6.5.1 用于變量選擇的統(tǒng)計手段
6.5.1.1 偏相關(guān)
6..5.1.2 多元回歸與最優(yōu)子集回歸
……
第7章 使用貝葉斯統(tǒng)計的神經(jīng)網(wǎng)絡(luò)模型的不確定性評估
第8章 應(yīng)用自組織映射的方法發(fā)現(xiàn)數(shù)據(jù)中的未知聚類
第9章 神經(jīng)網(wǎng)絡(luò)在時間序列預(yù)測中的應(yīng)用
附錄