高性能計(jì)算：現(xiàn)代系統(tǒng)與應(yīng)用實(shí)踐

譯者序
序言
前言
致謝
第1章　緒論 1
1.1　高性能計(jì)算學(xué)科 2
1.1.1　定義 3
1.1.2　應(yīng)用程序 3
1.1.3　性能和指標(biāo) 3
1.1.4　高性能計(jì)算系統(tǒng) 4
1.1.5　超算問題 6
1.1.6　應(yīng)用編程 7
1.2　超算對科學(xué)、社會(huì)和安全的影響 8
1.2.1　促進(jìn)欺詐檢測和市場數(shù)據(jù)分析 8
1.2.2　發(fā)現(xiàn)、管理和分配石油和天然氣 8
1.2.3　加快制造業(yè)的創(chuàng)新 9
1.2.4　個(gè)性化醫(yī)藥和藥物發(fā)現(xiàn) 9
1.2.5　預(yù)測自然災(zāi)害和了解氣候變化 10
1.3　超級(jí)計(jì)算機(jī)剖析 11
1.4　計(jì)算機(jī)性能 13
1.4.1　性能 13
1.4.2　峰值性能 13
1.4.3　持續(xù)性能 14
1.4.4　可擴(kuò)展性 15
1.4.5　性能退化 15
1.4.6　性能提升 17
1.5　超級(jí)計(jì)算機(jī)簡史 17
1.5.1　第一個(gè)階段—利用機(jī)械技術(shù)的自動(dòng)計(jì)算機(jī) 18
1.5.2　第二個(gè)階段—真空管時(shí)代的馮·諾依曼架構(gòu) 19
1.5.3　第三個(gè)階段—指令級(jí)并行 23
1.5.4　第四個(gè)階段—向量處理和積分 24
1.5.5　第五個(gè)階段—單指令多數(shù)據(jù)陣列 27
1.5.6　第六個(gè)階段—順序處理器的通信和超大規(guī)模集成電路 27
1.5.7　第七個(gè)階段—多核和千萬億次 30
1.5.8　新數(shù)字時(shí)代和超越摩爾定律 30
1.6　作為學(xué)生的指南和工具 31
1.7　本章小結(jié)及成果 32
1.8　練習(xí) 33
參考文獻(xiàn) 34
第2章　HPC架構(gòu)：系統(tǒng)和技術(shù) 35
2.1　引言 35
2.2　HPC架構(gòu)的關(guān)鍵特性 36
2.2.1　速度 36
2.2.2　并行性 36
2.2.3　效率 37
2.2.4　功率 37
2.2.5　可靠性 38
2.2.6　可編程性 38
2.3　并行架構(gòu)家族—弗林分類法 39
2.4　支持技術(shù) 41
2.4.1　技術(shù)階段 41
2.4.2　技術(shù)的角色 44
2.4.3　數(shù)字邏輯 45
2.4.4　存儲(chǔ)技術(shù) 47
2.5　馮·諾依曼順序處理器 50
2.6　向量和流水線 52
2.6.1　流水線并行 53
2.6.2　向量處理 55
2.7　單指令多數(shù)據(jù)陣列 56
2.7.1　單指令多數(shù)據(jù)架構(gòu) 56
2.7.2　阿姆達(dá)定律 57
2.8　多處理器 59
2.8.1　共享內(nèi)存多處理器 60
2.8.2　大規(guī)模并行處理器 62
2.8.3　商品集群系統(tǒng) 62
2.9　異構(gòu)計(jì)算機(jī)結(jié)構(gòu) 63
2.10　本章小結(jié)及成果 64
2.11　練習(xí) 65
參考文獻(xiàn) 67
第3章　商品集群 68
3.1　引言 68
3.1.1　商品集群的定義 68
3.1.2　集群的動(dòng)機(jī)和理由 69
3.1.3　集群元素 70
3.1.4　對500強(qiáng)名單的影響 70
3.1.5　簡史 71
3.1.6　章節(jié)指南 73
3.2　Beowulf集群項(xiàng)目 74
3.3　硬件架構(gòu) 76
3.3.1　節(jié)點(diǎn) 76
3.3.2　系統(tǒng)區(qū)域網(wǎng)絡(luò) 77
3.3.3　輔助存儲(chǔ) 78
3.3.4　商業(yè)系統(tǒng)摘要 78
3.4　編程接口 78
3.4.1　高性能計(jì)算程序設(shè)計(jì)語言 78
3.4.2　并行編程模式 80
3.5　軟件環(huán)境 80
3.5.1　操作系統(tǒng) 80
3.5.2　資源管理 82
3.5.3　調(diào)試器 83
3.5.4　性能分析 84
3.5.5　可視化 85
3.6　基本使用方法 86
3.6.1　登錄 86
3.6.2　用戶空間和目錄系統(tǒng) 87
3.6.3　包的配置和構(gòu)建 92
3.6.4　編譯器和編譯 93
3.6.5　運(yùn)行應(yīng)用程序 94
3.7　本章小結(jié)及成果 94
3.8　練習(xí) 95
參考文獻(xiàn) 95
第4章　基準(zhǔn)測試程序 97
4.1　引言 97
4.2　HPC基準(zhǔn)測試程序的關(guān)鍵屬性 100
4.3　標(biāo)準(zhǔn)的HPC社區(qū)的基準(zhǔn)測試程序 101
4.4　高度并行計(jì)算的Linpack 102
4.5　HPC挑戰(zhàn)基準(zhǔn)測試套件 104
4.6　高性能共軛梯度 106
4.7　NAS并行基準(zhǔn)測試程序 110
4.8　Graph500 111
4.9　小型應(yīng)用作為基準(zhǔn)測試程序 115
4.10　本章小結(jié)及成果 116
4.11　練習(xí) 117
參考文獻(xiàn) 118
第5章　資源管理的基礎(chǔ) 119
5.1　資源管理 119
5.2　SLURM的基礎(chǔ) 123
5.2.1　架構(gòu)概述 123
5.2.2　工作負(fù)載的組織 124
5.2.3　SLURM調(diào)度 125
5.2.4　SLURM命令概要 127
5.2.5　SLURM作業(yè)腳本 141
5.2.6　SLURM速查表 146
5.3　便攜式批量系統(tǒng)基礎(chǔ) 147
5.3.1　PBS概述 147
5.3.2　PBS架構(gòu) 148
5.3.3　PBS命令概要 148
5.3.4　PBS作業(yè)腳本 158
5.3.5　PBS速查表 160
5.4　本章小結(jié)及成果 161
5.5　練習(xí) 162
參考文獻(xiàn) 163
第6章　對稱多處理器架構(gòu) 164
6.1　引言 164
6.2　架構(gòu)概覽 165
6.3　阿姆達(dá)定律 168
6.4　處理器核心的架構(gòu) 171
6.4.1　執(zhí)行流水線 172
6.4.2　指令級(jí)并行 173
6.4.3　分支預(yù)測 173
6.4.4　直通 174
6.4.5　保留站 174
6.4.6　多線程 174
6.5　存儲(chǔ)層次 175
6.5.1　數(shù)據(jù)重用和局部性 175
6.5.2　存儲(chǔ)層次結(jié)構(gòu) 176
6.5.3　存儲(chǔ)系統(tǒng)的性能 178
6.6　PCI總線 180
6.7　外部I/O接口 184
6.7.1　網(wǎng)絡(luò)接口控制器 184
6.7.2　串行高級(jí)技術(shù)附件 185
6.7.3　JTAG 187
6.7.4　通用串行總線 189
6.8　本章小結(jié)及成果 190
6.9　練習(xí) 191
參考文獻(xiàn) 192
第7章　OpenMP的基礎(chǔ) 194
7.1　引言 194
7.2　OpenMP編程模型概覽 195
7.2.1　線程并行 195
7.2.2　線程變量 197
7.2.3　運(yùn)行時(shí)庫與環(huán)境變量 197
7.3　并行線程和循環(huán) 199
7.3.1　并行線程 199
7.3.2　私有 200
7.3.3　并行“for”語句 200
7.3.4　塊 206
7.4　同步 208
7.4.1　臨界同步指令 208
7.4.2　master指令 209
7.4.3　barr