生物學家必備大數(shù)據(jù)實用計算技巧

目錄
在開始之前 1
引言 1
為什么要寫這本書？ 1
為什么只針對生物學家？ 2
需要使用特定計算機或程序嗎？ 2
寫給使用這本書自學的讀者 3
寫給使用這本書的教師 3
超越這本書 4
如何使用好這本書 4
第一部分 文本文件
第1章 開始設置 9
關于文本文件的操作介紹 9
什么是文本文件 9
在一個文本文件內組織數(shù)據(jù) 10
文本編輯器 11
安裝TextWrangler 11
在文本編輯器里優(yōu)化文本外觀 12
行尾結束符 13
示例文件 13
安裝示例文件 14
探索示例文件 14
總結 15
第2章 正則表達式：強大的搜索和替換 16
一種用于搜索和替換的廣泛語言 16
了解這個新工具箱的組件 17
設置文本編輯器 17
你的第一個通配符：\\w 代替字母和數(shù)字 19
用()來捕獲文本 20
量詞：用+來對應一個或多個實體 21
用\\進行標點符號字符轉義 23
更為特殊的搜索項：\\s \\t \\r.\\d 24
示例：分子數(shù)據(jù)文件的重新格式化 25
關于生成正則表達式的評論 26
總結 27
第3章 探索正則表達式的靈活性 28
字符集：定義你自己的通配符 28
用[]定義定制的字符集 28
應用自定義字符集 28
否定字符集：用[^]定義自定義字符集 30
邊界：^開頭和$結尾 31
使量詞更加精密 32
另一個量詞：*為零次或多次 32
用？修改貪婪程度 33
用{}符號控制匹配的數(shù)量 33
把所有都放在一起 34
生成替換關鍵詞 35
構建可靠的搜索 36
總結 37
進一步學習 38
第二部分 Shell命令
第4章 命令行操作：shell 41
初次接觸：不要懼怕命令行 41
開始了解shell然后產生興趣 42
開始了解shell 42
文件系統(tǒng)的命令行視圖 43
路徑 44
利用shell在計算機里遨游 45
用ls列出文件，用pwd找出你在哪里 45
如何用cd來回移動位置 47
用~表示主目錄 48
用mkdir和rmdir來添加和移除文件夾 49
復制文件 49
移動文件 51
命令行快捷鍵 51
向上箭頭鍵 51
Tab 52
用命令行參數(shù)來修正命令的行為 53
用less命令瀏覽文件內容 54
在命令行中使用man命令查看幫助文件 55
命令行最終會使你的操作更容易 55
路徑描述中的通配符 55
復制和移動多個文件 56
結束你的終端會話 57
總結 57
推薦閱讀 58
第5章 在shell中處理文本 59
用nano在命令行里編輯文本文件 59
控制shell里的數(shù)據(jù)流 61
用>重定向輸出到一個文件 61
用cat來顯示和連接文件 62
用grep在命令行中使用正則表達式 64
處理一個大數(shù)據(jù)集 64
從文件中抽提特定的行 64
用管道|將輸出從一個程序重定向到另一個程序 66
用grep跨越搜索多個文件 67
改善grep的行為 68
用curl獲取Web上的內容 69
其他shell命令 71
總結 72
第6章 使用shell編寫腳本 73
組合命令 73
搜索路徑 73
命令行如何找到它應執(zhí)行的命令 73
創(chuàng)建你的工作區(qū)—腳本文件夾 75
編輯你的.bash_profile文件來進行個性化設置 76
檢查你的新$PATH 77
把文本文檔型文件轉變?yōu)檐浖?78
#!控制腳本文本用何種程序解釋 79
通過調整權限使文本文件可以被執(zhí)行 79
生成自動腳本 81
批量復制文件 81
靈活的文件重命名 84
運用curl自動檢索參考文獻 86
用curl編寫腳本的幾個常用方法 88
用Alias創(chuàng)建快捷別名 88
總結 89
進一步學習 89
第三部分 編程
第7章 編程組件 93
程序是什么？ 93
接下來幾章的目標 93
實際編程 94
變量 95
變量的剖析 95
基本變量類型 96
能夠容納其他變量的變量 97
數(shù)組和列表 97
不同類型之間的轉換 99
運行中的變量 99
數(shù)學運算符 99
比較運算符與邏輯運算符 100
函數(shù) 101
流控制 102
用if語句做決策 102
由for與while構成的循環(huán) 103
使用列表和字典 104
列表 104
字典 105
其他數(shù)據(jù)類型 105
輸入和輸出 106
用戶交互 106
文件 106
庫和模塊 107
注釋語句 108
對象 108
總結 109
第8章 開始使用Python編程 110
為什么選擇Python 110
編寫程序 111
開始運行程序 111
構建dnacalc.py程序 112
簡單的print語句 112
len()函數(shù) 114
使用str()、int()和float()轉換變量類型 115
內置字符串函數(shù).count() 116
整數(shù)和浮點數(shù)的數(shù)學運算 116
使用#添加評論 118
使用%運算符控制字符串格式 118
獲取用戶輸入 120
使用raw_input()收集用戶輸入 120
用.replace()和.upper()整理變量 121
回顧你的程序 123
總結 123
第9章 決策與循環(huán) 124
Python交互式提示符 124
獲取Python的幫助 126
向dnacalc.py里添加更多的計算內容 127
if 條件語句 127
使用縮進指定代碼塊 128
邏輯運算符 128
if 語句 129
else:語句 130
for循環(huán)介紹 132
列表簡介 132
在proteincalc.py中寫入for循環(huán) 133
創(chuàng)建字典 133
其他字典函數(shù) 139
應用你學會的循環(huán)技能 140
回顧列表 140
列表的索引 141
從列表中解包多個值 143
用range()函數(shù)定義一個列表 143
列表和字符串的比較 145
列表和字符串之間轉換 146
向列表中添加元素 147
從列表中刪除元素 148
查找列表的內容 148
給列表排序 148
識別列表及字符串中獨有的元素 149
列表推導式 150
總結 152
進一步學習 153
第10章 讀取與寫入文件 154
目標概述 154
從文件中逐條讀取每一行內容 156
讀取數(shù)據(jù)文件之前的注意事項 156
打開并讀取文本文件 157
用.strip()刪除行尾字符 159
跳過標題行 159
從行中解析數(shù)據(jù) 160
將行拆分為數(shù)據(jù)字段 160
從列表中選擇元素 161
寫入文件 162
扼要重述文件的基本讀寫過程 164
使用正則表達式解析值 165
導入re模塊 165
通過re模塊使用正則表達式 165
re.search()與re.sub()的使用總結 167
使用def創(chuàng)建自定義Python函數(shù) 168
用新格式打包數(shù)據(jù) 173
檢查標記語言 173
在轉換期間保留信息 174
轉換為KML格式 174
KML文件格式 174
生成KML 文本 175
總結 179
進一步學習 179
第11章 合并文件 180
從多個文件中讀取數(shù)據(jù) 180
使用sys.argv獲取用戶的輸入內容 181
將所有參數(shù)轉換為文件列表 183
使用sys.stderr.write()提供反饋 184
循環(huán)遍歷文件列表 185
打印輸出并生成標題行 187
避免硬編碼軟件 187
文件讀取的其他應用 190
總結 192
進一步學習 192
第12章 模塊與庫 194
導入模塊 194
更多來自標準庫的內置模塊 196
urllib模塊 196
os模塊 197
math模塊 197
random模塊 198
time模塊 199
第三方模塊 200
NumPy 201
Biopython 202
其他第三方模塊 203
制作自己的模塊 204
繼續(xù)深入學習Python 205
總結 206
進一步學習 206
第13章 調試策略 207
在調試中學習 207
通用策略 208
建立工作元素 208
思考你的假設 208
具體的調試技術 209
隔離問題 209
編寫冗長的軟件 210
錯誤信息及其含義 211
常見的Python錯誤 211
shell錯誤 212
讓你的程序更有效率 212
優(yōu)化 212
使用try和except來處理錯誤 213
當你實在被困住時 214
總結 215
進一步學習 215
第四部分 多種方法合并
第14章 選擇和組合工具 219
你的工具箱 219
數(shù)據(jù)處理任務的類別 219
獲取數(shù)字數(shù)據(jù) 219
重新格式化文本文件 222
綜合考慮 226
總結 226
進一步學習 226
第15章 關系型數(shù)據(jù)庫 227
電子表格和數(shù)據(jù)組織 227
數(shù)據(jù)管理系統(tǒng) 229
剖析一個數(shù)據(jù)庫 230
安裝MySQL 231
開始使用MySQL和SQL 233
連接到命令行中的MySQL服務器 233
創(chuàng)建數(shù)據(jù)庫和表 235
向表中添加數(shù)據(jù)行和顯示表的內容 239
在Python中與MySQL進行交互 240
解析輸入的文本 241
從數(shù)據(jù)中構造SQL 243
從Python中執(zhí)行SQL命令 244
將文本文件導入到表格中 249
創(chuàng)建ctd表 250
用LOAD DATA命令導入數(shù)據(jù)文件 251
以SQL文件的形式導出和導入數(shù)據(jù)庫 253
用SQL探索數(shù)據(jù) 253
用SELECT和COUNT命令匯總表 253
用GROUP BY校對數(shù)據(jù) 255
SQL中的數(shù)學運算 256
用WHERE對行進行精確選擇 256
用UPDATE修改行 259
跨表選擇數(shù)據(jù) 260
使用Python 生成輸出 262
繼續(xù)向前看 264
數(shù)據(jù)庫用戶和安全性 264
創(chuàng)建一個root密碼 265
添加一個新的MySQL用戶 265
總結 266
進一步學習 267
推薦閱讀 267
第16章 高級的shell和管道命令 268
其他有用的shell命令 268
用head和tail提取行 268
用cut提取列 268
用sort對行排序 270
用uniq分離出獨有的行 271