走進搜索引擎

稱為“Crawler”，中文譯為“爬蟲”，或者“蜘蛛”）是其中最華彩的樂章。讓我們從爬蟲開始，逐漸進入閃爍著奇異光芒的領地。
第一節(jié)  爬蟲的發(fā)展歷史    32
世界上第1個爬蟲    32
爬蟲的發(fā)展歷程    33
第二節(jié)  萬維網(wǎng)及其網(wǎng)頁分析    34
蝴蝶結型的萬維網(wǎng)    34
萬維網(wǎng)的直徑    37
萬維網(wǎng)的規(guī)模及變化特征    39
網(wǎng)頁的特征    39
第三節(jié)  有關爬蟲的基本概念    41
爬蟲    41
種子站點    41
URL    42
Backlinks    42
第四節(jié)  網(wǎng)頁抓取原理    43
telnet和wget    43
從種子站點開始逐層抓取    44
不重復抓取策略    50
網(wǎng)頁抓取優(yōu)先策略    59
網(wǎng)頁重訪策略★    61
Robots協(xié)議    67
其他應該注意的禮貌性問題    69
抓取提速策略（合作抓取策略）    70
第五節(jié)  網(wǎng)頁庫    77
第六節(jié)  下載系統(tǒng)回顧及未來發(fā)展    82
參考文獻    84
第四章  搜索引擎的分析系統(tǒng)    86
搜索引擎的4大系統(tǒng)中的第2個系統(tǒng)是分析系統(tǒng)，分析系統(tǒng)主要完成的工作包括信息抽取、網(wǎng)頁消重、中文分詞和PageRank計算等。
第一節(jié)  知識準備    87
HTML語言    87
錨文本（anchor text）    87
半結構化數(shù)據(jù)（Semi-structured data）    88
第二節(jié)  信息抽取及網(wǎng)頁信息結構化    89
網(wǎng)頁結構化的目標    89
建立HTML標簽樹    93
通過投票方法得到正文    98
網(wǎng)頁結構化過程回顧    103
第三節(jié)  網(wǎng)頁查重    105
網(wǎng)頁查重技術發(fā)展歷史    105
網(wǎng)頁查重實現(xiàn)方法    107
第四節(jié)  中文分詞    113
什么是中文分詞    113
通過字典實現(xiàn)分詞    114
通過統(tǒng)計學方法實現(xiàn)分詞    120
第五節(jié)  PageRank    121
PageRank的來由    121
PageRank的基本想法    122
PageRank的計算公式    124
PageRank的計算方法 ★    129
第六節(jié)  分析系統(tǒng)結構圖    134
參考文獻    136
第五章  搜索引擎的索引系統(tǒng)    139
在搜索引擎的4大系統(tǒng)中，第3個系統(tǒng)稱為“索引系統(tǒng)”。該系統(tǒng)就好像搜索引擎的數(shù)據(jù)大本營，在這里存儲了并索引了數(shù)以億計的網(wǎng)頁。
第一節(jié)  知識準備    140
信息    140
索引    141
倒排索引、倒排表、臨時倒排文件、最終倒排文件    141
其他概念    142
第二節(jié)  全文檢索    143
全文檢索    143
第三節(jié)  文檔編號    146
編號的本質(zhì)    146
文檔編號的方法    147
游程編碼    149
第四節(jié)  倒排索引    154
經(jīng)典的倒排索引    154
正排索引（前向索引）    155
倒排索引    158
第五節(jié)  數(shù)據(jù)規(guī)模的估計    163
齊普夫法則    163
布爾檢索模型下的索引規(guī)模估計★    165
第六節(jié)  涉及存儲規(guī)模的一些計算    170
正排表與倒排表的合并    170
多個臨時倒排文件的歸并    174
倒排索引分布式存儲    179
倒排文件緩存    183
倒排索引詞典統(tǒng)計信息的計算    183
第七節(jié)  倒排索引文件的創(chuàng)建過程    185
創(chuàng)建倒排表    185
計算統(tǒng)計信息    187
參考文獻    189
第六章  搜索引擎的查詢系統(tǒng)    191
在搜索引擎4大系統(tǒng)中，第4個系統(tǒng)稱為“查詢系統(tǒng)”。查詢系統(tǒng)直接面對用戶，在接收用戶的查詢請求后，通過檢索、排序及摘要提取等計算，將計算結果組織成搜索結果頁返回給用戶。整個查詢過程不僅要快，而且必須能夠提供用戶滿意的查詢結果。
第一節(jié)  知識準備    192
什么是信息熵    192
檢索和查詢的區(qū)別    196
檢索詞和查詢詞的區(qū)別    196
自動文本摘要(Automatic Text Summarization)    197
第二節(jié)  網(wǎng)頁信息檢索    198
早期的檢索模型    198
向量空間模型（Vector Space Models）    201
關鍵詞權重的量化方法TF/IDF★    207
搜索引擎采用的檢索模型    213
多文檔列表求交計算    215
檢索結果排序    222
堆排序    223
第三節(jié)  中文自動摘要    230
自動摘要的發(fā)展歷史    230
自動摘要的含義和實現(xiàn)    231
第四節(jié)  生成搜索結果頁    239
生成搜索結果頁    239
第五節(jié)  搜索結果頁的緩存    242
搜索結果頁的緩存    242
第六節(jié)  推測用戶查詢意圖    245
查詢分類    245
推測信息類、事物類的查詢意圖    247
第七節(jié)  查詢系統(tǒng)的當前熱點和發(fā)展方向    249
查詢系統(tǒng)的當前熱點    249
參考文獻    250
第七章  搜索引擎的其他話題    252
本書初步介紹了搜索引擎4大系統(tǒng)各自的運作原理，以及相互配合的關系。本節(jié)通過回答一些有關搜索引擎的基本問題，以從宏觀上更好地理解和認識搜索引擎。
第一節(jié)  搜索引擎問與答    253
為什么搜索引擎的搜索速度這么快    253
為什么搜索引擎能夠返回那么多的查詢結果    255
為什么搜索引擎總能返回最想要的結果    256
搜索引擎如何大規(guī)模存儲網(wǎng)頁的    257
什么是SEO    259
什么是元搜索引擎    260
搜索引擎認為的作弊行為是哪些    261
如何進一步學習和了解搜索引擎發(fā)展的最新成果    262
第二節(jié)  搜索引擎未來的發(fā)展    265
新興的搜索產(chǎn)品    265
搜索技術的未來    268
參考文獻    270
附錄A  搜索引擎系統(tǒng)結構全觀圖    271