Lucene實(shí)戰(zhàn)（第2版）

第1部分　lucene核心
第1章　初識(shí)lucene
1.1　應(yīng)對(duì)信息爆炸
1.2　lucene是什么
1.2.1　lucene能做些什么
1.2.2　lucene的歷史
1.3　lucene和搜索程序組件
1.3.1　索引組件
1.3.2　搜索組件
1.3.3　搜索程序的其他模塊
1.3.4　lucene與應(yīng)用程序的整合點(diǎn)
1.4　lucene實(shí)戰(zhàn)：程序示例
1.4.1　建立索引
1.4.2　搜索索引
1.5　理解索引過(guò)程的核心類(lèi)
1.5.1　indexwriter
1.5.2　directory
1.5.3　analyzer
1.5.4　document
1.5.5　field
1.6　理解搜索過(guò)程的核心類(lèi)
1.6.1　indexsearcher
1.6.2　term
1.6.3　query
1.6.4　termquery
1.6.5　topdocs
1.7　小結(jié)
第2章　構(gòu)建索引
2.1　lucene如何對(duì)搜索內(nèi)容進(jìn)行建模
2.1.1　文檔和域
2.1.2　靈活的架構(gòu)
2.1.3　反向規(guī)格化（denormalization）
2.2　理解索引過(guò)程
2.2.1　提取文本和創(chuàng)建文檔
2.2.2　分析文檔
2.2.3　向索引添加文檔
2.3　基本索引操作
2.3.1　向索引添加文檔
2.3.2　刪除索引中的文檔
2.3.3　更新索引中的文檔
2.4　域選項(xiàng)
2.4.1　域索引選項(xiàng)
2.4.2　域存儲(chǔ)選項(xiàng)
2.4.3　域的項(xiàng)向量選項(xiàng)
2.4.4　reader、tokenstream和byte[ ]域值
2.4.5　域選項(xiàng)組合
2.4.6　域排序選項(xiàng)
2.4.7　多值域
2.5　對(duì)文檔和域進(jìn)行加權(quán)操作
2.5.1　文檔加權(quán)操作
2.5.2　域加權(quán)操作
2.5.3　加權(quán)基準(zhǔn)（norms）
2.6　索引數(shù)字、日期和時(shí)間
2.6.1　索引數(shù)字
2.6.2　索引日期和時(shí)間
2.7　域截取（field truncation）
2.8　近實(shí)時(shí)搜索（near-real-time search）
2.9　優(yōu)化索引
2.10　其他directory子類(lèi)
2.11　并發(fā)、線(xiàn)程安全及鎖機(jī)制
2.11.1　線(xiàn)程安全和多虛擬機(jī)安全
2.11.2　通過(guò)遠(yuǎn)程文件系統(tǒng)訪(fǎng)問(wèn)索引
2.11.3　索引鎖機(jī)制
2.12　調(diào)試索引
2.13　高級(jí)索引概念
2.13.1　用indexreader刪除文檔
2.13.2　回收被刪除文檔所使用過(guò)的磁盤(pán)空間
2.13.3　緩沖和刷新
2.13.4　索引提交
2.13.5　acid事務(wù)和索引連續(xù)性
2.13.6　合并段
2.14　小結(jié)
第3章　為應(yīng)用程序添加搜索功能
3.1　實(shí)現(xiàn)簡(jiǎn)單的搜索功能
3.1.1　對(duì)特定項(xiàng)的搜索
3.1.2　解析用戶(hù)輸入的查詢(xún)表達(dá)式：queryparser
3.2　使用indexsearcher類(lèi)
3.2.1　創(chuàng)建indexsearcher類(lèi)
3.2.2　實(shí)現(xiàn)搜索功能
3.2.3　使用topdocs類(lèi)
3.2.4　搜索結(jié)果分頁(yè)
3.2.5　近實(shí)時(shí)搜索
3.3　理解lucene的評(píng)分機(jī)制
3.3.1　lucene如何評(píng)分
3.3.2　使用explain（）理解搜索結(jié)果評(píng)分
3.4　lucene的多樣化查詢(xún)
3.4.1　通過(guò)項(xiàng)進(jìn)行搜索：termquery類(lèi)
3.4.2　在指定的項(xiàng)范圍內(nèi)搜索：termrangequery類(lèi)
3.4.3　在指定的數(shù)字范圍內(nèi)搜索：numericrangequery類(lèi)
3.4.4　通過(guò)字符串搜索：prefixquery類(lèi)
3.4.5　組合查詢(xún)：booleanquery類(lèi)
3.4.6　通過(guò)短語(yǔ)搜索：phrasequery類(lèi)
3.4.7　通配符查詢(xún)：wildcardquery類(lèi)
3.4.8　搜索類(lèi)似項(xiàng)：fuzzyquery類(lèi)
3.4.9　匹配所有文檔：matchalldocsquery類(lèi)
3.5　解析查詢(xún)表達(dá)式：queryparser
3.5.1　query.tostring方法
3.5.2　termquery
3.5.3　項(xiàng)范圍查詢(xún)
3.5.4　數(shù)值范圍搜索和日期范圍搜索
3.5.5　前綴查詢(xún)和通配符查詢(xún)
3.5.6　布爾操作符
3.5.7　短語(yǔ)查詢(xún)
3.5.8　模糊查詢(xún)
3.5.9　matchalldocsquery
3.5.10　分組查詢(xún)
3.5.11　域選擇
3.5.12　為子查詢(xún)?cè)O(shè)置加權(quán)
3.5.13　是否一定要使用queryparse
3.6　小結(jié)
第4章　lucene的分析過(guò)程
4.1　使用分析器
4.1.1　索引過(guò)程中的分析
4.1.2　queryparser分析
4.1.3　解析vs分析：分析器何時(shí)不再適用
4.2　剖析分析器
4.2.1　語(yǔ)匯單元的組成
4.2.2　語(yǔ)匯單元流揭秘
4.2.3　觀察分析器
4.2.4　語(yǔ)匯單元過(guò)濾器：過(guò)濾順序的重要性
4.3　使用內(nèi)置分析器
4.3.1　stopanalyzer
4.3.2　standardanalyzer
4.3.3　應(yīng)當(dāng)采用哪種核心分析器
4.4　近音詞查詢(xún)
4.5　同義詞、別名和其他表示相同意義的詞
4.5.1　創(chuàng)建synonymanalyzer
4.5.2　顯示語(yǔ)匯單元的位置
4.6　詞干分析
4.6.1　stopfilter保留空位
4.6.2　合并詞干操作和停用詞移除操作
4.7　域分析
4.7.1　多值域分析
4.7.2　特定域分析
4.7.3　搜索未被分析的域
4.8　語(yǔ)言分析
4.8.1　unicode與字符編碼
4.8.2　非英語(yǔ)語(yǔ)種分析
4.8.3　字符規(guī)范化處理
4.8.4　亞洲語(yǔ)種分析
4.8.5　有關(guān)非英語(yǔ)語(yǔ)種分析的其他問(wèn)題
4.9　nutch分析
4.10　小結(jié)
第5章　高級(jí)搜索技術(shù)
5.1　lucene域緩存
5.1.1　為所有文檔加載域值
5.1.2　段對(duì)應(yīng)的reader
5.2　對(duì)搜索結(jié)果進(jìn)行排序
5.2.1　根據(jù)域值進(jìn)行排序
5.2.2　按照相關(guān)性進(jìn)行排序
5.2.3　按照索引順序進(jìn)行排序
5.2.4　通過(guò)域進(jìn)行排序
5.2.5　倒排序
5.2.6　通過(guò)多個(gè)域進(jìn)行排序
5.2.7　為排序域選擇類(lèi)型
5.2.8　使用非默認(rèn)的locale方式進(jìn)行排序
5.3　使用multiphrasequery
5.4　針對(duì)多個(gè)域的一次性查詢(xún)
5.5　跨度查詢(xún)
5.5.1　跨度查詢(xún)的構(gòu)建模塊：spantermquery
5.5.2　在域的起點(diǎn)查找跨度
5.5.3　彼此相鄰的跨度
5.5.4　在匹配結(jié)果中排除重疊的跨度
5.5.5　spanorquery類(lèi)
5.5.6　spanquery類(lèi)和queryparser類(lèi)
5.6　搜索過(guò)濾
5.6.1　termrangefilter
5.6.2　numericrangefilter
5.6.3　fieldcacherangefilter
5.6.4　特定項(xiàng)過(guò)濾
5.6.5　使用querywrapperfilter類(lèi)
5.6.6　使用spanqueryfilter類(lèi)
5.6.7　安全過(guò)濾器
5.6.8　使用booleanquery類(lèi)進(jìn)行過(guò)濾
5.6.9　prefixfilter
5.6.10　緩存過(guò)濾結(jié)果
5.6.11　將filter封裝成query
5.6.12　對(duì)過(guò)濾器進(jìn)行過(guò)濾
5.6.13　非lucene內(nèi)置的過(guò)濾器
5.7　使用功能查詢(xún)實(shí)現(xiàn)自定義評(píng)分
5.7.1　功能查詢(xún)的相關(guān)類(lèi)
5.7.2　使用功能查詢(xún)對(duì)最近修改過(guò)的文檔進(jìn)行加權(quán)
5.8　針對(duì)多索引的搜索
5.8.1　使用multisearch類(lèi)
5.8.2　使用parallelmultisearcher進(jìn)行多線(xiàn)程搜索
5.9　使用項(xiàng)向量
5.9.1　查找相似書(shū)籍
5.9.2　它屬于哪個(gè)類(lèi)別
5.9.3　termvectormapper類(lèi)
5.10　使用fieldselector加載域
5.11　停止較慢的搜索
5.12　小結(jié)
第6章　擴(kuò)展搜索
6.1　使用自定義排序方法
6.1.1　針對(duì)地理位置排序方式進(jìn)行文檔索引
6.1.2　實(shí)現(xiàn)自定義的地理位置排序方式
6.1.3　訪(fǎng)問(wèn)自定義排序中的值
6.2　開(kāi)發(fā)自定義的collector
6.2.1　collector基類(lèi)
6.2.2　自定義collector：booklinkcollector
6.2.3　alldoccollector類(lèi)
6.3　擴(kuò)展queryparser類(lèi)
6.3.1　自定義queryparser的行為
6.3.2　禁用模糊查詢(xún)和通配符查詢(xún)
6.3.3　處理數(shù)值域的范圍查詢(xún)
6.3.4　處理日期范圍
6.3.5　對(duì)已排序短語(yǔ)進(jìn)行查詢(xún)
6.4　自定義過(guò)濾器
6.4.1　實(shí)現(xiàn)自定義過(guò)濾器
6.4.2　搜索期間使用自定義過(guò)濾器
6.4.3　另一種選擇：filterquery類(lèi)
6.5　有效載荷（payloads）
6.5.1　分析期間生成有效載荷
6.5.2　搜索期間使用有效載荷
6.5.3　有效載荷和跨度查詢(xún)
6.5.4　通過(guò)termpositions來(lái)檢索有效載荷
6.6　小結(jié)
第2部分　lucene應(yīng)用
第7章　使用tika提取文本
7.1　tika是什么
7.2　tika的邏輯設(shè)計(jì)和api
7.3　安裝tika
7.4　tika的內(nèi)置文本提取工具
7.5　編程實(shí)現(xiàn)文本提取
7.5.1　索引lucene文檔
7.5.2　tika工具類(lèi)
7.5.3　選擇自定義分析器
7.6　tika的局限
7.7　索引自定義的xml文件
7.7.1　使用sax進(jìn)行解析
7.7.2　使用apache commons digester進(jìn)行解析和索引
7.8　其他選擇
7.9　小結(jié)
第8章　lucene基本擴(kuò)展
8.1　luke：lucene的索引工具箱
8.1.1　overview標(biāo)簽頁(yè)：索引的全局視圖
8.1.2　瀏覽文檔
8.1.3　使用queryparser進(jìn)行搜索
8.1.4　files and plugins標(biāo)簽頁(yè)
8.2　分析器、語(yǔ)匯單元器和語(yǔ)匯單元過(guò)濾器
8.2.1　snowballanalyzer
8.2.2　ngram過(guò)濾器
8.2.3　shingle過(guò)濾器
8.2.4　獲取捐贈(zèng)分析器
8.3　高亮顯示查詢(xún)項(xiàng)
8.3.1　高亮顯示模塊
8.3.2　獨(dú)立的高亮顯示示例
8.3.3　使用css進(jìn)行高亮顯示處理
8.3.4　高亮顯示搜索結(jié)果
8.4　fastvector highlighter類(lèi)
8.5　拼寫(xiě)檢查
8.5.1　生成提示列表
8.5.2　選擇最佳提示
8.5.3　向用戶(hù)展示搜索結(jié)果
8.5.4　一些加強(qiáng)拼寫(xiě)檢查的考慮
8.6　引人注目的查詢(xún)擴(kuò)展功能
8.6.1　morelikethis
8.6.2　fuzzylikethisquery
8.6.3　boostingquery
8.6.4　termsfilter
8.6.5　duplicatefilter
8.6.6　regexquery
8.7　構(gòu)建軟件捐贈(zèng)模塊（contrib module）
8.7.1　源代碼獲取方式
8.7.2　contrib目錄的ant插件
8.8　小結(jié)
第9章　lucene高級(jí)擴(kuò)展
9.1　鏈?zhǔn)竭^(guò)濾器
9.2　使用berkeley db存儲(chǔ)索引
9.3　wordnet同義詞
9.3.1　建立同義詞索引
9.3.2　將wordnet同義詞鏈接到分析器中
9.4　基于內(nèi)存的快速索引
9.5　xml queryparser：超出“one box”的搜索接口
9.5.1　使用xmlqueryparser
9.5.2　擴(kuò)展xml查詢(xún)語(yǔ)法
9.6　外圍查詢(xún)語(yǔ)言
9.7　spatial lucene
9.7.1　索引空間數(shù)據(jù)
9.7.2　搜索空間數(shù)據(jù)
9.7.3　spatial lucene的性能特點(diǎn)
9.8　遠(yuǎn)程進(jìn)行多索引搜索
9.9　靈活的queryparser
9.10　其他內(nèi)容
9.11　小結(jié)
第10章　其他編程語(yǔ)言使用lucene
10.1　移植入門(mén)
10.1.1　移植取舍
10.1.2　選擇合適的移植版本
10.2　clucene（c++）
10.2.1　移植目的
10.2.2　api和索引兼容
10.2.3　支持的平臺(tái)
10.2.4　當(dāng)前情況以及未來(lái)展望
10.3　lucene.net（c#和其他.net編程語(yǔ)言）
10.3.1　api兼容
10.3.2　索引兼容
10.4　kinosearch和lucy（perl）
10.4.1　kinosearch
10.4.2　lucy
10.4.3　其他perl選項(xiàng)
10.5　ferret（ruby）
10.6　php
10.6.1　zend framework
10.6.2　php bridge
10.7　pylucene（python）
10.7.1　api兼容
10.7.2　其他python選項(xiàng)
10.8　solr（包含多種編程語(yǔ)言）
10.9　小結(jié)
第11章　lucene管理和性能調(diào)優(yōu)
11.1　性能調(diào)優(yōu)
11.1.1　簡(jiǎn)單的性能調(diào)優(yōu)步驟
11.1.2　測(cè)試方法
11.1.3　索引-搜索時(shí)延調(diào)優(yōu)
11.1.4　索引操作吞吐量調(diào)優(yōu)
11.1.5　搜索時(shí)延和搜索吞吐量調(diào)優(yōu)
11.2　多線(xiàn)程和并行處理
11.2.1　使用多線(xiàn)程進(jìn)行索引操作
11.2.2　使用多線(xiàn)程進(jìn)行搜索操作
11.3　資源消耗管理
11.3.1　磁盤(pán)空間管理
11.3.2　文件描述符管理
11.3.3　內(nèi)存管理
11.4　熱備份索引
11.4.1　創(chuàng)建索引備份
11.4.2　恢復(fù)索引
11.5　常見(jiàn)錯(cuò)誤
11.5.1　索引損壞
11.5.2　修復(fù)索引
11.6　小結(jié)
第3部分　案例分析
第12章　案例分析1：krugle
12.1　krugle介紹
12.2　應(yīng)用架構(gòu)
12.3　搜索性能
12.4　源代碼解析
12.5　子串搜索
12.6　查詢(xún)vs搜索
12.7　改進(jìn)空間
12.7.1　fieldcache內(nèi)存使用
12.7.2　合并索引
12.8　小結(jié)
第13章　案例分析2：siren
13.1　siren介紹
13.2　siren優(yōu)勢(shì)
13.2.1　通過(guò)所有域進(jìn)行搜索
13.2.2　一種高效詞典
13.2.3　可變域
13.2.4　對(duì)多值域的高效處理
13.3　使用siren索引實(shí)體
13.3.1　數(shù)據(jù)模型
13.3.2　實(shí)現(xiàn)問(wèn)題
13.3.3　索引概要
13.3.4　索引前的數(shù)據(jù)準(zhǔn)備
13.4　使用siren搜索實(shí)體
13.4.1　搜索內(nèi)容
13.4.2　根據(jù)單元限制搜索范圍
13.4.3　將單元合并成元組
13.4.4　針對(duì)實(shí)體描述進(jìn)行查詢(xún)
13.5　在solr中集成siren
13.6　benchmark
13.7　小結(jié)
第14章　案例分析3：linkedin
14.1　使用bobo browse進(jìn)行分組搜索
14.1.1　bobo browse的設(shè)計(jì)
14.1.2　深層次分組搜索
14.2　使用zoie進(jìn)行實(shí)時(shí)搜索
14.2.1　zoie架構(gòu)
14.2.2　實(shí)時(shí)vs近實(shí)時(shí)
14.2.3　文檔與索引請(qǐng)求
14.2.4　自定義indexreaders
14.2.5　與lucene的近實(shí)時(shí)搜索進(jìn)行比較
14.2.6　分布式搜索
14.3　小結(jié)
附錄a　安裝lucene
a.1　二進(jìn)制文件安裝
a.2　運(yùn)行命令行演示程序
a.3　運(yùn)行web應(yīng)用演示程序
a.4　編譯源代碼
a.5　排錯(cuò)
附錄b　lucene索引格式
b.1　邏輯索引視圖
b.2　關(guān)于索引結(jié)構(gòu)
b.2.1　理解多文件索引結(jié)構(gòu)
b.2.2　理解復(fù)合索引結(jié)構(gòu)
b.2.3　轉(zhuǎn)換索引結(jié)構(gòu)
b.3　倒排索引
b.4　小結(jié)
附錄c　lucene/contrib benchmark
c.1　運(yùn)行測(cè)試腳本
c.2　測(cè)試腳本的組成部分
c.2.1　內(nèi)容源和文檔生成器
c.2.2　查詢(xún)生成器
c.3　控制結(jié)構(gòu)
c.4　內(nèi)置任務(wù)
c.4.1　建立和使用行文件
c.4.2　內(nèi)置報(bào)表任務(wù)
c.5　評(píng)估搜索質(zhì)量
c.6　出錯(cuò)處理
c.7　小結(jié)
附錄d　資源
d.1　lucene知識(shí)庫(kù)
d.2　國(guó)際化
d.3　語(yǔ)言探測(cè)
d.4　項(xiàng)向量
d.5　lucene移植版本
d.6　案例分析
d.7　其他
d.8　信息檢索軟件
d.9　doug cutting的著作
d.9.1　會(huì)議論文
d.9.2　美國(guó)專(zhuān)利