GeoMesa時空數(shù)據(jù)管理

第 1章　GeoMesa的前世今生 1
1.1　時空數(shù)據(jù)背景 1
1.1.1　時空數(shù)據(jù)簡介 1
1.1.2　時空數(shù)據(jù)處理過程 2
1.1.3　時空數(shù)據(jù)庫的產(chǎn)生 3
1.2　傳統(tǒng)時空數(shù)據(jù)庫的瓶頸 4
1.2.1　無法支持海量數(shù)據(jù) 4
1.2.2　無法進(jìn)行彈性擴(kuò)展 5
1.2.3　流式數(shù)據(jù)的支持受限 5
1.2.4　改造成本較高 5
1.3　GeoMesa概述 5
1.3.1　GeoMesa橫空出世 5
1.3.2　GeoMesa設(shè)計思想 6
1.3.3　GeoMesa核心特性 8
1.4　GeoMesa生態(tài)圈 9
1.4.1　GeoMesa支持的第三方組件 9
1.4.2　使用GeoMesa的產(chǎn)品 10
1.5　本章小結(jié) 10
第 2章　GeoMesa上手教程 11
2.1　下載、安裝以及配置 12
2.1.1　下載和安裝 12
2.1.2　GeoMesa-HBase的配置 13
2.2　通過命令行使用GeoMesa-HBase 16
2.2.1　環(huán)境和狀態(tài)命令 16
2.2.2　數(shù)據(jù)模式相關(guān)命令 17
2.2.3　數(shù)據(jù)編輯命令 20
2.2.4　查詢導(dǎo)出命令 21
2.2.5　分析命令 23
2.2.6　定義SimpleFeatureType 25
2.2.7　日志異常處理 25
2.2.8　GeoMesa Scala控制臺 26
2.2.9　GeoTools 命令行工具 28
2.3　快速入門 30
2.4　通過Java API使用GeoMesa-HBase 33
2.4.1　Maven的配置與使用 33
2.4.2　Java API的使用示例 33
2.5　本章小結(jié) 35
第3章　GeoTools基本概念 36
3.1　空間矢量數(shù)據(jù)概述 36
3.1.1　矢量數(shù)據(jù)簡介 36
3.1.2　OpenGIS規(guī)范 37
3.1.3　GeoTools概述 38
3.2　DataStore 40
3.2.1　DataStore簡介 40
3.2.2　DataStore使用 40
3.3　SimpleFeatureType 41
3.3.1　SimpleFeatureType概念 42
3.3.2　SimpleFeatureType使用 43
3.4　SimpleFeature 44
3.4.1　SimpleFeature概念 44
3.4.2　SimpleFeature使用 45
3.5　GeoTools的內(nèi)部邏輯 45
3.5.1　獲取DataStore實(shí)例 46
3.5.2　創(chuàng)建Schema 46
3.5.3　數(shù)據(jù)寫入 47
3.5.4　數(shù)據(jù)讀取 50
3.6　本章小結(jié) 51
第4章　GeoMesa的時空索引 52
4.1　時空索引概述 52
4.1.1　索引的基礎(chǔ)知識 53
4.1.2　傳統(tǒng)的空間索引 54
4.1.3　空間填充曲線 56
4.1.4　Google S2索引與Uber H3索引 64
4.2　GeoMesa的索引實(shí)現(xiàn) 66
4.2.1　GeoMesa中索引的類型 66
4.2.2　GeoMesa索引具體的使用方法 67
4.3　GeoMesa的索引查詢 69
4.3.1　條件分解 69
4.3.2　索引選擇 70
4.4　GeoMesa的索引配置 72
4.4.1　配置FeatureID編碼方式 72
4.4.2　配置Geometry序列化 72
4.4.3　配置列族 73
4.4.4　自定義創(chuàng)建索引 74
4.4.5　配置“Z”索引分片個數(shù) 74
4.4.6　配置“Z”索引時間間隔 74
4.4.7　配置“XZ”索引精度 75
4.4.8　配置ATTR索引分片個數(shù) 75
4.4.9　配置ATTR字段基數(shù) 75
4.4.10　配置索引分區(qū) 76
4.4.11　配置索引拆分策略 76
4.4.12　配置查詢攔截器 76
4.4.13　配置統(tǒng)計緩存 77
4.4.14　配置時間優(yōu)先級 77
4.4.15　配置混合幾何類型 78
4.5　本章小結(jié) 78
第5章　數(shù)據(jù)寫入 79
5.1　數(shù)據(jù)寫入概述 79
5.1.1　數(shù)據(jù)寫入流程 79
5.1.2　使用示例 80
5.2　生成ID信息 82
5.2.1　用戶指定 82
5.2.2　隨機(jī)生成 82
5.3　獲取寫入對象 84
5.3.1　寫入表的對象 84
5.3.2　寫入分區(qū)表的對象 85
5.4　寫入存儲引擎 87
5.4.1　獲取轉(zhuǎn)換器 88
5.4.2　構(gòu)建索引 89
5.4.3　數(shù)據(jù)寫入 92
5.5　更新統(tǒng)計信息 94
5.5.1　構(gòu)造統(tǒng)計查詢條件 94
5.5.2　執(zhí)行統(tǒng)計操作 97
5.6　數(shù)據(jù)組織方式 98
5.6.1　元數(shù)據(jù)管理 98
5.6.2　實(shí)體數(shù)據(jù)管理 99
5.7　本章小結(jié) 100
第6章　數(shù)據(jù)查詢 101
6.1　數(shù)據(jù)查詢概述 101
6.2　查詢準(zhǔn)備 102
6.2.1　獲取對應(yīng)的DataStore對象 102
6.2.2　獲取SimpleFeatureType信息 104
6.2.3　查詢校驗 105
6.3　查詢計劃生成 106
6.3.1　準(zhǔn)備查詢計劃 106
6.3.2　結(jié)合索引生成查詢范圍 110
6.3.3　獲取底層表信息 114
6.3.4　構(gòu)造存儲引擎查詢信息 115
6.4　執(zhí)行并獲取數(shù)據(jù) 119
6.4.1　執(zhí)行查詢 120
6.4.2　獲取數(shù)據(jù) 120
6.5　本章小結(jié) 122
第7章　數(shù)據(jù)統(tǒng)計 123
7.1　數(shù)據(jù)統(tǒng)計概述 123
7.2　統(tǒng)計功能 124
7.3　統(tǒng)計信息獲取方法 125
7.3.1　通過Hints來獲取統(tǒng)計信息 125
7.3.2　通過接口來獲取統(tǒng)計信息 126
7.4　執(zhí)行流程 127
7.4.1　流程概述 127
7.4.2　命令解析 128
7.4.3　執(zhí)行統(tǒng)計 129
7.4.4　統(tǒng)計信息的序列化和反序列化過程 130
7.5　本章小結(jié) 136
第8章　數(shù)據(jù)分析 137
8.1　空間數(shù)據(jù)分析 137
8.1.1　空間數(shù)據(jù)分析概述 137
8.1.2　GeoMesa中對空間數(shù)據(jù)分析操作 139
8.2　熱力圖分析操作 140
8.2.1　熱力圖分析概述 140
8.2.2　GeoMesa中熱力圖分析功能的使用方法 141
8.3　KNN查詢操作 143
8.3.1　KNN概述 143
8.3.2　GeoMesa中KNN查詢功能的使用方法 145
8.4　近似查詢操作 146
8.4.1　近似查詢概述 147
8.4.2　GeoMesa中近似查詢功能的使用方法 148
8.5　本章小結(jié) 149
第9章　數(shù)據(jù)工作流 150
9.1　數(shù)據(jù)工作流概述 150
9.2　NiFi概述 151
9.2.1　NiFi簡介 151
9.2.2　NiFi的特性 153
9.2.3　Processor機(jī)制 153
9.3　GeoMesa與NiFi整合 154
9.3.1　NiFi自定義數(shù)據(jù)處理器 155
9.3.2　GeoMesa擴(kuò)展結(jié)構(gòu) 160
9.4　GeoMesa NiFi數(shù)據(jù)處理算子 160
9.4.1　轉(zhuǎn)換器處理器 160
9.4.2　記錄處理器 161
9.4.3　Avro 處理器 162
9.4.4　記錄更新處理器 162
9.4.5　數(shù)據(jù)源處理器 163
9.4.6　轉(zhuǎn)換處理器 164
9.5　本章小結(jié) 164
第 10章　GeoMesa的數(shù)據(jù)存儲方案 165
10.1　使用HBase存儲數(shù)據(jù) 165
10.1.1　HBase概述 165
10.1.2　GeoMesaHBase DataStore簡介 166
10.2　使用Kafka存儲數(shù)據(jù) 168
10.2.1　Kafka概述 168
10.2.2　GeoMesa Kafka DataStore簡介 169
10.3　使用Redis存儲數(shù)據(jù) 172
10.3.1　Redis概述 172
10.3.2　GeoMesa Redis DataStore簡介 172
10.4　使用CQEngine存儲數(shù)據(jù) 174
10.4.1　CQEngine概述 174
10.4.2　GeoMesa CQEngine DataStore簡介 174
10.5　使用FileSystem存儲數(shù)據(jù) 176
10.5.1　FileSystem概述 176
10.5.2　GeoMesa FSDS簡介 176
10.6　使用Lambda存儲數(shù)據(jù) 181
10.6.1　Lambda概述 181
10.6.2　GeoMesa Lambda DataStore簡介 182
10.7　本章小結(jié) 184
第 11章　分布式計算 185
11.1　Spark和Spark SQL 185
11.1.1　Spark概述 185
11.1.2　Spark SQL概述 186
11.2　GeoMesa接入Spark的方式 188
11.2.1　GeoMesa Spark整體架構(gòu) 188
11.2.2　GeoMesa對RDD的擴(kuò)展 189
11.2.3　GeoMesa對JTS的擴(kuò)展 192
11.2.4　GeoMesa對Spark SQL空間能力的擴(kuò)展 196
11.3　空間數(shù)據(jù)計算函數(shù) 207
11.3.1　空間數(shù)據(jù)構(gòu)建函數(shù) 207
11.3.2　空間數(shù)據(jù)信息抽取函數(shù) 208
11.3.3　空間數(shù)據(jù)轉(zhuǎn)換函數(shù) 208
11.3.4　空間數(shù)據(jù)輸出函數(shù) 209
11.3.5　空間數(shù)據(jù)關(guān)系函數(shù) 209
11.3.6　空間數(shù)據(jù)處理函數(shù) 210
11.4　本章小結(jié) 210
第 12章　操作時遇到的若干問題 211
12.1　GeoMesa寫入數(shù)據(jù)時出現(xiàn)的問題 211
12.1.1　Region繁忙的問題 211
12.1.2　數(shù)據(jù)記錄過大的問題 216
12.2　GeoMesa查詢數(shù)據(jù)時出現(xiàn)的問題 218
12.2.1　數(shù)據(jù)采樣的問題 219
12.2.2　數(shù)據(jù)分頁的問題 221
12.2.3　利用Spark查詢GeoMesa時，無法設(shè)置返回數(shù)據(jù)量上限的問題 225
12.2.4　查詢時數(shù)據(jù)不一致的問題 230
12.3　GeoMesa分析統(tǒng)計時出現(xiàn)的問題 233
12.4　本章小結(jié) 237
參考文獻(xiàn) 238