使用Phoenix操作數據庫

■ 河南 郭建偉

編者按：Phoenix是架構在Hbase之上的高性能關系數據庫層，可用于低延時的應用。Phoenix可利用SQL語句來對Hbase進行查詢。Phoenix相當于一個Java的中間件，利用JDBC連接來操作Hbase數據庫。

Phoenix支持的Secondary Indexing（二級索引）包括Functional Indexes（函數索引），Global Indexing（全 局 索 引）和Local Indexing（本地索引）。并且從V4.4.0開始，支持允許用戶創建和部署自定義的函數。

Phoenix可以支持將CSV數據加載到Phoenix表中，其一通過psql命令以單線程方式進行加載，適用于數據量較少的情況。其二是基于MapReduce的Bulk Load工具進行加載，適用于數據量較大的情況。Phoenix提供了查詢服務器，可以提供瘦客戶端的連接方式。從V4.1開始，Phoenix提供了跟蹤的特性，可以查詢每個請求的Trace信息，利用這一特性可以了解Query和Insert操作的所有細節。Phoenix支持JDBC Array數據類型，Sequences是標準的SQL特性，可以生成自動增長的數字作為表的某列的ID，Phoenix支持序列特性。Phoenix通 過 Update Statistice可以更新表的統計信息，來提高查詢的性能。

此外，Phoenix還支持Joins（連接），Subqueries（子查詢），Views（視圖），Multi tenancy（多租戶，允許不同的組合連接實現數據訪問的隔離），Oaged Querties（分頁查詢），Dynamic Columns（動態列），Skip Scan（跳躍掃描，在范圍掃描時極大的提高性能），Salted Tables（散布表，可以有效解決因為Row Key自動增長，導致Hbase順序寫引發的Region Server數據熱點問題），Row Timestampcolumn（時 間 戳列，將Hbase中的本地時間戳映射為Phoenix中的列，有利于Hbase基于時間范圍的查詢）等特性。Phoenix提供了很多的操作命令，其大體上和標準的SQL語句相當，但是存在一些細節的不同，例如其使用Upsert命令取代Insert操作等。

安裝和配置Phoenix

在 安 裝Phoenix時，需要注意對于不同版本的Hbase來說，需要對應版本的Phoenix安裝包。例如執行“su - hadoop”，“cd /hadoop/hbase-x.x.x.x/bin”，“./hbase version”命令，可以查看Hbase的版本信息。

執 行“g u n z i p Phoenix-4.x.x-hbase-1.x.-bin.tar.gz”命 令，對Phoenix安裝包進行解壓。

執 行“t a r -x v f Phoenix-4.x.x-hbase-1.x.-bin.tar”命令，提取其中的文件。進入Phoenix解壓路徑，執行“ls *core*jar”和“ls *client.jar*”命令。來查詢關鍵的Jar文件。對于Hbase集群來說，需要將相關的Jar文件復制到所有的節點上。

執 行“cp Phoenixcore-4.x.x-hnase-1.x.jar/hadoop/hbase-1.x.x.x/lib”命令，將指定的Jar文件復制到當前節點的Hbase路徑中的“lib”目錄下。

執 行“scp Phoenixcore-4.x.x-hnase-1.x.jar 172.16.1.100:/hadoop/hbase-1.x.x.x/lib” 命令，將其復制到另外的一個節點上，假設其IP為“172.16.1.100”，如果有其他節點需要依次復制。按照相同的方法，將“Phoenix-4.x.x-hbase-1.x-client.jar”文件復制到本地以及其他Hbase節點的“lib”目錄中。其中的“x”表示具體的版本信息，需要根據具體情況進行調整。

進入Hadoop路徑下的“bin”目錄，執行“./stophase.sh”和“/start-hbase.sh”命令。來重啟Hbase集群，讓上述Jar包生效。

進入Phoenix安裝路徑下的“bin”目錄，執行“cp/hadoop/hbase-1.x.x.x/conf/hbase-site.xml ./”命令，將Hbase的“/hbasesite.xml”文件復制進來。

執 行“./sqlline.py localhost”命令，連接本地節點，在Phoenix客戶端控制臺下執行“!tables”命令，顯示其所有的系統表和用戶表，執行“!exit”命令，退出操作環境。對應的進入Hbase的“bin”目錄下，執行“./hbase shell”命令。在控制臺下執行“list”命令，可以看到上述Phoenix創建的系統表。

用Phoenix管理Hbase數據

下面簡單舉例說明如何使用Phoenix來管理數據，在Phoenix客戶端控制下執行“CREATE TABLE IF NOT EXISTS WEB_STAT ( HOST CHAR(2) NOT NULL,DOMAIN VARCHAR NOT NULL,FEATURE VARCHAR NOT NULL,DATE DATE NOT NULL,USAGE.CORE BIGINT,USAGE.D B B I G I N T,S T A T S.ACTIVE_VISITOR INTEGER CONSTRAINT PK PRIMARY KE Y(HOST,DOMAIN,FEATURE,DA TA));”命令，創建名為“Web_Stat”的表，該命令首先會判斷該表是否存在，如果不存在則創建表。

在其中創建名為“HOST”，“DOMAIN”，“FEATURE”和“DATE”等列，之后等行用來指定在表中列和列族，“USAGE”和“STATS”代 表 列 族，“CORE”，“DB”和“ACTIVE_VISITOR”表示列，同時指明列的數據類型。并使用“PRIMARY KEY”來指定相關的主鍵。

執行“!tables”命令，可以看到上述表已經創建成功。對應地，在Hbase控制臺下執行“list”命令，也可以看到該表的存在。

執 行“describe "WEB_STAT"”命令，來查看該表的信息。因為Phoenix支持將CSV文件導入到表中，進入Phoenix安裝路徑下的“bin”目錄，執行“./psql.py -t WEB_STAT localhost "../examples/WEB_STAT.csv”命令，將指定路徑中的“WEB_STAT.csv”文件中的內容導入進來，其中的“-t”參數指定表的名稱。

注意：在該CSV文件中每列之間需以逗號進行分隔。

在Hbase控制臺中執行“scan "WEB_STAT"”命令，可以查看該表的數據。

在Phoenix客戶端控制臺下執行“select * from web_stat;”命令可以查看該表的所有內容。

執行“select count(*)from web_stat;”命令，顯示該表中的記錄數。

執 行“s e l e c t domain,count(*) as num from web_stat group by domain order by num desc;”命令，針對“domain”列進行分組，使用特定的列進行排序。

執行“select avg(core)from web_stat;”命令，來查詢指定列的平均值。

執 行“s e l e c t domain,count(*) as n u m,a v g(c o r e) a s core,avg(db) as db from web_stat group by domain order by num desc;”命令，可以執行多字段分組功能。

執 行“s e l e c t host,domain,date from web_stat where TO_CHAR(date)="2018-10-15 15:30:01.000"” 命 令，來查詢指定日期的字段。 執 行“select TO_DATE("20181030","yyyyMMd d") from web_stat”命令，轉換字符串和日期類型。