Sqoop數據收集與入庫系統的應用

2017-12-22 07:35:40作者楊彬遼寧行政學院

電子制作 2017年21期

作者/楊彬，遼寧行政學院

Sqoop數據收集與入庫系統的應用

作者/楊彬，遼寧行政學院

大多數情況下單位或組織有價值的數據都要存儲在關系型數據庫系統中，隨著時間的累計，數據量已非常龐大，為了進一步進行處理，有些數據需要抽取出來，利用大數技術進行處理再次加工。為了能夠和Hadoop HDFS系統之外的數據庫系統機型交互，Sqoop孕育而生。Sqoop 是一款開源的工具，是Apache頂級項目，通過JDBC和關系數據庫進行交互，用戶可將數據從關系型數據庫抽取到Hadoop HDFS中；也可以把hadoop MapReduce處理完的數據導回到關系數據庫中。

數據導入；數據導出；JDBC；關系數據庫

1. Sqoop架構

Sqoop架構非常簡單，整合了Hive、Hbase和Oozie，通過hadoop 的MapReduce任務來傳輸數據并提供并發和容錯功能。Sqoop接收到客戶端的shell命令或者Java api命令后，通過Sqoop中的任務翻譯器把命令轉換為對應的MapReduce任務，將關系型數據庫中的數據和Hadoop HDFS中的數據進行相互轉移，進而完成數據導入和數據導入導出。Sqoop架構如圖1所示。

圖1 Sqoop架構

2. Sqoop數據庫導入與使用

■2.1 Sqoop數據庫導入

Sqoop是通過一個MapReduce作業從關系數據庫中導入一個表，抽取一行行記錄，然后寫入到HDFS。首先Sqoop使用JDBC來檢查將要導入的表并檢索出表中所有的列及其對應的SQL數據類型。這些SQL類型被映射到Java數據類型中，這些對應的java類型在MapReduce應用中將被作為字段值被保存，這些信息被Sqoop的代碼生成器使用來創建對應表的類，用于保存從表中抽取的記錄。在導入中，關鍵的是DBWritable接口的序列化方法，Widget類和JDBC進行交互使用這些方法。

JDBC的ResultSet接口提供用戶從檢查結果中檢索記錄的游標，readFields()方法將用ResultSet中一行數據的列來填充Example對象的字段。其格式如下：

Public void readFields(resultSet _dbResults)throws SQLException;

InputFormat()方法通過JDBC從一個數據庫表中讀取部分內容，它通過 Sqoop啟動MapReduce作業來完成。

DataDriverDBInputFormat（）方法能夠完成多個Map任務對查詢結果的劃分，為了提高導入性能，查詢根據表的主鍵我的做為“劃分列”來進行劃分的。在配置InputFormat之后，Sqoop將作業發送到MapReduce集群。Map任務將執行查詢并將ResultSet中的數據反序列化到生成類的實例，這些數據保存在SequenceFile文件中也可以被分割為多個文本文件。導入指令為：Sqoop import –connect jdbc:mysql://hostname:port/database –username root –password 123456 –tablename –m n。

其構成含義如下：

（1）––co n n e c t j d b c:m y s q l://hostname:port/database指定mysql數據庫主機名和端口號和數據庫名；

（2）––username root 指定數據庫用戶名；

（3）––password 123456 指定數據庫密碼；

（4）––tablename 導出的表名；

（5）–m n 啟動一個map進程數，如果表很大，可以啟動多個map進程。

默認情況下，Sqoop會將導入的數據保存為逗號分隔的文本文件。

Sqoop從關系數據庫中導入到HDFS的過程，如圖2所示。

具體操作實例如下：關系數據庫（10.8.218.89）表為base，執行Sqoop命令將數據從mysql導入到hive中，具體命令為：

Sqoop import ––connect jdbc:mysql://10.8.218.89:3208/dbvideo ––table base ––user root––password 123456 –m 1 ––hive–import ––hive–database dbvideo ––hive–table base ––hive–overwrite ––fields–ter–minated–by “ ”––lines–terminated–by “ ”––as–textf i le

通過help指令查看sqoop導入幫助： Sqoop help import。

圖2 Sqoop從數據庫中導入到HDFS的過程

■2.2 Sqoop導入數據的使用

數據被導入HDFS，以文本格式數據可以供Hadoop Streaming中的腳本使用，也可以為TextInputFormat為默認格式運行的MapReduce作業使用。同時Sqoop和Hive可共同構成一個強大的服務用于分析任務，在進行導入時，Sqoop可以生成hive表，將數據導入hive表，其命令如下：

Sqoop import –connect jdbc:mysql://localhost/ha–doopguide –table widgets –m 1 –hive–import

3. Sqoop數據庫導出

■3.1 Sqoop數據庫導出

Sqoop導出功能其導入功能非常相似，在執行導出操作之前，Sqoop一般使用jdbc連接數據庫并選擇一個導出方法，Sqoop會根據目標表的定義生成一個java類，通過這個生成類從文本文件中解析記錄，接著會啟動一個MapReduce作業，從HDFS中讀取源數據文件，使用生成的類解析記錄，執行選定的導出方法。jdbc的導出方法會產生一批insert語句，每條語句都會向目標表中插入多條記錄。

Sqoop還可以將存儲在SequenceFile中的記錄導出到輸出表。Sqoop從SequenceFile中讀取對象，發送到OutputCollector，由它將這些對象傳遞給數據庫導出OutputFormat()，由OutputFormat()完成輸出到表的過程。Sqoop從HDFS導出到關系數據庫的過程，如圖3所示

圖3 Sqoop從HDFS導出到關系數據庫的過程

■3.2 Sqoop導出數據的執行

在Sqoop中，導出的數據源是HDFS，關系數據庫作為目標。在將一張表從HDFS導出到關系數據庫時，須在關系數據庫中創建一張用于接收數據的目標表。執行過程如下：

①先在mysql中創建一個具有相同序列順序的sql目標表

Create table sales(volume decimal(10,2),zip inte ger);

②接著運行導出命令：

Sqoop export –connect jdbc:mysql://localhost/ha doopguide –m 1 –table sales –export–dir /user/hive/zip_prof i ts –input–f i elds–terminated–by “