SQLITE數(shù)據(jù)庫在統(tǒng)計(jì)中的應(yīng)用

□陳衛(wèi)華

SQLITE是一個(gè)輕量級(jí)、嵌入式數(shù)據(jù)庫，使用起來非常方便，不需要安裝，免費(fèi)使用。SQLITE非常小，也就幾百K，不到1M，可是能力非常強(qiáng)，支持SQL數(shù)據(jù)庫查詢語句，有較好的移植性。SQLITE在統(tǒng)計(jì)數(shù)據(jù)整理方面有其突出的優(yōu)點(diǎn)，一是便利性，軟件免安裝，不像其他數(shù)據(jù)庫安裝較為復(fù)雜，直接拷貝就可以了；二是高效性，具備較好的性能，速度比較快，處理數(shù)據(jù)量較大，可以處理TB級(jí)的數(shù)據(jù)；三是易操作性，支持SQL數(shù)據(jù)庫操作，SQL語句基本符合SQL-92標(biāo)準(zhǔn)；四是實(shí)用性，SQLITE在統(tǒng)計(jì)業(yè)務(wù)中是一個(gè)非常實(shí)用的工具，具有廣泛的應(yīng)用前景。

在統(tǒng)計(jì)業(yè)務(wù)中有大量的時(shí)間用在整理數(shù)據(jù)，現(xiàn)在使用較多的是EXCEL，不過在做較大規(guī)模數(shù)據(jù)整理時(shí)EXCEL就顯得不夠用，有時(shí)連數(shù)據(jù)文件都打不開，這時(shí)就要用到數(shù)據(jù)庫系統(tǒng)，如：ORACLE、SYBASE、SQLSERVER、MYSQL等。在處理某個(gè)專業(yè)或地市一級(jí)的數(shù)據(jù)也可以使用ACCESS、FOXPRO等桌面數(shù)據(jù)庫，經(jīng)常用到FOXPRO來整理統(tǒng)計(jì)數(shù)據(jù)或匯總數(shù)據(jù)，為統(tǒng)計(jì)分析或資料編印提供基礎(chǔ)數(shù)據(jù)。最近偶爾發(fā)現(xiàn)一個(gè)免費(fèi)的數(shù)據(jù)庫——SQLITE，測(cè)試了一下1000萬條記錄也能扛住，匯總20幾秒，可以處理TB級(jí)的數(shù)據(jù)。SQLITE是一個(gè)輕量級(jí)免安裝嵌入式數(shù)據(jù)庫，命令行工具只有898k、動(dòng)態(tài)庫文件也只有 896k。支持 Android、Linux、Mac OSX、Windows等操作系統(tǒng)，應(yīng)用廣泛。當(dāng)然用于統(tǒng)計(jì)數(shù)據(jù)整理和匯總也是一個(gè)很不錯(cuò)的選擇，下面結(jié)合實(shí)例來介紹一下SQLITE。

SQLITE軟件的獲取與安裝

官 網(wǎng) 地 址 https：//www.SQLITE.org，最新版本是2019年2月25日更新的3.27.2版，找到你需要的版本下載，因?yàn)槲覀儾蛔龀绦蜷_發(fā)，而是作為一個(gè)工具使用，下載工具就可以了，文件名是sqlite-toolswin32-x86開頭的壓縮包。由于是免安裝，直接解壓就可以了，為了使用方便可以在C：盤建立一個(gè)目錄（如：c：SQLITE3）把解壓文件拷入目錄下，再建立個(gè)搜索路徑，修改一下PATH參數(shù)，安裝就完成了。

怎樣使用SQLITE

這個(gè)問題比較復(fù)雜，須要在網(wǎng)上找些資料來看，再實(shí)際操作才能較好地掌握，這里簡(jiǎn)要介紹一下SQLITE命令行基本命令。使用命令行，效率高，不過對(duì)于習(xí)慣圖形界面的同志可能會(huì)排斥命令行形式，其實(shí)用習(xí)慣就好了。

1.建立數(shù)據(jù)庫。假設(shè)建立一個(gè)企業(yè)數(shù)據(jù)庫，數(shù)據(jù)庫名稱叫qyk.db。在建立前最好建立一個(gè)目錄，比如在E：盤建立一個(gè)目錄叫pc。

環(huán)境準(zhǔn)備。啟動(dòng)dos命令窗口，切換工作盤，建立工作目錄。

建立數(shù)據(jù)庫。SQLITE3數(shù)據(jù)庫名，用于建立或打開一個(gè)已經(jīng)存在的數(shù)據(jù)庫，如：sqlite3qyk.db。新建立的數(shù)據(jù)庫里面是沒有用戶表，只有系統(tǒng)表等信息，并進(jìn)入終端狀態(tài)，退出終端輸入“.quit”。

2.創(chuàng)建表。使用CREATETABLE命令。在命令行鍵入以下命令，SQL命令以“；”結(jié)尾。

例如：

createtableb101(

zzjgmtextprimarykeynotnull，——組織機(jī)構(gòu)碼，文本類型 ，主鍵，不為空

dwmctext，——單位名稱，文本類型

hymtext， ——行業(yè)代碼，文本類型

rysinteger，——人員數(shù)，整型

zysrinteger，——主營(yíng)業(yè)務(wù)收入，整型

lrzeinteger，——利潤(rùn)總額

zczjinteger——資產(chǎn)總計(jì)

);

3.插入數(shù)據(jù)。使用INSERT命令。例如：

Insert into b101 values(‘123456789’，’江南通用設(shè)備制造公 司 ’，’3441’，353，35354，32532，865612);

4.修改數(shù)據(jù)。使用UPDATE命令，可以修改一條記錄，也可以修改多條記錄。例如：

圖1

圖2

updateb101setzczj=865555 wherezzjgm=’123456789’;

5.查詢數(shù)據(jù)。使用select命令可以查詢表中的記錄，也可以用于匯總，并支持多表查詢。例如：

select*fromb101limit10;

6.其他SQL命令。DROP刪除表、DELETE刪除記錄、CREATE INDEX建立索引、ALTERTABLE修改表結(jié)構(gòu)等。

7.其他“.”命令。主要用于非數(shù)據(jù)庫實(shí)質(zhì)性操作的命令。

.tables-查看數(shù)據(jù)庫中表

.headeron——顯示字段名

.separator，——數(shù)據(jù)分割符改為“，”號(hào)。

在統(tǒng)計(jì)中的實(shí)際應(yīng)用

因?yàn)镾QLITE是一個(gè)數(shù)據(jù)庫，所以具備數(shù)據(jù)庫系統(tǒng)的基本特性，雖然輕量化，其實(shí)在數(shù)據(jù)處理能力上一點(diǎn)也不弱，支持SQL數(shù)據(jù)庫查詢語言。包括：create、alter、drop、insert、update、select等，并可以支持子查詢。SQLITE在排序、對(duì)比、匯總等數(shù)據(jù)處理方面非常方便。當(dāng)然如果沒有接觸過SQL語言還是要花一段時(shí)間來學(xué)習(xí)的。下面結(jié)合統(tǒng)計(jì)中常用的數(shù)據(jù)匯總來說明一下SQLITE在統(tǒng)計(jì)中的應(yīng)用。

假設(shè)要匯總出某地區(qū)某報(bào)告期的統(tǒng)計(jì)指標(biāo)，并且要匯總出分行業(yè)大類、中類的單位數(shù)、虧損企業(yè)數(shù)、人員數(shù)、主營(yíng)業(yè)務(wù)收入、利潤(rùn)、虧損企業(yè)虧損額、資產(chǎn)等情況。

1.數(shù)據(jù)準(zhǔn)備

單位基礎(chǔ)數(shù)據(jù)。數(shù)據(jù)可以來源于日常的統(tǒng)計(jì)系統(tǒng)或其他數(shù)據(jù)源，為了展示處理能力，這里準(zhǔn)備了一千多萬條記錄。包括組織機(jī)構(gòu)碼（zzjgm）、單位名稱（dwmc）、行業(yè)碼（hym）、人員數(shù)（rys）、主營(yíng)收入（zysr）、利稅總額（lrze）、資產(chǎn)總計(jì) （zczj），文 件 名 為 “b101.txt”（圖 1）。

匯總分組目錄。匯總分組目錄主要包含匯總代碼（dm），主欄名稱（md），序號(hào)（xh）等內(nèi)容，文件名為“fz.txt”（圖 2）。

2.創(chuàng)建數(shù)據(jù)庫。創(chuàng)建的數(shù)據(jù)庫名為“qyk.db”

3.創(chuàng)建表。主要是單位基礎(chǔ)數(shù)據(jù)（b101）、匯總分組目錄（fz）、匯總表（zb101）和一個(gè)視圖（vb101），視圖主要是把匯總數(shù)據(jù)與主欄拼接起來。

4.數(shù)據(jù)導(dǎo)入。數(shù)據(jù)導(dǎo)入要用到.import命令，把文本文件導(dǎo)入數(shù)據(jù)庫表中。格式是：

.import文本文件名 表名。值得注意的是SQLITE數(shù)據(jù)庫字符集是UTF-8，所以文本文件的字符集也要是UTF-8，如果是GBK文件要轉(zhuǎn)換為UTF-8，不然數(shù)據(jù)庫會(huì)亂碼，漢字顯示不正確。這里的數(shù)據(jù)文件是b101.txt，匯總分組目錄是fz.txt。

5.數(shù)據(jù)匯總。匯總是通過查詢語句實(shí)現(xiàn)的，并把查詢結(jié)果插入到匯總表中。SQLITE的插入語句是支持子查詢的，用起來比較方便。示例中包含三個(gè)查詢語句分別是計(jì)算合計(jì)數(shù)據(jù)、按行業(yè)大類分組和按行業(yè)中類分組。為了執(zhí)行方便命令寫在一個(gè)文本文件中（hz101.sql），SQLITE 可以用 .read命令調(diào)用執(zhí)行腳本文件，格式：.read腳本文件名。腳本文件格式如下：

圖3

執(zhí)行腳本文件：

當(dāng)然，所有的SQLITE命令都是可以寫在一個(gè)腳本文件中去執(zhí)行的，如前面創(chuàng)建表的過程。

6.查看匯總結(jié)果。通過執(zhí)行匯總命令匯總表已經(jīng)匯總好了，匯總出12432192家單位主要經(jīng)濟(jì)指標(biāo)分行業(yè)情況。為了查看和使用方便推薦使用第三方可視化管理工具，如：SQLITEExpert。匯總表可以通過復(fù)制粘貼的方式，粘貼到EXCEL表中，便于后期使用（圖3）。

以上通過一個(gè)匯總示例展示了SQLITE在統(tǒng)計(jì)中的基本應(yīng)用，相信SQLITE作為一個(gè)輕量級(jí)數(shù)據(jù)庫系統(tǒng)，在統(tǒng)計(jì)數(shù)據(jù)處理上有其獨(dú)到的優(yōu)勢(shì)，它與 C、C++、Python、Java、C#、R等開發(fā)語言有很好的支持，相信將來在統(tǒng)計(jì)系統(tǒng)中會(huì)有很好的應(yīng)用。