基于Docker的大規模日志采集與分析系統①

羅東鋒 ,李 芳 ,郝汪洋 ,吳仲城

1(中國科學院 強磁場科學中心,合肥 230031)2(中國科學技術大學,合肥 230026)

基于Docker的大規模日志采集與分析系統①

羅東鋒1,2,李 芳1,郝汪洋1,2,吳仲城1

1(中國科學院 強磁場科學中心,合肥 230031)2(中國科學技術大學,合肥 230026)

傳統日志分析技術在處理大規模日志時存在效率低、功能簡單、實際應用擴展性弱等問題.為解決這些問題,設計了基于Docker的大規模日志采集與分析系統.系統分為數據采集、數據緩存、數據轉發、數據存儲、數據檢索和展示五層,支持從不同數據源采集各種類型的日志,通過Kafka消息隊列提供可靠數據傳輸,利用Elasticsearch實現數據分布式存儲和檢索,并以可視化方式分析日志.同時采用Docker容器技術實現系統的快速部署和版本控制.該系統具有實時性、可擴展性、易部署等特點.實驗結果表明了該系統可行有效,具有良好的實用價值.

日志采集與分析; Docker; elasticsearch; 開源; 可擴展性; 實時

1 引言

隨著大數據時代的到來,數據的重要性日益凸顯,大數據的研究和應用[1]帶來了巨大的商業價值和社會價值.日志是互聯網企業日常運營生產和積累的海量數據中最有價值的數據之一.根據日志的來源和類型的不同,日志大致劃分為系統日志、應用業務日志和安全日志這三類.通過系統日志能夠有效監控系統的運行狀況,及時發現及解決潛在的問題,提高系統的服務質量.應用業務日志包含業務信息和用戶訪問信息,可用于分析用戶行為[2].安全日志用于安全審計及取證,發現攻擊或者非法操作行為,提高系統的安全性.日志通常帶有時間戳的屬性,是遞增的事件序列.隨著用戶量的增長和用戶需求的不斷變化,互聯網應用系統的規模不斷擴大、復雜度不斷加深,系統產生的日志數據量也在急劇增長.大規模日志的實時收集、存儲和分析仍然面臨諸多問題和挑戰:

① 日志種類繁多,比如Tomcat服務器日志、Nginx服務器日志、MySQL數據庫日志、操作系統日志等,由于格式不一致導致分析困難;

② 日志來源分散,不僅存在于不同的服務器,而且分布在同一服務器的不同文件中;

③ 日志產生的速度快,占用服務器的存儲空間不斷增加;

④ 日志具有時效性,日志產生后需要在短時間內進行分析;

⑤ 缺乏有效的日志可視化分析手段.

針對上述問題,日志分析系統在處理速度、可擴展性、實時性、分析緯度等方面提出了更高的要求.隨著大數據技術的發展,有不少新的日志采集分析方案被提出.Scribe[3]是Facebook開源的一個基于Thrift遠程服務調用框架的日志收集系統,它為日志分布式收集、統一處理提供一個可擴展的簡單方案.但Scribe存在單點故障問題,比如中央服務器異常退出會造成內存中數據的丟失,Facebook已經不再更新和維護Scribe.Apache Chukwa[4]是一個用以監控大型分布式系統的開源數據收集系統,它是基于Hadoop的HDFS和Map/Reduce框架之上構建的,具備可伸縮性和魯棒性.由于依賴于Map/Reduce框架去處理數據,導致數據流在數據處理間斷時吞吐量急劇下降,嚴重影響效率.趙龍等人利用Hadoop分布式計算平臺和Hive數據倉庫進行日志分析[5].該方法采用批處理的方式處理數據,實時性較差,適合于數據離線挖掘,且不支持全文檢索.結合現有各類日志采集分析系統的研究基礎,本文基于Docker容器技術,設計了一種分層且可擴展的日志系統,實現大規模互聯網應用場景下的日志快速分析.

2 系統架構設計

系統整體結構分為數據采集層、數據緩存層、數據轉發層、數據存儲層、數據檢索和展示層,如圖1所示.數據采集層從不同的數據源中實時獲取最新的日志信息,并對其進行預處理后依次傳輸到數據緩存層.數據轉發層實時從緩存層拉取數據轉發到數據存儲層.數據存儲層把接收的數據寫入磁盤,并建立索引庫.數據檢索和展示層連接到數據存儲層,提供統一的日志信息查詢和分析入口.

圖1 日志采集與分析系統架構

系統各層利用Docker容器虛擬化技術,實現應用程序的快捷部署,并且支持橫向擴展,以便應對更大規模的日志收集、存儲和分析.基于該系統架構,系統各層之間通過網絡傳輸方式進行交互,實現系統層級的獨立解耦.

2.1 Docker容器虛擬化技術

Docker[6]是 Docker,Inc.公司開源的一個基于 Go語言編寫的輕量級應用容器引擎,用于自動化部署應用.Docker容器通過將應用和該應用運行所依賴的系統庫、系統工具、源碼等均打包到一個文件系統中,從而確保了應用在任何環境下均能實現一致性的運行效果.用戶可在宿主機部署運行多個Docker容器,每個容器擁有自己的資源并與其它容器相互隔離,容器之間支持相互通信.Docker采用類似于Git版本控制系統的思想,實現對Docker鏡像(Image)的版本管理,比如通過docker commit命令從容器創建一個新的鏡像.此外,在絕大多數情況下Docker容器的性能優于傳統虛擬機KVM,接近原生的性能[7].

根據Docker的工作流程圖(圖2),Docker的生命周期主要包括鏡像(Image)、Docker倉庫(Repository)、容器(Container)三個部分.Dockerfile由一系列指令組成,用于自動創建 Docker鏡像.Docker鏡像可以理解為一個只讀模板,而容器是由鏡像創建的運行實例,具有運行、暫停、停止三種狀態.Docker容器負責運行以及隔離應用程序.Docker注冊服務器(Registry)是用來存放各種倉庫的中心,每個倉庫集中存放某一類鏡像,每個鏡像文件擁有對應的標簽(tag).倉庫又分為公有倉庫和私有倉庫,用戶創建鏡像后可以通過push上傳到倉庫,需要時再用pull從倉庫中下載.用戶既可在公有倉庫發布鏡像,也可部署自己的私倉倉庫發布鏡像.另外,鏡像制作遵循復用原則,在其他鏡像的基礎上進行構建.

圖2 Docker工作流程圖

在容器數據管理方面,Docker通過掛載宿主系統文件或文件目錄作為數據卷(Volume)實現與宿主系統數據共享,也可以通過數據卷容器實現容器之間的數據共享.舉個例子,下面一條命令表示運行一個Elasticsearch容器,并將宿主系統/home/elasticsearch/config目錄掛載到它的/usr/share/elasticsearch/config目錄:

docker run -d -v/home/elasticsearch/config:/usr/share/elasticsearch/config elasticsearch:2.4.1

2.2 數據采集層

數據采集是日志分析的基礎.日志分散在各個服務器上不同文件中,其類型也不一定相同.數據采集工具從不同的數據源獲取日志信息,進行預處理后傳送到數據緩存層.通常一條日志記錄包含時間戳、來源和數據.時間戳表示一條日志記錄生成的時間.來源標識產生該條日志的系統.數據就是日志信息中最核心的內容.但這種格式并不是一個標準,不同系統產生的日志格式也各不相同.為獲得有價值且便于分析的日志信息,需要對原始日志進行預處理.預處理主要是對日志進行過濾和加工操作.比如只傳輸符合規則的日志行,給日志行添加用以區分來源的字段等.日志實時采集傳送到數據緩存層,已采集的日志文件可定期刪除,而不必在服務器存儲原始日志文件,有效減輕了服務器的負載.

目前主流的開源數據收集工具有Logstash、Fluentd等.Logstash是實時收集、加工、轉發數據的工具,支持處理各種常見類型的日志.根據不同的功能,Logstash分為日志收集者和日志轉發者.本文中日志收集者負責從日志文件中實時讀取最新的行文本,處理后輸出到數據緩存層.而日志轉發者從數據緩存層中拉取數據,加工處理后轉發到數據存儲層.同樣,Fluentd[8]也具備日志收集和日志轉發的功能.Fluentd有 Input、Parser、Filter、Output、Formatter和Buffer六種類型的插件,通過靈活的插件機制,實現多種數據源的輸入和輸出.Fluentd還支持基于內存和基于文件的緩存,以防止內部節點數據的丟失,也支持故障轉移.表1為這兩種數據采集工具的比較.

表1 Logstash 與 Fluentd 對比

基于可靠性和性能的考慮,本系統采用Fluentd實現數據采集層.Fluentd配置文件示例如下:

該配置文件包括source指令和match指令.source指令中指定從文件中讀取數據,match指令則配置了數據輸出目的地為Kafka服務器.

2.3 數據緩存層

為了解決數據采集的吞吐量超過數據處理容量而造成數據的丟失,在數據采集層和數據轉發層之間添加一層數據緩存層.該緩存層采用消息隊列的技術實現,提高了系統的性能和可靠性.目前提供消息隊列服務的工具,主流的有 Redis 和 Kafka.Redis[9]是一個開源、高性能、基于內存的鍵值對數據庫.它支持數據的持久化和訂閱發布機制等高級特性.Kafka[10]是一種開源分布式發布訂閱消息系統,具有高性能、高吞吐率、水平擴展等特性.Kafka支持數據離線處理和實時處理.本文選用Kafka消息隊列實現數據緩存層,因為Kafka提供消息持久化能力和容錯性保證,在可靠性方面優于Redis.Redis不保存已發送出去的消息,而 Kafka 可保存被消費的消息的副本.此外,Kafka在處理海量日志方面更具優勢,Kafka利用磁盤存儲消息隊列的數據,而Redis則受物理內存的限制.在消息壓縮方面,Kafka支持snappy、gzip等多種壓縮方式.盡管消息壓縮需要消耗少量的CPU資源,但是由于大規模的日志傳輸瓶頸主要在于網絡IO,啟用消息壓縮機制能夠有效減少網絡傳輸的數據量,提高日志傳輸效率.

在集群方面,Kafka使用ZooKeeper(分布式協調服務框架)實現Kafka各組件的服務協調.Kafka發布訂閱的對象是話題(Topic),一個話題就是一類消息,Kafka通過從物理上劃分一個或多個分區(Partition)實現對話題的管理.Kafka實現了一個分區內消息的有序性,但不能保證不同分區之間的消息有序.Kafka為同一數據源的所有日志創建一個話題.本系統為保證一個話題中所有消息的有序性,將該話題的分區數設置為一個.發送消息到話題的一方稱為生產者(Producer).數據采集層就是消息隊列的消息生產者.而消費者(Consumer)是訂閱話題消費消息的一方.若話題中只有一個分區,消費者消費該話題中消息的順序與該分區中消息先后順序一致.一個Kafka集群由一個或多個代理(Broker)服務器組成.Kafka的容錯性是通過副本(Replica)機制實現.Kafka允許用戶為每一個話題設置副本數量.副本是以分區為單位創建的.每個分區可以有一個或多個副本,每個副本保存在不同的代理上.若分區只有一個副本,則該副本就是領導者(leader),負責處理該分區的讀寫請求.若分區中有多個副本,則其中一個副本會被選舉為領導者,其他的副本則充當跟隨者(follower)的角色.跟隨者會被動去復制領導者上的數據.當領導者發生故障時,會從這些跟隨者中選舉新的領導者.

2.4 數據轉發層

數據轉發層作為數據緩存層中消息隊列的消息消費者,從消息隊列中拉取消息并轉發到數據存儲層進行處理.Fluentd作為數據轉發層進行日志消息的拉取和轉發.為降低海量日志對數據存儲帶來的沖擊,數據轉發層首先通過正則表達式對待分析的日志進行匹配,過濾無用的日志信息,僅對關注的日志進行提取和轉發.

以Nginx訪問日志為例,日志各字段含義如圖3中標注所示.若使用Fluentd對此類型的日志提取數據,可采用以下正則表達式進行匹配:

^(?S+)s-s-s[(?[^]]*)]s"(?[^"]+)"s(?d+)s(?d+)?$

圖3 Nginx 訪問日志

在數據提取時,通過正則表達式匹配后的各字段被提取出來并命名.例如,日志中的客戶端IP地址被命名為client_ip,訪問時間與時區被命名為timestamp.通過對字段進行命名,有利于為后續日志分析提供關鍵信息.

2.5 數據存儲層

數據存儲層是本系統最核心的一層.數據轉發層將轉發的日志逐條插入到數據存儲層的Elasticsearch集群.Elasticsearch[11]是一個高可用、高伸縮、基于Apache Lucene的開源分布式搜索和分析引擎.雖然Elasticsearch與傳統的關系型數據庫(Rational Database)存在很大的差異性,但是兩者在一些核心概念上有相似之處,見表2.

表2 Elasticsearch 和 Rational Database 對比

Elasticsearch既支持全文檢索,也可以存儲數據.它存儲不依賴模式(Schema)的JSON(JavaScript Object Notation)文檔,并對每一個文檔進行索引.一條日志對應一個文檔.Elasticsearch運行在Java虛擬機之上,通過RESTful API接口的方式對數據進行增刪改查操作.操作時,若有參數輸入,參數的格式以JSON形式表示,操作后輸出的結果也是以JSON形式顯示.圖4表示使用curl命令刪除一條文檔.可以看得出RESTful風格的API結構清晰、易于理解.

圖4 curl命令刪除一條文檔

Elasticsearch是分布式的,可通過管理節點(Node)實現擴展.節點是運行Elasticsearch的實例.一個集群(Cluster)是一組具有相同集群名稱的節點集合.集群中節點可以配置為主節點、數據節點和客戶端節點這三種不同的角色.主節點控制集群,負責集群的管理工作,比如創建或刪除數據索引.數據節點負責存儲數據分片和數據操作,比如數據分片增刪改查操作.客戶端節點將到來的請求轉發到集群的其他節點,起到負載均衡的作用.

當集群需要存儲超出單個機器容量的數據時,Elasticsearch會自動將數據分別發送至多個存儲Lucene索引的機器上,這些Lucene索引稱為分片(Shard)索引.同時Elasticsearch通過副本(Replica)機制對分片進行數據冗余,保證了集群的高可用.另外,Elasticsearch 支持插件機制,包含豐富且功能強大的插件.在分析含有中文內容的日志時,需要對中文檢索,而Elasticsearch內置的標準分析器對中文分詞支持相對較弱.它在處理分詞時,將中文的每一個漢字作為一個詞(token)分開,這種方式搜索的結果查全率非常高,而查準率很低,無法滿足復雜或者特定的中文搜索需求.本系統中Elasticsearch采用IK analyzer中文分詞器[12]進行中文搜索,效果較為理想.

2.6 數據檢索和展示層

僅從每一條日志信息中難以發現海量日志中隱含的規律.數據檢索和展示層為數據存儲層中所有日志信息提供統一的查詢入口,并可對日志進行統計分析以可視化形式呈現結果.日志可視化將復雜和抽象的日志信息轉成圖表形式,使得用戶更容易理解日志之間的聯系和變化情況,便于用戶更好地做出決策.Kibana和Grafana都支持Elasticsearch數據可視化展示.Grafana是開源的可視化測量數據的工具,但對Elasticsearch數據檢索支持較弱.而Kibana是基于Apache License2.0開源協議,使用HTML語言和JavaScript編寫,可提供數據分析和可視化的Web前端應用.它可以對Elasticsearch中的數據進行搜索、分析和以統計圖表的方式展示結果.Kibana的查詢語法是基于Lucene的查詢語法,通過布爾運算符、通配符和字段篩選進行模式匹配搜索.用戶可選擇對查詢的結果進行保存,方便以后再次查看.Kibana可以實時查看數據存儲層中最新存儲的日志信息.

3 實驗測試及結果分析

本文重點驗證系統整體的有效性以及Fluentd的數據采集效率.通過部署在同一局域網的9臺PC機搭建集群進行測試.每臺PC機的硬件環境為主頻3.1 GHz的四核 CPU、內存 4 GB、磁盤 200 GB,軟件環境為CentOS7.2(64 bit)、Docker1.10.3、JDK1.8.0_65、Kafka2.11-0.10.0.1、Elasticsearch2.4.1、Kibana4.6.2、ZooKeeper3.4.9、Fluentd0.12.30.圖5為本次實驗系統部署架構,集群各個節點的配置及其功能描述如表3所示.實驗數據集為模擬Nginx日志和Tomcat日志,實驗時不斷地往被收集的日志文件中寫日志.

圖5 系統部署架構圖

表3 系統集群配置情況

經過測試,Fluentd的內存使用率變化不大,大概占2%左右.Fluentd數據采集速率與CPU使用率基本上呈線性關系,峰值數據采集速率可達2.7萬條日志/秒.數據產生到數據展示耗時30秒以內,基本滿足日志分析實時性的需求.在Kibana中可以看到最新收集的日志信息,并能以圖表形式進行統計分析,圖6為統計某一時間段客戶端IP訪問次數.

圖6 統計某一時間段客戶端IP訪問次數

Elasticsearch 中添加 IK Analyzer分詞器后,在Kibana中檢索“中國科學技術大學”,得到較好的分詞結果,圖7高亮顯示了有實際意義的詞組.

傳統日志分析方案通常采用單機處理,它的資源利用率不高且可靠性較弱.傳統日志分析方案與本文設計方案的各項指標對比見表4.

圖7 日志關鍵詞檢索結果

表4 傳統日志分析方案與本文設計方案對比

本系統還具備快速部署的優點.傳統方式需要對新部署的服務器重新配置應用的運行環境,而Docker容器部署方式只需要拷貝Dockerfile文件、構建鏡像、運行容器,即可完成部署,效率遠高于傳統部署方式.隨著部署節點不斷增多,Docker容器部署方式的優勢更加明顯.

4 結語

本文設計了基于Docker的大規模日志采集和分析系統,該系統結合了Fluentd高效數據采集工具、Kafka消息隊列、Elasticsearch分布式搜索引擎、Kibana數據分析和可視化平臺、Docker容器等開源技術.本系統主要分為數據采集、數據緩存、數據轉發、數據存儲、數據檢索和展示五層.該系統實現日志分析的分層解耦,能夠實時高效對大規模日志進行處理分析,并以可視化方式展示.同時利用Docker虛擬化容器技術實現系統快速部署和版本控制,提高了運維效率.實驗結果分析表明,本文采用的技術路線和設計方法可行有效.下一步將結合Hadoop、Spark等其他大數據分析技術對日志進行更深層次的挖掘,從而獲得更多有價值的信息.

1涂新莉,劉波,林偉偉.大數據研究綜述.計算機應用研究,2014,31(6):1612–1616,1623.

2Suneetha KR,Krishnamoorthi R.Identifying user behavior by analyzing web server access log file.IJCSNS International Journal of Computer Science and Network Security,2009,9(4):327–332.

3Scribe logfile aggregation system described by facebook’s Jeff hammerbacher.https://github.com/facebookarchive/scribe.2008.

4Rabkin A,Katz RH.Chukwa:a system for reliable largescale log collection.Proc.the 24th International Conference on Large Installation System Administration.Berkeley,CA,USA.2010.1–15.

5趙龍,江榮安.基于Hive的海量搜索日志分析系統研究.計算機應用研究,2013,30(11):3343–3345.

6Boettiger C.An introduction to Docker for reproducible research.ACM SIGOPS Operating Systems Review,2015,49(1):71–79.[doi:10.1145/2723872]

7Felter W,Ferreira A,Rajamony R,et al.An updated performance comparison of virtual machines and Linux containers.Proc.of 2015 IEEE International Symposium on Performance Analysis of Systems and Software (ISPASS).Philadelphia,PA,USA.2015.171–172.

8Fluentd.http://docs.fluentd.org/articles/quickstart.

9Carlson JL.Redis in action.Shelter Island,NY:Manning Publications Co.,2013.

10Kreps J,Narkhede N,Rao J.Kafka:a distributed messaging system for log processing.Proc.of the NetDB’11.Athens,Greece.2011.1–7.

11Gormley C,Tong Z.Elasticsearch:the definitive guide.Sebastopol,CA:O’Reilly Media,Inc.,2015.

12朱潛,吳辰鈮,朱志良,等.Hadoop 云平臺下 Nutch 中文分詞的研究與實現.小型微型計算機系統,2013,34(12):2772–2776.[doi:10.3969/j.issn.1000-1220.2013.12.022]

Large-Scale Log Collection and Analysis System Based on Docker

LUO Dong-Feng1,2,LI Fang1,HAO Wang-Yang1,2,WU Zhong-Cheng11(High Magnetic Field Laboratory,Chinese Academy of Sciences,Hefei 230031,China)2(University of Science and Technology of China,Hefei 230026,China)

The traditional log analysis technology has low efficiency,simple function,poor scalability in practice in processing the large-scale log.To solve these problems,a large-scale log collection and analysis system based on Docker is designed.There are five layers including data collection,data cache,data forwarding,data storage,data retrieval and display in the system.And the system can take in any type of log files from different data sources,provide reliable data transmission through Kafka message queue,utilize Elasticsearch to realize distributed storage and retrieval of data,and analyze log by means of visualization.Meanwhile,the use of docker container technology can realize rapid deployment and version control of the system.The system has the characteristics of real-time,scalability,easy deployment and so on.The experimental results show that the system is feasible and effective with good practical value.

log collection and analysis; Docker; elasticsearch; open source; scalability; real time

羅東鋒,李芳,郝汪洋,吳仲城.基于Docker的大規模日志采集與分析系統.計算機系統應用,2017,26(10):82–88.http://www.c-sa.org.cn/1003-3254/5997.html

國家自然科學基金(61273323)

2017-01-13; 采用時間:2017-02-23