用于開源學習社區的openEuler 性能分布式測試實驗平臺開發

黃靖茹，李釗興，裴喜龍，2，徐志宇，2

（1.同濟大學電子與信息工程學院；2.同濟大學計算機與信息技術國家級實驗教學示范中心，上海 201804）

0 引言

openEuler 是一個開源免費的Linux 發行版系統［1］，旨在通過開放的社區形式與全球開發者共同構建一個開放、多元和架構包容的軟件生態體系。openEuler 同時也是一個創新系統，倡導客戶在系統上提出創新想法、開拓新思路、實踐新方案。

openEuler 是企業系統（Enterprise OS），其可以提供企業級應用要素，如穩定的環境、長期的升級更新支持、強大的保守性、大規模系統的適用性等。與大多數操作系統一樣，openEuler 在發行每個版本前都需要經過嚴格測試，驗證系統是否滿足需求，并對不足之處進行改進。測試人員一般通過靜態分析和軟件測試技術檢測系統缺陷［2-4］，而系統故障具有很強的隨機性［5-6］。每個版本迭代時，系統測試都需要投入大量資源，因此如何以成本較低的方式構造出一個隨機環境，既能使openEuler 隨機運行，又能有相對專業的人員將出現故障的情況描述清楚，并反饋給開發人員至關重要。雖然目前已針對許多系統開發了性能測試，如RTLinux［7-8］、Android［9-10］等，但關于openEuler 的平臺及其性能測試很少。

隨著大數據和人工智能的發展，數據規模不斷擴大，利用單一設備進行測試面臨巨大挑戰［11-12］。在分布式環境下可以利用廉價主機組成集群進行大規模測試，以提高系統的可用性，因此目前對分布式測試的研究日益增加。為對openEuler 的性能進行高質高效的分布式測試，同時盡量以低廉的成本推進版本的更新與迭代，本文設計了一個實驗平臺，通過開源學習社區和大規模學生實驗匯集個人智慧［13］，使問題得到及時反饋與解決。本文主要介紹實驗平臺的開發過程，包括軟硬件配置、內網穿透以及實驗平臺的使用方法。該實驗平臺是針對操作系統性能進行分布式測試，因此本文提出了基本的測試指標。此外，開發人員也可以根據具體需求定制方案及對應指標，具有很強的開放性和拓展性。

1 實驗環境

1.1 硬件環境

3 塊樹莓派（Raspberry Pi，RPi），外加硬盤、SD 卡、電源等，組成一個陣列。由于編譯openEuler 的計算機存儲不得低于50GB，為滿足后續開發需要，本實驗平臺選擇128GB SD 卡作為每個RPi 的主存儲，并通過USB 口連接移動硬盤（Hard Disk）作為輔助存儲。

Fig.1 Hardware configuration圖1 硬件配置

圖1 為3 塊RPi 組成的硬件配置示意圖，每塊RPi 都需要連接電源和接入同一交換機（Switch），使其處在同一個局域網中，再通過廣域網（WAN）連到互聯網（Internet）。從集群分工的角度而言，一塊RPi 作為集群（Cluster）的主節點（Master），其他兩塊作為從節點（Workers），作為主節點的RPi 負責整個集群的存儲和對外訪問的控制。

1.2 軟件環境

需要安裝的軟件包括openEuler、Ceph 存儲［14］、Seafile云盤［15］、Frp［16］等。圖2 為軟件配置示意圖。

Fig.2 Software configuration圖2 軟件配置

openEuler 是整個集群的操作系統，對于第一塊RPi（Rpi_0）而言，需要從官網直接獲取openEuler 的img 鏡像文件；對于剩下兩塊RPi（Rpi_1 和Rpi_2）而言，需利用openEuler 官方提供的源碼，在操作系統為openEuler 的Rpi_0中編譯得到img 鏡像文件。Ceph 負責具體存儲分配［17-18］，構成openEuler Ceph 集群，整個集群安裝Seafile 后，便于進行云存儲管理［19-20］。當集群處于同一局域網時，利用Frp開放內網IP，使用戶可以在互聯網上進行訪問。為測試集群的性能，由測試管理服務訪問內網。

2 平臺搭建

3 塊RPi 均需以openEuler 作為操作系統。出于測試openEuler 性能的目的，在不同硬件下需要按照不同方式安裝系統，以下主要介紹兩種方式，均需在openEuler 的環境下進行。

2.1 openEuler OS 獲取

在openEuler 的RPi 版本下載官方openEuler 鏡像，將其燒錄到一張SD 卡中，在其中一塊RPi 上建立openEuler操作系統環境，版本為20.03 LTS SP1。

2.2 openEuler OS 環境編譯構建

實驗平臺的開發圍繞openEuler 進行了多方面的性能測試，其中穩定性的測試方法有以下兩種：在openEuler 環境下構建自身編譯環境形成鏡像文件和構建專門的測試程序。

由于一款操作系統的穩定性（兼容、數據包完整性等）測試從進行C/C++編譯、鏈接等開發過程便已開始，因此官網鏡像與自編鏡像一起工作有助于判斷環境文檔、腳本等是否完整。編譯環境會影響編譯構建的結果，rpm 打包也受環境影響，因此在openEuler 自身環境下編譯構建可以測試系統穩定性。

openEuler 是一款復雜應用環境的操作系統，內核和C/C++語言庫是耦合在一起的，內核啟動后，首先會將C/C++庫作為動態鏈接庫載入內存，如果要對操作系統內核進行測試，需在應用程序上實施一些針對內核的C/C++程序測試。在openEuler 系統搭建完成后，可以有針對性地編寫測試內核的程序。

2.3 openEuler 實驗軟件安裝

目前有很多分布式軟件利用不同策略對每個節點進行管理和維護，安裝這些專業軟件不僅是搭建分布式環境的必要條件，也可以測試其與openEuler 系統的兼容性。此外，在分布式系統下，整個系統的穩定性不僅與單臺計算機的性能有密切關系，計算機之間的存儲、時延等也會影響整體性能。因此，相關軟件的安裝能使測試重點更多地集中在操作系統表現上，有利于專業人員發現故障。

2.3.1 Ceph 安裝

在安裝Ceph 軟件之前系統環境需要滿足一定條件，包括配置eperl 源、關閉防火墻、配置主機名、配置NTP、配置免密登錄和關閉SELinux，其中配置NTP 是為了使集群中的存儲節點時差縮小，否則Ceph 會產生警報。

正式安裝Ceph 軟件時，需要配置MON、MGR 和OSD 節點。由于OSD 節點實際存儲數據的進程，因此在每個存儲節點上都需要進行配置；MON 節點負責維護整個集群的狀態，MGR 監控集群的狀態并將一些數據暴露給外界，因此MON 節點和MGR 節點只需要在Master 節點配置。Ceph 同時提供塊、文件和對象存儲服務，后續可利用Ceph 提供的接口根據需要選擇合適的服務。

2.3.2 Seaflie 安裝

安裝Seafile 的前期需要關閉防火墻，以便安裝MySQL或MariaDB 數據庫。進行基本配置后還需要配置nginx 反向代理Seahub，同時啟動Seafile 和Seahub 并訪問nginx 監聽的IP 地址和端口號。

3 通過互聯網管理測試設備

操作系統的開發測試環境一般布置得比較集中，以便于管理，易于采集出現故障的現場信息，甚至在恢復（Recover）的現場直接調試軟件，例如SSH 和遠程桌面均需要在局域網下通過IP 地址進行連接。本文對實驗環境的最重要訴求為隨時隨地訪問參與測試的機器。目前實驗系統均處于同一局域網中，為使外網能訪問到局域網內部設備，一般需要將設備的私有IP 變為公網IP。然而，為每一臺機器都申請一個公網IP 十分困難，也不必要，本文實驗平臺通過內網穿透實現這一目的。

實現內網穿透的方法很多［21］，本文使用Frp 進行反向代理的方案，該方案需要一臺帶有公網IP 的云服務器，本實驗選擇阿里云服務器。不同應用占用的端口不同，例如SSH 需要使用22 號端口，遠程桌面的RDP 占用3389 號端口，自建Web 服務一般占用80/443 端口，將工作站作為上外網的代理服務器則需要1080 端口等，因此可以通過開放不同的端口釋放不同的功能。

利用Frp 進行反向代理的優點是完全可控，可隨意配置端口進行穿透，還可以實現端口復用。多個服務都是通過公網服務器的某個端口暴露，速度與云服務器帶寬有關。frp 工具分為frps（server）和frpc（client）兩個包，分別安裝于公網云服務器和需要被外網訪問的各RPi 實驗平臺。

為避免出現不兼容問題，統一選用0.32 版本的frp 工具。阿里云服務器的操作系統和內網操作系統分別采用Ubuntu 和AArch64 架構的openEuler，因此分別選用AMD 和ARM64 版本處理器。在實際搭建時，應關閉防火墻和開放端口，保證兩者暢通。通過Frp 的內網穿透可實現對局域網內部所有在線RPi 實驗平臺的隨時遠程訪問，同時也便于對性能測試的集中管理。

4 測試集中管理

實驗開始時，首先在PC 機上登錄客戶端軟件，通過互聯網訪問在線RPi 實驗平臺作為測試對象。使用Loadrunner 或網頁加壓程序對其進行加壓，逐漸模擬用戶端的數目，對其進行檢測，觀察測試對象是否出現死機現象，同時在客戶機器上進行性能監控，抓取測試對象的磁盤I/O 吞吐性能參數。

本文設計的RPi 實驗平臺可用于對openEuler 各項性能指標的分布式測試，包括但不限于：

（1）源碼編譯、安裝源的可獲得性評價。測試環境涉及到openEuler 與應用軟件的安裝，有很多安裝是基于源碼且隨機發生的，這將為評價openEuler 的資源分發能力提供數據支持。

（2）云盤穩定性。利用Seafile 的客戶端能力，在測試管理端隨機向云盤存儲文件，通過不同客戶端的數據同步能力判斷云盤服務的穩定性和效率，這是一個功能與效率的復合測試。

（3）系統連續開機能力。定時將/proc 目錄中的部分內容傳輸給實驗管理服務器，用于判斷測試機器的運行情況。

（4）網絡基準測試。通過不同客戶端從測試管理端收取數據包，觀察傳輸速度、時間以及數據大小等指標，判斷網絡傳輸中的系統穩定性。

5 結語

針對目前開源操作系統openEuler 未曾向開源社區人員提供系統的分布式測試平臺這一問題，本文在RPi 上安裝openEuler，并在其上安裝Ceph、Seafile 以搭建基礎分布式環境，通過安裝Frp 進行內網穿透，利用成熟的軟件系統檢驗操作系統及其應用軟件運行的穩定性。該平臺避免了以往僅在事先制定的測試用例集上進行系統測試的短板，更能體現用戶應用場景的隨機性。該平臺易于使用、成本低廉，因此能在開源社區和學生實驗中推廣。然而，該平臺在系統性能方面的測試尚不全面，未來將著重研究如何對系統性能進行更完善的測試與評價。