排查Web 服務運行遲緩故障

編者按： 筆者遇到某單位Web 網站運行遲緩問題，初步排查是由于某些默認配置較低所致，之后筆者從架構上對其進行了調整，徹底解決了該問題。

某單位的Web 網站最近訪問量比較大，造成網頁打開遲緩或者無法打開的問題。該網站基于J2EE 架構，在Web服務器上運行的是TomCat服務，數據庫服務器上安裝的是MySQL。

在出現故障后，單位對Tomcat 進行了重啟，這時網站雖然可以正常方式，但是很快就出現了無法訪問的故障。筆者通過執行“top”“vmstat”等命令，發現CPU處于高負載狀態，僅僅Java進程就占用了大量的CPU 資源，但是內存的消耗并不大。

故障排查

進入TomCat 安裝路徑下的“conf”目錄，打開其中的“server.xml”文件，發現其中的所有配置都采用了模式設置，而且其JVM 配置也采用的默認配置，并沒有采取具體的優化措施。在Tomcat默認配置中很多參數都設置的很低，對于內存和線程的配置來說尤甚。這些默認配置在低Web 業務量不會出現問題，一旦Web 業務量大量增長，很容易成為性能瓶頸。

例如，在“server.xml”中適當增大maxThreads（客戶請求最大線程數）、minSpare Threads（Tomcat初始化 時創建的socket 線程數）、max SpareThreads（Tomcat 連接器的最大空閑socket 線程數）、acceptAccount（監聽端口隊列最大數）、minProce ssors（服務器創建時的最小處理線程數）以及maxProce ssors（服務器同時最大處理線程數）等參數的值，對其配置進行優化處理。

進入“bin”目錄并打開“catalina.sh”文件，在其中添 加“-server–Xms8192m–Xmx8192m-Xmn1g-XX:PermSize=256M-XX:Max PermSize=512m”行，針對JVM 內存配置進行優化，這里是基于32 GB 內存進行調整的。當重啟TomCat后，執行“top”命令，會發現其占用的CPU 資源會逐漸降低。并且服務器的訪問效能提高了很多，但是Java 進程占用CPU的資源依然很高。

執 行“lsof” “netstat”等命令，發現存在大量的Java 請求等待信 息。對TomCat日志進行分析后，發現存在很多報錯信息，提示數據庫連接超時，無法連接到數據庫等情況。

Tomcat 本身僅僅是一個Java 容器，使用連接/線程模型處理業務請求，主要用于處理JSP、Servlet 等動態應用。如果將其作為HTTP服務器使用，是無法高效率的處理靜態資源的。根據觀察到的情況分析，原因很可能是Tomcat 無法及時響應客戶端的請求，導致請求隊列越來越多，直到Tomcat 徹底無法工作。

對于正常的訪問請求來說，服務器會將其轉交給Tomcat 進行處理，Tomcat接著執行編譯和訪問數據庫等操作，之后將信息返回給客戶端，客戶端接收到信息后，Tomcat 就關閉這個請求鏈接。在大訪問量的高并發訪問環境中，很多的請求在短時間內都提交給Tomcat 處理，這樣Tomcat 應接不暇最終失去響應，造成Java 進程處于僵化狀態無法釋放其占用的CPU 資源。

故障處理

要想解決以上問題，只有從架構上對TomCat 進行調整。Tomcat 擅長處理JSP動態頁面，但是對于靜態頁面的處理不如Apache，這時可將Apache 和Tomcat 安裝在一臺服務器上，如果條件許可的話，最好將Apache 和TomCat 部署到兩臺服務器上。Apache和Tomcat的整合，可以通過jk 模塊結合AJP協議來實現。

然后執行以下命令來編譯JK：

將得到的“mod_jk.so”文件復制到“/usr/local/apache2/modules”目錄中，設置所需的JK 連接器。

執行“vim httpd.conf”命令，在Apache 配置文件中添加以下行，對JK 連接器屬性進行配置：

進入Apache的“conf”目錄，執行“vim workers.properties”命令，輸入以下命令：

保存該文件，其作用是定義名為“tomcat1”的Tomcat Workers。

之后執行“/usr/local/apache2/conf/uriworker map.properties”命令，創建URL 過濾規則文件，指定何種URL 由Tomcat 處理。

例如，輸入以下行：

指定所有請求都交給上述“tomcat1”處理。但是以下類型的文件Tomcat 不會處理，會先被JK 解析，之后交由Apache 處理，可以根據需要設置所需的文件類型。

進入Tomcat的“conf”目錄，執行“vim server.xml”命令，并在其核心配置文件中的默認“”后面追加“Host name="x.x.x.x" debug="0"appBase="/web/site" un packWARs="true" ”行，其中的“x.x.x.x”為本機的IP。當然，Tomcat 虛擬主機要和Apache 配置的虛擬主機指向相同的網站路徑。打開“catalina.sh”文件，在開頭處添加“JAVA_HOME=/usr/local/jdk1.8.0_162”“export JAVA_HOME”行，設置所需的環境變量。

執行以下等命令，來啟動Toamcat 和Apache：

通過查看“/usr/local/tomcat8.x/logs/catalina.out”文件，可以了解TomCat啟動日志信息。經過以上架構上的調整優化，可以觀察到Java的資源占用率在逐步降低。但在高并發訪問情況下，Java 進程有時還存在占用較高CPU 資源的問題。

筆者對Tomcat日志進行分析后，發現僅僅使用一臺Tomcat 應用服務器是不夠的。于是筆者在前端服務器上運行Apache 和Mod_JK 模塊，負責調度和處理用戶的請求，在后端配置多臺TomCat 服務器負責動態應用的解析操作，并通過將負載均衡機制，將這些請求分配給多個Tomcat 服務器。即配置多臺Tomcat 服務器組成集群，利用JK 模塊構建Tomcat 負載均衡系統，將Apache 服務器傳送過來的請求，調度到不同的Tomcat 服務器上，讓其執行動態解析操作。

對于集群模式來說，可以配置NFS 共享目錄，讓Apache 和多臺TomCat 之 間共享數據。這樣才徹底解決了上述故障，讓該網站高效運行起來。