王琪+陸全華+史先娟+孫裔成



摘要:基于江蘇省農產品質量安全追溯管理平臺的云網絡服務由智能解析網絡和應用云虛擬化服務兩部分構成。智能解析網絡主要是用于方便內外用戶就近訪問,云虛擬化服務主要是將傳統的前臺應用與數據庫服務器的1+1模式調整為虛擬化N+N模式,動態調度計算資源為各種情況下的突發訪問提供額外支撐,提高平臺服務的可用性、健壯性和安全性。
關鍵詞:農產品;質量安全;追溯管理;云網絡服務
引言
隨著計算機技術的的發展和現代農業生產服務方式的變革,農產品的生產、運輸、監管、追溯等多個領域已經跨入了信息化、物聯網化管理時代,一些地區的農業生產領域已經納入了全程可視可追溯化的信息系統管理范圍。借助云網絡服務技術的應用高潮,許多平臺的使用管理需求變得越來越要求更智能、健壯、簡單、便捷,這對傳統的IT運維模式提出了新的問題,給運維人員也帶來了越來越高的挑戰。
長期以來,各類系統提供服務的典型模式是一套系統配置一臺專用服務器與運營商網絡線路。在這種模式下,隨著網站、業務系統的用戶訪問量增加必須不斷購置增加新的服務器硬件與更高的網絡帶寬資源,服務器與帶寬資源投入的成本會隨著業務的規模擴張不斷攀升,同時設備數量激增伴隨而來的機房空間、電力供應、人員管理、時間成本也隨之膨脹。單臺服務器硬件的處理性能瓶頸無法實現突破,用戶海量突發訪問情況下會造成系統無法處理導致癱瘓,空閑時的性能無法加以利用,空耗電力與管理成本造成巨大的資源浪費。如同高校中的教務選課系統、鐵路公司的網上購票系統,每年僅在特定時間內系統異常繁忙,無法滿足用戶訪問要求,其余時間系統閑置,以至于投入的網絡帶寬與服務器資源嚴重浪費。一方面用戶體驗得不到有效保障,另一方面費用投入過大造成業務系統可持續發展受到嚴重影響。
所以在系統部署的問題上必須要考慮到未來可預計的訪問量會呈數十倍的規模增加,如何避免類似業務系統的困境出現,已經成為研究如何支撐它持續成功推廣應用的重要課題。本文針對業務系統訪問對象具有的變化性、分散性、不規律性等特點,提出了一種基于云網絡服務平臺的農業智能業務管理系統。本系統的關鍵技術是通過策略解析實現用戶就近訪問,保障訪問速度;采用彈性資源計算分配算法,實時調整分配的計算能力,將繁忙時段的訪問負載分擔到不同硬件中,將空閑時段的計算資源收回用于其他業務系統和服務計算中。
1研究背景與建設目標
作者所在單位負責了江蘇省農產品質量安全追溯平臺的開發與推廣應用項目,在2013年本項目完成上線調試和培訓推廣工作,平臺轉入正式運行狀態。系統主要為各生產基地在農產品的種植養殖、采集收納、加工生產、運輸物流全部流程中提供數據采集記錄、代碼生成、各階段數據追溯功能,農業監管部門負責檢查數據錄入的真實性、完整性,非生產基地之外的農產品將不被允許記錄在案,消費者在購買農產品后掃描追溯碼可以追溯到其全部生產環節、具體日期、生產基地、每個環節負責人等所有信息,最終變“點監管”為“鏈監管”,形成“無法追溯來源不得上市,上市農產品都可追溯”的市場準入制度。
在系統規劃設計之初,系統僅限于鹽城部分地區試點使用,試點單位不超過30個,總使用人數100余個,使用并發數在30人左右,業務訪問量小、并發數低,對系統性能和響應速度方面的壓力并不大,所以政府采購部署了兩臺機普通架式服務器(一臺前端web服務、一臺后端數據庫)在鹽城農委機房,由于預算有限沒有申請專線,與鹽城農委的20Mb辦公網絡共享帶寬使用。隨著業務擴展,試點地區擴大,使用基地變多,業務訪問量和并發數都變大,逐步出現一些線路利用率高、服務器資源耗盡、響應速度慢、卡頓和短暫無法上傳數據問題,用戶抱怨連連。在追求極致、快速的互聯網+時代,這些投訴對于一個實時交互的業務系統比較致命的影響。在這種背景下,系統建設方要求在不影響業務使用的同時采取必要的技術手段改善用戶體驗,避免高延時和宕機服務停止的情況出現。本文就是以江蘇省農產品質量安全追溯平臺的遷移工作為實例,進行相關工作研究和應用部署。
在接受平臺優化需求后,服務團隊在通過一系列調研的基礎上,經過商議討論,決定將將原有部署在鹽城的傳統業務服務器實行虛擬化,將服務資源遷移至單位所在的云服務平臺中。根據實際應用現場,將服務器采用P-V模式虛擬化,納入到虛擬化計算池中,突破原有物理服務器內存和CPU計算能力限制,將計算池中的資源實現動態按需分配,最大程度滿足峰值需求,在低峰期時計算資源收回。通過按照運營商IP地址段進行策略域名解析,充分利用云服務中心的多運營商線路確保用戶能就近訪問,在某一條線路出現意外中斷或堵塞時觸發更新解析,將用戶流量引導至空閑網絡線路中。提高業務可靠性,利用虛擬化平臺的監控技術確保虛擬機所在物理硬件出現故障時候迅速漂移至其余可用物理服務器中。
本項目的云網絡服務優化目標就是在不投人額外經費的前提下,充分利用現有資源實現平臺的整體遷移,確保農產品質量安全追溯平臺在高峰期能正常運行、處理數據,按需分配節約計算性能,增強系統容災能力、提升用戶體驗。
2農產品質量安全追溯平臺系統現狀分析
前期調研中我們前往系統部署所在地,一線觀察了生產基地數據上傳、采集、防偽碼追溯使用、后臺監管的全過程;軟件系統的架構、數據庫部署方式、服務器運行狀態、網絡的利用率情況。隨后與當地協助維護的工程師進行交流溝通,與該平臺的使用者質監站與生產基地了解使用中的各類問題和反饋意見。最終將主要問題癥狀羅列如下:
第一、用戶使用問題。當前系統(www.is-apqt.com)使用效率較高,在線人數峰值達到200人。使用體驗不佳,其中速度慢、無響應、軟件平臺宕機反饋的問題出現次數較多,另外與部分農殘儀接口數據不匹配,導致部分節點數據無法上傳成功。
第二、業務系統托管機房環境問題。系統由于托管在鹽城市農委的機房,該處機房屬于早期建設,規劃空間小,預留機柜空間不足設備堆積嚴重,無精密空調,服務器排氣量高溫度持續告警。綜合布線系統雜亂,沒有任何的標識標記,維護起來極度不便。
第三、網絡帶寬問題。在數據上傳交互時候平均帶寬占用每人50Kb,峰值時候需要帶寬30Mb。本業務平臺的出口網絡只有一條,由鹽城電信公司的20Mb帶寬維持,一般情況下足夠使用。但這條線路并未給予專線專用,還需要與當地農委的辦公上網共享使用,極容易造成網絡堵塞,造成外部訪問速度慢延時高,電信出口一旦中斷,沒有冗余線路提供訪問,會造成全部中斷。
第四、業務系統所使用的服務器硬件資源問題。平臺業務系統是通過政府采購的兩臺HP機架式中檔服務器DL320,雙核CPU內存為4GB,一臺作為前臺,一臺作為數據庫。前臺利用率較高,而后臺相對空閑,其中后臺的空閑資源并不能釋放出來給予前臺支持。在上午9-11點,下午3-5點使用高峰期時,前臺服務器內存耗盡,響應速度緩慢。
第五、業務系統軟件兼容性開發問題。由于使用的手持農殘儀采購型號不一,每一款型號儀器都需要進行額外開發與平臺對接后才可以上傳數據,與平臺對接的開發需要加快進度。
第六、業務系統安全性問題。在調研中發現,為了方便技術人員遠程調試,開發時候預留了遠程桌面端口,密碼強度低,防火墻策略不嚴格。業務系統內沒有安裝殺毒軟件,仍舊使用的32位的windows2003屬于已被淘汰的操作系統,在簡單掃描后發現病毒數量不少,服務器上曾經出現過木馬入侵痕跡和被利用作為跳板實施網絡攻擊等犯罪行為。
3云服務方案設計
3.1設計原則
通過調研發現的問題,團隊經過與用戶商議達成共識,在現有條件無法得到顯著改善的情況下,最便捷的措施就是實現業務系統整體遷移“搬家”,將系統環境整體部署到單位所在的私有云網絡服務中,在不追加投資購置硬件和改善機房條件的情況下,此方法的成本最低,改善效果最佳。同時明確了云服務方案部署實施的幾個原則:
一、避免長時間中斷,一次性到位,使得用戶在遷移過程中無感知。
二、提升用戶體驗,業務承載能力顯著提升。
三、加固平臺安全,完善備案資料,避免造成非技術因素導致的中斷。
四、保證數據完整性,遷移前后數據一致。
3.2部署方案
在此原則基礎上,最終形成的云網絡服務部署設計方案如下:
一、基礎平臺準備。在遷移前提前準備好“新家”,把業務平臺所需的虛擬化服務器首先搭建完成。針對現有服務器硬件資源不足的問題,將網站搬家后將搭建在云平臺服務器集群中,服務器虛擬化技術可以提供彈性性能分配機制,在網站繁忙時候提供所有資源128G內存64核CPU處理能力,在網站空閑時將資源回收設置為8G內存3核CPU,如圖1所示。
二、多運營商線路與域名策略解析準備。針對現有網絡帶寬不足的問題,將在網站搬家后得到解決,充分利用單位高帶寬網絡、多運營商冗余線路優勢提供對外訪問。所有用戶將通過互聯網訪問云網絡服務平臺,不會感覺到服務差異。同時申請新公網IP地址,其中移動、聯通、電信各一個,利用域名平臺提供的DNS服務進行策略解析對外發布,根據用戶所在網絡情況來指定最佳網絡IP就近接人,如圖2所示。
三、業務系統安全加固準備。部署前端網頁防火墻設備,采用反向代理技術進行多域名對公網IP地址,節約地址資源,如圖3所示。在搬家后關閉所有對外遠程端口、提升密碼強度、指定嚴格訪問IP及操作控制權限、運行64位windows2008操作系統版本。使用平臺自帶的趨勢防病毒底層殺毒軟件和服務漏洞補丁修復系統,不需要安裝服務器中再安裝殺毒或補丁修復軟件等浪費性能資源。
四、備案信息變更準備。由于前期備案在本省其他城市運營商注冊,在變更過程中涉及系統平臺主體更換、域名證書重新生成等具體事項。需要在搬家前將域名注冊賬戶進行過戶,變更域名證書所有權,在云服務平臺所在地電信、移動、聯通公司進行備案成功后,隨后在鹽城市電信公司取消備案。該步驟將需要在正式遷移前完成,備案必須在工作日,且要考慮預留三天左右的時間待備案流程結束,否則會造成未備案或備案主體不正確被封閉80端口無法使用。
五、系統平臺及數據遷移準備。遷移整體計劃采用“軟搬家”方式,將網站軟件、后臺數據、域名遷移到云服務網絡中。首先將前臺軟件部署到虛擬服務器中,最重要的是對后臺數據庫的數據進行遷移。因為涉及到后臺數據量約有200 GB,方案中是采用夜間暫停前臺數據讀寫操作,后臺一次性拷貝至新數據庫中。在數據備份完成后立即開啟云服務平臺中的前臺服務,再進行正常的業務讀寫操作,正式遷移到云服務平臺中對外提供服務。
4結論
在農產品質量安全追溯平臺遷移后,團隊經過多次測試,由于帶寬資源、計算資源充裕,用戶瀏覽、數據上傳國內用戶基本能達到1.6-2.4Mb訪問速度,延遲從原先的50-100ms改善至10-40ms,在2015年期間至今沒有出現計劃外的服務中斷故障。并發數峰值用戶最高達到400人次操作上傳,在抗壓性測試中,并發1000用戶時候系統服務均正常運行。在大數量傳輸測試中,在外網不同地區分別5次上傳1GB文件時間約為20分鐘左右,上傳穩定成功率高,穩定運行至今。由于利用了單位現有的云服務中心現有的線路與虛擬服務資源,節約硬件投資45萬,節約線路帶寬投資每年6萬元。通過農產品質量安全追溯管理平臺的云網絡服務研究和應用,使得我們通過這個案例對今后業務系統的建設推廣上有了更多的經驗和借鑒意義。