中間件技術在大型門戶網站的應用

董勤

摘要 為解決某汽車門戶網站新老業務模式不斷變化，老系統的數據格式和新需求不匹配，老系統沒有對外的通用訪問接口，不斷產生信息孤島，以及用戶不斷增長導致系統性能無法滿足需要等問題，本文首先對門戶的資訊、評測、車型、經銷商門店、客服等功能模塊進行分析，找出原因，接著通過采用消息中間件和數據緩存中間件技術有針對性地對相關問題模塊進行改造、重構，最終通過嚴格測試，并成功上線運行。模塊重構工作歷時6個月，于2017年9月成功上線，改造后的門戶網站提高了經銷商店鋪訪問流量和轉化率，最終達到了技術效果和經濟效益雙豐收。

【關鍵詞】中間件技術 應用 數據訪問 門戶網站

1 引言

中間件技術伴隨著互聯網爆炸式發展也一直在高速發展中，一直沒有固定的精確的定義，維基百科對它的基本解釋是為軟件應用提供操作系統之外的膠水服務，它既不是操作系統本身，也不是數據庫系統，更不是應用系統，而是處在這三者中間的服務提供者，起到應用與系統、應用與數據庫、應用與應用之間的橋梁作用。垂直門戶網站某汽車網f下稱汽車網）由于業務發展迅速，新老業務模式不斷變化，每一年均需要順應市場需求，針對不同的業務類型開發各種新的功能模塊。許多老的應用系統依然有效而表現形式和應用方式已經發生較大變化，老系統的數據格式和新需求不匹配，老系統沒有對外的通用訪問接口，成為一個個獨立的信息孤島。同時，隨著市場影響力的增強，用戶規模不斷擴大，系統的訪問壓力與日俱增，有時會發生頁面卡頓，白頁等現象。為了解決這些問題，2017年公司領導開會討論決定立項對平臺的資訊、評測、車型、經銷商門店、客服等老模塊進行應用集成和性能優化的重構工作。縱向上改造老的信息系統，發揮它們的價值;橫向上整合不同業務部門的信息系統，讓有價值的信息在不同業務部門之間共享。

汽車網面臨的問題也是業界普遍存在的問題，大型公司如IBM、Oracle、Microsoft等巨頭有商用解決方案，如WebService套件、Portal套件、MQ套件以及各種數據庫解決方案。通常這些中間件的確能解決一些問題，但是由于互聯網業務場景各不相同，因此這些通用套件也不能完全精準解決各個問題，另外，商業中間件實施起來費用昂貴，性價比有待考量。

汽車網最終根據本身問題特征，為自己量身定制了一套解決方案，采用開源的消息中間件、數據中間件、以及獨創的數據緩存技術，既解決了問題，又節約了資金，具有很好的性價比。

2 關鍵技術分析

2.1 用消息中間件打通信息孤島并提高時效性

在汽車網中，有一個非常重要的功能模塊一一經銷商門店，它肩負著企業商業轉化的重要使命。用戶訪問網站，享受免費的最新汽車信息，玩車攻略，汽車報價對比等等，順便訪問一下經銷商門店頁面，如果剛好有需要進行購車、保養、購買零配件等服務，他會在線報名下單，填寫自己的名字、手機號、想要購買的產品或服務;這個信息被稱之為銷售線索。每條銷售線索需要在不同的業務系統中流轉，首先網站報名后臺需要第一時間知道這個信息，并且給客戶發送確認短信，告訴他將會在24小時內得到服務;其次銷售線索會進入到直銷車模塊、團購車模塊和平行進口車模塊，由不同的業務部門對他進行回訪處理;最后銷售線索還會傳送給對應的經銷商門店系統，能提供相應服務的經銷商會再次對他進行回訪，確認購買內容。

由于網站是一步一步發展起來的，各種應用系統如資訊服務系統、報名模塊、經銷商系統、直銷車系統、團購車系統、客服系統都是各自在不同歷史時期獨立建設起來的;他們之間不可能用同一個數據庫，即使用了數據庫性能也無法滿足要求，因此形成了一個個獨立的信息孤島。但用戶報名的數據是珍貴的潛在銷售線索，如果報名的時候在各大系統都插入，則用戶等待時間太長，導致用戶體驗糟糕而降低網站信譽，因此只能插入一個系統，而其它有需要的系統在另外的時間再來獲取，但這樣造成時間滯后，客戶服務質量無法得到可靠保證。

消息中間件的推送特性既能起到信息孤島之間的橋梁作用，又具有優秀的時效性。經過反復選型，在Kafka、MetaQ、ActiveMQ、ZeroMQ等多種可選項中，本次改造采用開源的RocketMQ消息隊列技術，既有優異的性能，又有頂級的Apache開源社區作為后續技術保障。具體實施的時候，用戶在一處填寫的報名信息除了插入后臺DB之外，同時發布到消息隊列中去，不同業務部門前來訂閱這個消息，團購部門、直銷車部門、平行進口車部門、經銷商網店系統以及客服系統均可根據自己的需要選擇需要訂閱的報名線索。當用戶報名的時候，這些部門都能在第一時間得到資料，第一時間回訪客戶，改善了客戶體驗，提高了商業運作的效率，同時提高了銷售線索的轉化率，從而增強了汽車網的市場競爭力。

2.2 采用內存數據中間件解決性能問題

汽車網有很多老的系統應用層直接連接db進行增刪改查操作，系統的整體性能無法滿足日益增長的需求，因此增加了內存數據中間件作為數據訪問層。在DBMS中，數據是以元組的形式存儲，但是可以通過巧妙的處理映射到內存對象，以鍵值對方式存儲，如一條記錄對應一個內存鍵值對。汽車網數據中間層中以[表名：字段名：主鍵值]組合作為鍵，新建一個map為對應值;這個map內部的每一個子key對應元組的每一個字段，同時每一個子value對應該字段的值。具體實施中采用了10臺大內存linux服務器，合計640G內存，專門來做基于redis3.0 cluster的分布式數據緩存層，分為20個節點，每個節點有主從實例。服務端對客戶端傳來的鍵進行散列、定位到節點;如果有新節點加入或者老節點刪除，集群會根據一致性hash算法自動更新集群結構：經常需要訪問的數據如最近2年的經銷商新聞數據、最近2年的車型問答數據被裝入redis中，實現冷數據熱數據分離。業務層直接從緩存訪問數據，無需連接DB;極大節約DB連接和查詢開銷。經過對比，在當前的業務模式下，老的mysql db -秒鐘最多能處理1K次請求，增加數據訪問層之后，查詢速度立刻上升了10倍，接近1萬次/秒。由于大部分業務還達不到這么大的量級，業務的伸縮性因而得到了有效的保障。如果將來有新的業務需要緩存，還可以無縫透明的往集群中添加節點，一致性哈希算法能自動將新節點分配到集群中，并且會將一部分鍵值對分配進來存儲;這些為系統的擴展性提供了有力保證。另外由于數據訪問層的加入，客戶端的許多業務經過一定的改造，將不會接受sql語句直接查詢db，對sql入侵也是一種根本性的防范，安全性得到有力的保障。

由于采取了redis集群作為數據中問件，業務導致的一些數據變化甚至是DB內主動發生的變化無法及時更新到緩存，從而導致業務層讀取到過期數據的可能。為了解決這個問題，消息隊列中問件被再次采用以實現數據狀態變化通知，令緩存及時更新。當前端業務主動改變db數據的時候，如涉及到插入或者更新操作，將對應的key作為消息發布到消息隊列，同時有專門的進程訂閱該消息，從而進一步將redis內對應key的value值進行更新，或者將此key值設置為過期。當前端業務查詢到過期數據時便再次從db內查詢出最新的數值同時同步到redis中。

3 實施中的獨創工作

汽車網重構過程中，內存數據中問件技術被大范圍使用，在具體實施的過程中，發現其索引功能尚處于空白狀態，這里介紹一個獨創的設計：類redis的純內存數據庫，姑且命名為Qdis，除了基本的key-value存儲功能之外，最大的創新之處是允許它和傳統的DBMS -樣支持對查詢條件自動建索引。以車型數據庫為例，傳統的DBMS存儲方式是元組式，如（id，品牌，車系，車型，顏色，年份，發動機型號）;存入Qdis的方式是以”表名：主鍵字段名：主鍵ID”為key， value為一個map，這個map的每一個子key是該元組的字段，如品牌，子value為對應的值如Benz。假設在數據庫內對年份字段做了索引，很容通過SQL查出年份為2015款benz E300的紀錄。在Qdis中，根據用戶設置可對年份這個子key做自動索引，索引本身是樹形結構，”年份”放在有序set中保證唯一性，每個索引對應一個list，里而放對應的車型主鍵（可能多個）：如年份這個字段建好索引后，各年份對應的車型主鍵將分別被存放在一個個list中;以后只要查詢2015年的車子，則這個list中的車型主鍵立刻就有了。重要的是，這一切都在內存內發生，而且Qdis提供一鍵自動化建索引腳本，還可根據數據變化自動更新。這么做的優點是：Qdis離內存數據庫又邁出了實際性的一步。讓復雜查詢變得更加快速容易。

4 結論

（1）采用消息隊列RocketMQ之后，既充分利用了歷史遺留系統，同時還實現了跨部門的協同工作，提高了工作效率，縮短了用戶等待時問，改善了用戶體驗，增強了用戶的商業轉化率。

（2）采用基于內存的數據中問件之后，極大提升了數據訪問速度，性能提升了一個數量級，消除了卡頓白頁等歷史問題，同時搜索引擎的連通率也得到成倍增長，進而增強了市場影響力。

（3）施工時獨創的內存自動建索引的技術讓數據中問件不再難用，既保證系統性能，又提升了工程師們的開發效率。半年多的線上穩定運行證明，中問件技術極大改善了互聯網應用的服務品質，得到了用戶的充分肯定。

參考文獻

[1]羅宏俊，馮瑞，基于Web技術進行移動應用開發和中間件的研究[J].計算機系統應用，2017

[2]肖建軍，基于中間件技術的水文信息處理系統的開發與應用[J].北方工業大學，2017.

[3]葛東遙.消息中間件管理和監控系統的設計與實現[J].北京交通大學，2017.

[4]譚江山.基于中間件技術的釘釘與現有OA系統集成探討[J].電子制作，2017 （06）.

[5]王慕所.面向組件的通信中間件技術研究[J].浙江大學，2017.

[6]薛皓.基于分布式數據庫中間件的混合類型數據管理研究[J].東華大學，2017.