互聯網企業安全運維實踐

雷英

安全領域眾多，分享這個議題是因為在之前的工作過程中發現大家非常關心的機密數據泄露、資產盜竊、數據篡改、服務中斷及物理邏輯的破壞行為通常都發生在安全運維環節，需要通過安全運維確保整個系統在一定的安全級別中運行。

安全建設思考

當企業開始著手考慮安全建設時，要考慮的因素有很多，其中包括管理層的期望、業務部門的安全訴求、組織環境和企業治理模式等。綜合了解這些信息后，需要評估這時安全所處的階段，可能還會做同行差距分析，然后才著手做安全規劃，一般來說建設信息安全有4個階段。

第1個階段通常是“救火”。優先解決業務痛點，同時做一些基礎的“保命”工作，來降低安全事件發生的概率，快速找到可能導致內外網安全入侵的安全隱患并修復，比如無線安全、VPN遠程訪問、弱口令和服務器后門等。此時也是最困難的，要人沒有、錢也很有限，更關鍵的是買設備也來不及，只能根據以住滲透經驗轉換成防御方法，按照2/8法則做最有效的工作。另一個方面快速組織團隊，因為你的安全項目計劃里已經有很多活要等著干。

第2個階段是體系化建設階段。過了救火期，可以稍微喘口氣，進行有序的安全建設。主要精力是在基礎安全建設，比如安全老三樣：堡壘機、雙因素和VPN等。這個階段還不能用互聯網，因為團隊里基本上不具備開發能力，主要是以商業安全設備為主，外加少量的安全工具自研，提升運維的效率。這個階段也可以參考ISO27001體系出臺三、四級的管理規范，并推動落地，確保從源頭解決問題，否則永遠處在擦地板的過程，因為水桶有洞，水不斷滴出來，擦一次是干凈了，過一會兒又流出來了。

第3個階段屬于安全的高階階段。商用系統可能并不能很好地滿足需求，所以需要大量自研工具來解決實際問題，有能力的話可以考慮加入安全大數據和APT。

第4個階段進入安全的智能級別。智能的檢測、阻斷和響應代表公司安全未來的方向。

架構一詞，起源于古羅馬時代，是描述如何構建一個建筑物以及它的實用和非實用功能繪畫的過程和相關的藝術科學，這個詞同樣在IT領域廣泛使用。

軟件架構尤其在運行環境中會比較抽象，以往做安全系統的架構，由于對系統缺乏全面了解，通常都是拿一張平面的網絡拓撲圖。其實架構是分不同的層次和視圖的，根據業務的差別、功能的不同和關注人員的差別，需要不同視角的視圖。

系統安全的架構應該包含哪些東西？個人認為它至少應該包含3個主要的維度：第1個就是系統自然的技術堆棧，在IT技術里，任何系統的技術堆棧都是天然存在的。最常見的系統分層架構，有客戶端或者瀏覽器、APP；下面有運行的代碼，它可能運行在中間件服務器上；再下面可能是數據庫、操作系統、服務器、網絡和基礎設施，這是一個最簡單的分層方式。

第2個維度是業務流程視角，其實和安全這個課題是沒有太大關系，它更多的是關注業務功能的實現。比如說支付業務有支持業務的流程，網購有網購業務的流程，理財業務有理財的流程，它隨系統差別來實現不同的業務目標。

第3個維度是安全視圖，比如客戶端、應用、中間件和DB都有不同的保護機制。在另外一個維度就是業務流程，業務的每個模塊也需要不同的保護機制，這些保護機制最后貫穿成一個網狀的結構，如何選擇合適的保護機制對它進行保護，那就需要第3個軸安全技術來構成三維視角，在安全的機制里它分為2類：第一類是系統自身的防護；第2類是對業務系統的保護。

為了便于理解，我們把這個框架對應到建筑架構上，第1層是地基，代表基礎設施；第2層是網絡；第3層是服務器；第4層是中間件及應用。再往上就是應用、客戶端，系統堆棧的概念比較好理解。

業務系統視圖對應的橫軸，比如可能有101，102，103等多個房間，業務流程把它想象在101房間先辦理注冊，102房間去選1個東西，103加到購物車，104可能是支付，105完成退出。

接下來看第3個軸，系統自身的保護。構建一個房子，自身要堅固，柱子要牢靠、墻體要結實，這樣這個建筑才能穩定。除了本身安全，還要考慮在里面住的客人，要為他們提供安全保護，走廊、消防和空調的排布是不是合理的，能否有效保護內部用戶的安全。這就能看出系統安全架構的基本維度，而對于保護機制的選擇有一個逐步評估分解的過程。這里還需要大家注意每一個IT系統，不管是系統開發還是安全開發，都有生命周期的概念，而生命周期對安全架構的設計是有影響的。

今天我們能感覺到網絡攻擊已經在進化，比如基于國家、政治團體以及有組織的犯罪機構發起的攻擊越來越多，攻擊者更有耐心，可能會從不起眼的用戶入手。還有一個變化是一些高級的攻擊逃逸技術越來越先進。還有一些攻擊是針對個人的，針對人的弱點進行社會工程學的攻擊，非常難防范，會突破我們原來認為不會被攻破的防御系統，把一些惡意的程序注入到你的系統里。

但是我們仍然可以繼續遵循基本的計算機安全實踐，來構建安全體系。按照合規的方法去做，這一點非常重要。我們都知道在禁止酒駕立法之前，發生非常多酒駕引起的人員傷亡的事故，但是立法之后很少有人去觸碰法律的紅線。信息安全也一樣，如果真正做到監管合規的要求，你的安全等級已經到達一個比較高的維度了。

第3個身份管理，這個人是誰，在我的系統里面有什么樣的權限，授予他可以訪問哪些數據。

第4個是數據保護，數據保護目前仍是很多企業最關心和最擔心的問題，因為全球90 %的企業都認為自己可能有數據泄漏方面的風險。

從整個2016年來看，全球總共爆發900多起非常嚴重的數據泄露事件，泄漏數據達到5億多條，包括小米、京東和雅虎在2016年都發生過大規模的數據泄漏的事件。

另外一塊是日志，記錄和監控可以協助發現未經經授權的安全事件，有助于確定安全措施有意義的改進，以保護公司的機密信息。這里只是一個示例，我們在構建技術保障體系的時候，按分層原則，每個層次上都需要考慮相應的保護機制。

除了像BAT一樣的先進公司，大多數企業在安全運維層面還是離不開找到合適的人、買到合適的設備這2條。這里談談買到合適的設備時的一些經驗。

給大家講個與老板偏好相關的真實案例。之前老板傳達的信息是買設備，別買大了，省下的錢公司用于投資，會產生更多的收益。聽上去沒毛病，所以我們在選購數據中心邊界防火墻時，按年30 %的復合增長計算，1套墻滿足3年業務增長是沒有問題的，到第4年插塊板卡，就能扛5年。結果2年后，業務以每年超過100 %的速度增長，在這個過程中，新老板上任了，說容量怎么不夠了，就把之前的設計翻出來，也說得通，那就買板卡擴容吧。沒想到只過了6 ～7個月，容量又報警了，業務成長實在太快了，只好去找新老板說板卡已經擴到頭了；只能換一套更強處理能力的設備，可以體會一下向老板做匯報的心情。

第2個案例是關于品牌的。在采購過程中，有個品牌為了進來，殺低價中標。都是國際一線品牌，按道理來說沒什么問題，但是有點水土不服，各種奇怪問題全來了，在短時內就發生了7次嚴重故障，所以用了不到1年，果斷換掉。這次之后，我們對品牌的考慮更加慎重，和采購死磕，提升技術評分的比例，確保不讓不符合預期的產品進來。

關于中心端產品的容量，如果是互聯網公司，建議按當前量放大5 ～10倍考慮，因為業務的增長往往是倍數成長，非常嚇人，不能總是出現性能瓶頸；另外一方面需要考慮架構優化，用Scal Out方式橫向擴容。

關于測試，這里指實際環境測試。實驗室不全面，如果條件允許，時間、人充足，測試當然沒有壞處。如果時間緊、人手不足的情況下，就選擇性地進行測試，比如性能類產品首次選擇使用時，最好先測試一下。

另外，這幾者之間要互相平衡，它們之間都是有聯系的。比如容量估算不準，又沒做實際環境測試，等設備買來，一上線直接掛掉也是有可能的。

安全運維之術

這一部分主要介紹安全運維需要考慮的一些問題。

這里講2個重要概念。Due care中文通常翻譯成適度關注或應用的注意，Due diligence翻譯成適度勤勉或是盡職調查；在信息安全領域，Due care實際上是說一個企業要制定各種各樣的策略、規程和標準等，用來對企業信息資產的保護，也就是企業應該做的事情。而Due diligence則是要保證Due care要做的那些事情一直保持在最新狀態。

舉個例子，比如你要外出時做了2個動作：

1想著手機會不會電不夠用，不夠用怎么辦；

2隨手把充電寶裝口袋里。

其中1是你的思想活動，有沒有“想”就屬于Due care，也可能會順手查看手機電量。想過之后，可能會覺得電夠用不帶充電寶，也可能會覺得不夠用而帶上充電寶，這都不重要，重要的是你“想沒想”，有沒有檢查手機電量的意識。

第2是你的實際動作。如果你覺得電不夠用帶了充電寶，但沒檢查充電寶是否有電，或忘了充電線，那就是沒做到Due Diligence。也就是說雖然采取了相應的動作，但沒達到預期的效果。

對于安全來說，需要想到如果沒有采取這個措施，可能存在怎樣的安全風險，為了降低風險，采取了一定的行動，并且要確保這個行動是有效的、而且一定要真實的執行。

IT系統會有各種各樣的變更，如發布、升級、割接和改造等。變更是最容易引發系統故障的操作，為了降低變更對系統的影響，我們推進三思而行的3步工作法。做變更之前先問自己3個問題，首先我是這項工作的合適人選嗎？其次我有能力執行這個任務嗎？最后我能控制整個變更嗎？

當3個問題得到的答案是肯定的，再去申請執行這個變更；如果任何問題的答案有遲疑，就要和自己的主管協商，制定最佳方案，包括變更失敗的回退計劃。通過這一舉措大大降低了變更造成的業務影響。

研發的同事通常關注的是HTTP xxx返回值相關問題、延遲、擴展性、代碼重用、Deadline、KPI、需求變更、框架、形式源、功能如何實現以及代碼質量等問題，最主要關注代碼有沒有Bug；運維的同事通常關注HTTP 4xx及5xx錯誤、性能、可靠性、對閥值進行預警、監控圖斷崖和是否出現異常，也最關心別出故障。

研發和運維的同事對安全的理解會有不同，但大體上對安全的理解包括DDoS攻擊、病毒木馬、堡壘機、數據脫敏、拖庫和數據泄露，只能理解和自己工作關系比較大的那個部分。而負責安全的同事則關注1～7層上的防護措施會不會被繞過，然后就是各種漏洞，開源框架的、編程語言的、代碼里的和邏輯上存在的各種安全漏洞公交站，傳輸過程中以及存儲過程中的漏洞、Bug的修復和更高級的漏洞利用方式。找出各種高、中、低危漏洞。除此之外還要時刻關注無線滲透、弱口令、0day、彩虹表、各種馬、注入和后門。這里就不一一列舉了，反正就是能黑進入系統、能拿數據以及能偷錢的技術都需要了解和防范。

其他非技術部門的同事對安全的關注僅僅是看看熱點，誰家出什么事了，旁觀者心態。視野的不同決定了在安全工作上采取行動的不同。

在安全運維的過程中，有時不得不去做一些高危操作，就像給飛行中的飛機更換故障發動機，因為站點業務是7×24服務的，不可能或很少能遇到停機操作窗口。前面已經說過，做變更有一套方法規避風險，包括參與變更人員、廠商和我們工作時的配合。但總有疏漏的時候，有一次我們更換防火墻引擎故障，結果導致防火墻雙活，業務中斷約10分鐘。后來復盤故障時領導也覺得這類操作的確很危險，即使再小心，也是十分危險的。所以就設定了Outage Window操作，高危操作放在這個窗口內，訂單損失是不計入ATP監控的，并沒有人會因此濫用這個窗口。

關于漏洞

漏洞年年有，今年特別多，像前段時間出的Struts2；還有2019年4月15日國外黑客組織Shadow Brokers泄露出了一份機密文檔，其中包含了多個Windows遠程漏洞利用工具，可以覆蓋全球70 %的Windows服務器，影響程度非常巨大。這2次事件影響面都非常廣，修復花很大力氣，在企業里面推動補丁管理還是挺難的。簡單來說就是補洞的人不懂安全，懂安全的插不上手。需要說的是補丁是必須要打的，不然就給入侵者留下方便之門，不做為，亦作惡。

關于安全意識

需要足夠的耐心，一次次去宣講，普通員工到技術人員到管理層，大家整體的安全意識才會提高，特別是管理層，宣講的時候講技術通常效果不好。這時應該選擇講案例，將安全與商業價值聯系起來管理層才會真正重視。安全工作成功的關鍵是高層、重視和承諾。

關于變化

這個也好理解，整個IT環境是不斷動態變化的，當前有效的安全防護措施，因為某個不安全系統的上線，就有了突破口，需要持續檢查，發現變化帶來的新風險。

關于堅持

其實安全運維是整個安全的基石，需要耐心去踏踏實實做一些事情，而很多我們身邊的“大牛”在最初入行時也是從調設備寫代碼開始的，通過真正接觸一線的工作，在后期的提升會比較快，而不是說看幾本安全的書就能怎樣。

安全運維自動化

我們為了提升安全運維效率，在運維自動化方面有過很多嘗試，比如防御DDoS攻擊方面，分布式漏洞掃描方面、交換機封IP、基于VPN的鏈路容災方案，防火運維自動化方面等，在DevOps深入推進的今天，可以說能夠自動化你想自動化的一切。

關于DDoS攻擊分為2種類型，一種是已經被打怕的人，另外一種是已經被打習慣的人。DDoS攻擊目前仍是網絡安全的頭號大敵，超過100 G規模的攻擊很常見。筆者是被打習慣的一類人，在戰斗中增加經驗值，并且考慮了一些自動化的防御手段，比如自研DDoS攻擊看板、實時了解受攻擊情況、與運營商BGP聯動、實現被攻擊IP一鍵丟黑洞及快速釋放被攻擊帶寬。另外云端防護是必須要借助的，因為現在的攻擊量太大了，需要云清洗能力。

我們自研的DDoS攻擊看板分成3個狀態，第一塊是誰正在被攻擊，第二塊是哪些被攻擊系統正在引流，第三塊顯示哪些被引流的系統正在做流量清洗。正在做流量清洗的系統，需要特別關注業務的運行情況，確保業務得到保護。

講一下交換器封IP，由于我們系統架構的特殊性，需要由交換機設備完成IP自動封鎖的任務。先看一下流程，比較簡單，分為4個過程：發現惡意IP，可以通過IPS或其他系統檢測出來；送入IP封鎖系統進行規則匹配；符合封鎖條件的IP直接自動下發到交換機進行封鎖；達到封鎖時間則自動解封。

再看一下實現原理。最上面通過API對接Web Portal和惡意IP識別系統，Web可以實現IP的增刪查以及交換機ACL查詢，有IP白名單機制，確保受保護IP不會被封鎖。比如分公司IP或合作伙伴IP地址，ACL下推到交換機時增加了防呆機制，防止系統發生將不該封的IP封鎖或是大批量封鎖用戶IP的情況發生。

這個是一個基于VPN的鏈路容災系統設計，我們做的自動化有幾塊。一個是全國有幾百家汽車站需要與總部系統通訊，如果采購商用VPN系統造價很高，那我們在某寶上買了Netgear的路由器，安裝Openwrt開源固件提供VPN服務，大約節省80多萬元成本。這個設計的專利部分是設計了一套全冗余的結構，冗余的程度達到就算任何一個機房的鏈路壞了、設備壞了甚至其中1個IDC全部crash，這套系統仍然可以持續運行。

維護和管理幾百條VPN隧道是非常麻煩的事情，我們開發了VPN管理工具，可以批量生成中心端VPN的配置信息，遠端的VPN小盒子也通過腳本實現即插即用，大大降低了維護的復雜度。

隨著互聯網技術的不斷發展，在線網站的規模越來越大，防火墻作為網絡的安全屏障在廣泛使用，其數量也在不斷增加。據了解，使用幾臺到幾十臺的企業有很多，也有一些大型集團公司或跨國公司使用數百臺防火墻。面對這么多防火墻，要把它管理好，難度是很大的。有些廠商說你可以使用我們的防火墻集中管理系統，幫助降低運維復雜度。但當告訴他，我們有好幾個品牌的墻，他們往往會說對不起，其他的系統管不了，只能管自家的墻。有商用產品可以實現不同品牌防火墻策略集中管理，但是按License算錢，價格昂貴，而且不靈活，不能實現個性化的需求。在這種多品牌，多數量的情況下，防火墻系統的運維難度和挑戰將變得非常大。

我們自主開發了防火墻運維管理系統，通過計算路由，生成防火墻拓撲，判斷出一個策略需求，經過哪幾臺防火墻。策略查詢2個功能，一是用戶自助查詢2點間的防火墻策略；二是申請策略時后臺會自動判斷是否已有策略支持，如果有的話，會返回消息告訴用戶說已經有策略了，無須申請。

策略生成模塊，抽象策略對象，判斷策略申請是增、刪、改哪種場景生成相應的工藝。工單對接是指如何與企業中的變更管理、工單管理系統對接。自動化不能逾越流程，反而要嚴格遵循流程，在工單對接環節會重點強調。其他工具，VPN管理、改密碼、審批關系維護和墻元素查詢，都非常有價值，極大提升運維工作效率。

最后簡單談一些感想。第1，做安全運維也要理解業務，理解業務才能針對不同業務實施不一樣的保護級別，如果全部采用相同保護級別的話，安全成本會非常高。

第2，要有充分的預案，因為我們不知道接下來會發生什么，我們通常認為防火墻HA部署的可靠性已經很高了，但是極端情況下會出現2臺防火墻同時壞掉的悲劇，就需要有應急預案處理這樣的極端情況。

第3，定期演練。即使有了預案，還需要定期演練，不然真出現問題，對方案不熟悉或是預案針對的環境已經發生變化，預案早已不再有效卻沒有及時發現。

第4，善用乙方的資源，在系統的專業性方面，乙方的工程師可能比較強，但對于業務本身，當然是甲方工程師更清楚，要利用相應的優勢，為業務提供保護。

第5，創新思維，就是用創新的想法去解決實際問題，并且成為一種能力。

第六，全面安全視角，安全運維不僅是對各種安全設備和軟件進行運維保障系統安全，還要兼顧運維安全，解決研發、運維同時產生的各種危險點，基本上涵蓋了整個系統安全的方方面面。所以需要有全面的安全視角，才能應對不斷產生的安全風險和挑戰。