集裝箱化思想將徹底改變IT產業

美國經濟學家馬克·萊文森（Marc Levinson）撰寫了《集裝箱改變世界》一書，書中認為集裝箱化除了降低貨物運輸的成本，實現貨物運輸的標準化之外，還以此為基礎逐步建立了全球范圍內的船舶、港口、航線、公路、中轉站、橋梁、隧道、多式聯運相配套的物流系統，從而改變了商業模式、推動了經濟全球化、并對人類文明產生重大影響。由于從經濟、歷史、哲學的高度對集裝箱化的支點作用進行了審視和評價，該書被《金融時報》與高盛集團評為2006年度的“最佳圖書”。

從集裝箱對世界的影響來看，我們可以提煉出很多有益的思想結論。如行業創新往往由能夠接觸到業務實務的“外行”創造，就如同集裝箱的發明者是一位卡車司機；標準化的過程并不是去除中間環節，事實往往是相反的，更多時候我們創造了更多的細分崗位和業務流程，這也是為什么集裝箱運輸比散貨運輸流程復雜的原因；標準化從短期和局部來看往往是增加成本的，但是在規模經濟作用下，邊際成本遞減的特點明顯，因此從全局來看卻能降低成本，這也是集裝箱大行其道并越發趨于大型化的經濟學動因等；劃時代的創新往往不僅影響本行業，更影響其上下游行業，集裝箱運輸的先驅們只顧著跑船運賺錢無意改變世界，但是制造商和零售商在其中發現了低成本和高效率，并實際推動和分享了集裝箱化的價值。

集裝箱化思想代表的容器技術正在改變信息產業

今天，不管你從事什么行業，想必都聽過大數據、云計算、區塊鏈，而在這些IT前沿技術的背后，正在發揮著重要作用的IT技術模式是分布式思想。在《集裝箱改變世界》一書中，萊文森認為“集裝箱的價值不在于它是什么，而在于怎樣使用”，由于集裝箱代表了“高度自動化、低成本和低復雜性的貨物運輸系統的核心”，才會使其成為了推動經濟全球化的基礎。與之類比，在實現大數據、云計算、區塊鏈的過程中，本質上來說，要解決的核心問題都是計算、存儲、網絡資源的組織與重構，由于數據的爆發式增長和業務的平臺化轉型，IT業界本質上在尋找著一種高度集成化、最優化和低運維難度的計算資源管理系統。所以，劃時代的IT技術變革有可能近在眼前，它就是由IT外行——航運人提出的集裝箱化思想，即尋找到能夠像“集裝箱”一樣規范計算資源并降低運營維護成本的IT技術。

集裝箱化思想的IT應用就是“容器”技術。集裝箱和容器在英語中對應的單詞都是“Container”，可見兩者的思想淵源。為了幫助航運人了解這種技術的特點，在這里把船舶和計算機操作系統做個類比，比如我們常用的“Windows 7”、“Windows XP”、“Android”等都是操作系統，這些操作系統就好比是巴拿馬型船和海峽型船的區別一樣往往是適用于不同的應用場景和航線。當我們在一個操作系統上安裝并運行各種軟件時，常常會有這樣的煩惱，比如你的手機上裝了一個微信軟件，但你想同時用兩個不同的賬號登錄時，你發現軟件本身并不支持，但是你也不能多次重復在自己的手機上安裝同樣的APP應用。這種情況就像是集裝箱化之前，一輛散貨船上要同時裝兩種相互排斥的貨物，比如煤和糧食、茶葉和衣服、酒精和汽油，想不相互影響是很難的。容器技術給操作系統帶來的改變就如同集裝箱給船帶來的改變一樣，它把每個程序能夠訪問的文件、網絡、計算資源相互隔離開，各自封閉在一個“容器”之中，這就使程序之間不知道彼此的存在從而避免了資源占用的沖突。基于這種技術，將來你想在自己的手機上安裝多個微信軟件是輕而易舉的事，而且無需每次都去應用商店下載你的應用，你可以在一次成功的容器應用安裝之后反復的復制已經安裝好的程序，并且統一進行版本升級。

容器技術的問世對IT業的影響舉足輕重，將不會亞于集裝箱對世界經濟的影響。從宏觀來看，容器技術對IT業的影響主要從兩個方面產生：一方面是解決分布式技術應用中的運維管理成本問題，為云計算、大數據等前沿技術找到了性能和成本的最優化平衡支點；另一方面是改變了軟件既有的開發生命周期和組織模式，大大降低軟件開發、發布、維護、升級的成本，更好發揮IT行業的人力價值。

容器技術為商業云計算的性能和成本平衡找到了新支點

容器技術比虛擬化技術更加適用于分布式商業云計算和大數據計算平臺的搭建。前文對容器技術的解釋只是為了便于理解，容器技術目前主要的應用并非手機操作系統，而是在運行著企業級應用的服務器操作系統之上。在企業級的IT應用領域，企業的ERP、CRM、WMS、財務管理等系統最初都是直接安裝在服務器的操作系統上，但是后來人們發現企業信息系統的運營維護需要經常備份這些系統、優化數據庫、重裝操作系統、更換服務器，就像我們自己使用的個人計算機一樣，每次備份數據、清理系統、重裝系統往往要耗費我們大量的時間和經歷，并且一不小心就會遺失重要的數據和資料。因此，就需要有專門的工具去減少這種高風險、低價值、重復性的操作，提升企業級應用的運營維護能力。

虛擬化技術曾經一度是解決這一問題的最佳技術手段。它把企業級的應用程序安裝在虛擬機上，而不是像過去一樣直接安裝在一臺物理服務器上，虛擬化技術為此提供了一個可以完全模擬一臺計算機完整功能的程序，使得我們可以像使用物理服務器一樣，在虛擬機上安裝操作系統和應用程序。虛擬化技術的出現，大大提升了機房運營的效率，一臺物理服務器可以被虛擬為多個虛擬機并行運行，發揮物理機的全部計算性能，每個虛擬機都可以隨時備份或是遷移到另一個物理服務器上，每臺虛擬機都可以按照資源需求分配和調整CPU、內存和IO設備資源的配置。但是，虛擬化也有一個致命的弱點，那就是虛擬化平臺自身的模擬和調度功能對物理服務器的性能有不可忽略的損耗，并且在應對分布式應用場景時軟件的部署、分發、升級難度并沒有比實際安裝在物理服務器上更方便。于是，在很多知名的互聯網企業里，一些大數據應用環境并未采用虛擬化技術實現，而是直接采用PC服務器作為分布式節點的傳統方式，這也成為了進入這一領域的資源門檻之一。

容器與虛擬化大不相同，其區別正在于集裝箱化思想。如果我們將物理服務器看成一條船，那么虛擬化技術就像是把這條船改造為滾裝船，大大小小的車輛（操作系統）可以拉著貨物（應用程序）開上這條滾裝船，或是在下一個碼頭下船去另一個滾裝船上。但是這樣做必然帶來運力被浪費在運輸這些車輛之上的問題，對于量大的貨主來說，還不如直接把船改成散貨船拉貨效率高。但容器技術并不是模擬出虛擬機，它為應用程序提供了隔離的運行空間，讓原本存在沖突風險的程序運行于同一操作系統之上，這個操作系統就是將服務器這條船改造為集裝箱船形式，容器就是船上的一個個集裝箱，食品和衣服這兩種本來可能無法共用倉位的貨物，因為放在了容器中，可以由一條船來統一運輸。因此，容器技術能最大限度的降低對物理服務器的性能損耗，但同時保留了虛擬化技術的靈活性。不僅如此，容器技術直接面向應用程序層面，因此它還允許應用程序的版本升級以鏡像文件的增量方式進行，翻譯成通俗的說法，就是用容器打包好的軟件就不需要再進行安裝可以直接運行在操作系統上，遇到版本升級也不需要卸載舊版本、安裝新版本，而是每次把改動的一部分內容同步即可。所以，容器技術既有像虛擬化技術一樣維護成本低的優勢，又能最大限度發揮物理服務器的計算性能，非常適合以分布式思想為基礎的云計算和大數據應用實施（圖為CPU數據吞吐能力的橫向比較結果）。

容器技術將更適應于敏捷化開發的軟件工程管理

在容器技術出現以前，軟件和程序的生命周期是從設計、開發、測試、實施（或安裝）到運維的一個大體流程，一個軟件的版本更新，也要反復執行上述完整流程。如果是分布式軟件，那么還需要涉及更加復雜的批量管理、測試、優化調度、冗余機制等工作。這就使得大數據采集、存儲、分析、應用的開發面臨著極高的成本和人力投入，如果還需要實現生產和測試等多個大數據開發環節的話，投入也會成倍增加，除了互聯網獨角獸企業和金融等高回報行業，大部分的產業用戶都容易望而卻步。

容器技術對于開發帶來的好處有三個方面：一是分布式應用的集群批量安裝、管理、升級、備份都更簡單，只需要將鏡像克隆發布即可；二是硬件投入成本可控，不同版本的應用可以復用同一個硬件設備，測試系統和生產系統可以同時在一套硬件體系里并存；三是應用升級可以采用增量方式，數據與應用功能分離，使得新版本可以繼續舊版本軟件的工作平滑升級。這些優勢非常適合于敏捷化開發，即以用戶的需求進化為核心，采用迭代、循序漸進的方法進行軟件開發。這會引起IT企業內部需求分析、開發、測試、售后技術等多個原有軟件工程分工被打破而重構，也將對所有使用企業級信息化解決方案的用戶企業帶來產品委托開發、運營維護、容災機制等多方面的變革，對IT產業將帶來深遠的影響。

未來面向企業級的軟件產品開發，將由于容器技術的幫助而更易于實現第三方應用加載，如標準化數據接口、數據平滑遷移、快速定制等，并使具備快速開發部署能力，并為大數據、云計算、區塊鏈等分布式應用提供更好的支撐。

容器技術對港口、航運、物流業大數據發展的影響

與很多行業相同，航運業的大數據應用仍處于初始階段。在目前這個階段，眾多港口、航運、物流企業要應用大數據，首先必須落實六個前提：一是數據資產，自己掌握的數據是否都已梳理清楚，并進行了有效的數據資產管理和安全防護；二是數據規范及治理，不同的數據資源之間是否理清了業務上的關聯，并可以應用統一的ID進行匹配，并可以支撐業務系統之間的協同處理；三是數據采集可靠性，數據采集是否與業務發生同步進行，滯后、錯誤、篡改的數據是否還大量存在；四是大數據級的技術支撐，IT技術除了確保日常業務的順利開展，是否為數據持久化、計算規模化、分析實時化等新需求做好了準備；五是數據思維意識，企業管理和經營的各層面是否已經具備了大數據的基礎知識，對大數據的思維模式有了深刻的理解，能否支撐基于大數據的業務創新；六是數據融通開發及交換，對企業外部的行業數據資源情況是否有充分了解，是否有交換、共享、采購外部數據資源的可靠渠道和預算。

要做到上述六個前提條件的每一條都非常不易，第四條則如同夢魘。其中，第一、五、六項問題都可以通過企業戰略部門研究和委托咨詢機構來協助完成，在很多港航企業中投入成本和風險可控；而第二項數據規范問題非常類似于我們國家正在推進的企業三證合一，即通過統一社會信用代碼來實現企業工商、稅務、行政多方面的信息相互關聯匹配，從而為全社會誠信體系奠定發展的基礎，事情雖難、難在推進、而非技術；第三項問題，要想保證獲取的數據可靠并可用于大數據應用，數據必須在業務進行的同時被采集，而要做到這一點，要么讓機器代替人去線下搜集數據，要么把交易和服務完全放到線上來，因此航運大數據就只有兩個來源，那就是物聯網和航運電商。總的來說，上述五個問題的解決成本要么可控，要么至少實現路徑清晰可見，但是第四個問題卻成為大家心里“最沒底”的一件，不僅港航企業的管理層完全摸不到頭緒，糾結于“云”和“大”這樣的概念之中，很多企業的技術團隊也是缺乏新技術的相關經驗，找來的號稱做大數據的技術團隊也往往是數據中心（IDC）和商業智能（BI）領域的企業換了一件“馬甲”的解決方案，而非真正的大數據解決方案。于是，不少政府部門和企業花了幾千萬甚至上億元投資建大數據機房、大數據平臺，最終的效果還是不理想，并且還要為已經付出的投入增設龐大的崗位編制和運營維護費用。所以，第四條問題就如同港口、航運、物流企業所面臨的黑洞和夢魘，成為港航企業接觸大數據最大的障礙，因為企業對建設投入的規模、技術路線的可靠性、產出回報效果都不可控。

其實，能夠解決第四條的大數據技術非常豐富，比如Spark、Hadoop、Kafka、Stome、HBase等都已經達到PB級（相當于1024TB）以上的企業應用級別。但是這些技術主要脫胎于移動互聯網、社交網絡、搜索引擎和網絡金融等領域，航運業的大數據應用規模雖然小一個量級，卻缺乏有將這些技術向航運業應用移植的專業解決方案和團隊，很多國際知名的大數據解決方案企業也未能給業務流程復雜、涉及面廣、數據資源分散的航運業量身定做的企業級產品。于是，港口、航運、物流企業要實施大數據時，面臨著要么自己研究前沿大數據通用解決方案進行二次開發，要么冒著找個“李鬼”來濫竽充數的窘境，對于企業IT團隊來說大數據要填的“坑”實在太多。

容器技術的出現為推進航運大數據應用帶來了曙光。得益于容器技術在硬件資源管理、運營維護便利性方面對大數據技術的支撐，我們有可能針對港口、航運、物流業的數據特點和應用需求，提供硬件投入少、運維成本低、并充分體現穩定性和健壯性的專業大數據解決方案。幫助港口、航運、口岸企業以最小的運營維護成本和最小的試錯風險步入大數據時代，并解決其數據存儲持久化、數據加工規模化、數據計算實時化、及數據分析可視化等方面的應用痛點。目前，首個針對港口、航運、物流、貿易細分應用領域的企業級“輕量化”容器技術Wizmap Cloud已經研制成功，該技術由上海義為科技和港航大數據實驗室合作研制，能夠解決客戶關于使用何種方式合理搭建未來的大數據結構，以落實數據資產應用和數據資產運營問題，更好地為其業務發展進行數據層面的支撐與服務。該技術已應用于一體化、輕量化、企業級大數據解決方案“Wizmap Data Hub(WDH)”，只需3 ～5名操作人員即可代替20～30人的規模團隊對大數據運營維護和分析的要求，使其在初期軟硬件投入皆可控的同時，又為未來的業務增值預留了近乎無限的擴展空間。

無疑，容器技術對推進大數據在各產業的應用，改變軟件產業既有的工程模式都將有重大的影響。而這種影響，是航運思想跨界逆襲IT行業的一件重要事件，本文除了要為此點贊以外，更重要的是繼續為時下持續升溫的航運大數據概念熱做個客觀評述。航運大數據任重而道遠，在同行的征程上，愿我們眼睛注視著前方的道路，腳下邁著堅實的步伐，而不要過于留戀沿途短暫的熱鬧景象。

集裝箱化思想將徹底改變IT產業

上海國際航運研究中心 徐 凱