齊旭
隨著全球各大科技巨頭的競相加人,開源軟件技術已經活躍在各個信息技術領域當中。其中,大數據生態成為開源技術的直接受益者。開源技術適用于龐雜的數據管理系統,帶來敏捷、高效、可擴展以殛可自控的管理能力。并幫助企業降低IT建設曩維護成本。2018年雙11當天。阿里云原生數據庫PolarDB輕松應對了0點0分0秒瞬時提升122倍的數據洪峰。Netflix也采用自研開源架構Metacat將海量數據集合成一個“單一”的數據倉庫,大幅提升管理能效。
當前,我國有越來越多的企業、人才加入到開源社區。貢獻力也。后來居上,共同推進開瀛項目、開源生態的繁榮和可持續發展。
大數據生態成為開源技術重大“受益者”
不斷增長的數據量、快速處理數據的需求以及數據類型、結構、來源的多樣性給數據庫管理帶來新挑戰。
近年來,在互聯網服務、多媒體以及科學研究等多個領域,都可見到大數據的身影。在大數據時代,不斷增長的數據量、快速處理數據的需求以及數據類型、結構和來源的多樣性給數據庫敏捷、高效、可擴展性以及個性化管理帶來了全新挑戰。
開源技術賦能了大數據生態的高質量發展。賽迪智庫信息化和軟件服務業所博士蒲松濤表示,經過了數十年的發展,開源軟件和開源工具已經應用到了大數據產業發展的各個環節,基于開源軟件,企業可以快速構建大數據應用平臺,提供豐富的大數據開發和應用工具。
當前,幾乎各種規模的企業都在使用開源軟件和工具做大數據處理和基于數據的預測分析。開源界也涌現出了Fhdoop、OpenStack、OpenShift、Mapre-duce、docker等引領行業技術創新方向的重量級開源項目。
華泰人壽基于openShift架構打造易于管理的新IT系統,以提升企業競爭力,實現業務數字化轉型。在基礎設施上,引入紅帽openShift容器云解決方案和紅帽ceph分布式存儲。通過將保險業務上docker云,實現華泰人壽業務的彈性伸縮和快速上線,加速其互聯網保險項目快速落地。
美國知名在線影片租賃提供商Nemix也采用了大數據發現服務的開源框架Metacat。由于Netflix的數據倉庫由許多大型的數據集組成,為了確保數據平臺能夠橫跨這些數據集成為一個“單一”的數據倉庫,Netflix開發的元數據服務Metacat,能讓數據的發生、發現、處理和管理變得更加快捷高效、處理精度大幅提升;同時還可兼容spark、pres-to、Pig和Hive架構。Netflix軟件架梅師Ajoy Majmdar指出,開放開源是身為技術公司的競爭戰略,既能夠將自己的解決方案建立為行業標準和最佳實踐,又能建立Netflix的技術品牌,還能從共享生態中獲得反饋輸入井受益。
事實上,推動大數據應用高質量發展的主流開源平臺還有很多,例如Spark、Shark、Bagel等。蒲松濤表示,這些開源平臺大幅降低應用門檻,有效幫助企業實現工業級應用,進而帶動各行業大規模部署。此外,大數據還涌現出了一批開源支線平臺。其中,Storm完全擺脫了經典的MapR,educe架構,重新設計了一個適用于流式計算的架構,以數據流為驅動觸發計算,計算時效性高,適應有向無環圖計算拓撲的設計,計算方式較為靈活,在業界得到了一定的部署應用。
開源社區供需“雙贏”中國力量已崛起
開源軟件的“共享和貢獻”機制吸引了眾多開發者參與,給了每一位開發者“顛覆游戲規則”的權利。
開源成為一種加速技術研發速度、節約成本、效益最大化以及推動技術創新和產業發展的有效路徑。阿里云智能數據庫事業部負責人、達摩院數據庫首席科學家李飛飛在接受《中國電子報》記者專訪時表示,不同于傳統的閉源商業軟件,開源軟件的創新不局限于一個企業或某一些團隊,而是無國界的,是群智開發的典型實踐。
開源社區的建立為推動開源軟件發展、構建行業競爭優勢做出突出貢獻,隊伍的壯大需要每一位使用者持續不斷的貢獻智慧,以實現真正的“共贏”。開源的發展歷程中,極客、大公司、商業顛覆者輪番登場,開源技術的訴求也從商業驅動向生態驅動發展。中國工程院院士廖湘科指出,開源是軟件創新技術的主要來源,是生態抓手,而非贏利的切入點。
開源軟件的“共享和貢獻”機制吸引了眾多開發者的參與,給了每一位開發者“顛覆游戲規則”的權利。有了這種生態的加持,信息技術將被快速推進,各個參與者將持續獲利。對此,李飛飛表示,開源生態的受益者是開源技術的需求側和供給側雙方。從供給側角度來看,參與的人越多,思維碰撞而引發的迭代演進就會越快;從需求側角度來看,各個企業不僅可以免除被閉源系統“技術綁定”,還可以在開源社區實現數據庫技術遷移,企業還可針對企業技術特征進行數據庫的個性定制化,實現大量的應用和代碼的改造且系統間互相兼容。
中國開源軟件推進聯盟副主席蒹秘書長劉澎在PostgreSQL CN 2019上表示,當前國內越來越多的企業為開源做出重要貢獻,我國的開源實力已經崛起。以華為、阿里等為代表的開源軟件開發者已經逐漸與亞馬遜、微軟站到了同一高度,實現了從“使用者”到“引領者”的身份轉變。
目前,中國企業在Lmux基金會中有1個白金會員(華為),1個金牌會員(阿里云)和數十家銀牌會員(包括騰訊、中國移動、聯想等)。華為在多個開源社區貢獻排名前列。中國工程院院士倪光南認為,華為是開源軟件的優秀開發代表,通過引進、消化,實現創新發展,進而貢獻給整個開源社區。
阿里云也成為游戲規則的重要改變者和全球云數據庫領跑者之一。2018年,阿里云數據庫成功進入Gartner數據庫魔力象限,這是該榜單首次出現中國公司。近日,Garmer發布的全球云數據庫市場份額榜單中,阿里云位居第三,超越了Oracle、IBM和谷歌。5月21日,阿里云提供傳統數據庫一鍵遷移上云能力,可以幫助企業將線下的MySQL、PostgreSQL和Oracle等數據庫輕松上云,最快數小時內遷移完成。李飛飛表示,阿里云自研的PolarDB云原生數據庫的分布式存儲架構具有一寫多度、計算與存儲分離等優勢,幫助淘寶交易平臺應對了雙11當天瞬時提升122倍的數據淇峰。
此外,國內還有包括百度、浪潮、瀚高等在內的眾多企業積極參與并貢獻到開源社區當中。人工智能、自動駕駛等新興信息技術也成為開源項目的重要應用領域。