近日,騰訊在大數據技術峰會上宣布推出第三代高性能機器的學習計算平臺 Angel,將于 2017 年全面開源。
騰訊面對快速增長的數據挖掘需求,開發了面向機器學習、能應對超大規模數據集和高性能的計算框架,并且對用戶足夠友好,具有很低的使用門檻。開源的Angel是開放騰訊 18 年來的海量大數據處理經驗和先進技術,通過連接一切資源,激發更多創意,可以讓平臺逐步轉化成有價值的生態系統,讓企業運營更有效、產品更智能、用戶體驗更好。
Angel 是騰訊的第三代計算平臺,使用 Java 和 Scala 語言開發,面向機器學習的高性能分布式計算框架,由騰訊與香港科技大學、北京大學聯合研發。
Angel采用參數服務器架構,解決了上一代框架的擴展性問題,支持數據并行及模型并行的計算模式,能支持十億級別維度的模型訓練。
Angel 還采用了多種業界最新技術和騰訊自主研發技術,如 SSP、異步分布式 SGD、多線程參數共享模式 HogWild、網絡帶寬流量調度算法、計算和網絡請求流水化、參數更新索引和訓練數據預處理方案等。這些技術使 Angel 性能大幅提高,達到常見開源系統 Spark 的數倍到數十倍,能在千萬到十億級的特征維度條件下運行。
在系統易用性上,Angel 提供豐富的機器學習算法庫及高度抽象的編程接口、數據計算和模型劃分的自動方案及參數自適應配置,用戶能像使用 MR、Spark 一樣在 Angel 上編程,建設了拖拽式的一體化的開發運營門戶,屏蔽底層系統細節,降低用戶使用門檻。另外,Angel 還支持深度學習,它支持 Caffe、TensorFlow 和 Torch 等業界主流的深度學習框架,為其提供計算加速。 (陳曲)