劉子銳：破解元數(shù)據(jù)存儲(chǔ)難題 開啟高效數(shù)據(jù)倉庫新征程

在信息化社會(huì)，數(shù)據(jù)存儲(chǔ)無處不在。從個(gè)人計(jì)算機(jī)上的文件保存，到企業(yè)數(shù)據(jù)中心的大規(guī)模存儲(chǔ)，再到云計(jì)算平臺(tái)的海量數(shù)據(jù)管理，數(shù)據(jù)存儲(chǔ)技術(shù)已滲透至各個(gè)層面。數(shù)據(jù)存儲(chǔ)不僅關(guān)乎數(shù)據(jù)的物理保存，更涵蓋了數(shù)據(jù)的高效管理、便捷訪問和嚴(yán)密保護(hù)。在現(xiàn)代計(jì)算體系中，數(shù)據(jù)存儲(chǔ)是信息處理鏈條上的關(guān)鍵一環(huán)，直接影響著數(shù)據(jù)處理的效率與可靠性。

深耕數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域二十余載的劉子銳，現(xiàn)任美團(tuán)數(shù)據(jù)平臺(tái)中心存儲(chǔ)負(fù)責(zé)人，他集深厚技術(shù)功底、敏銳行業(yè)洞察力與出色管理能力于一身，是行業(yè)內(nèi)的技術(shù)領(lǐng)航者。他的職業(yè)生涯橫跨企業(yè)級(jí)存儲(chǔ)與大規(guī)模分布式存儲(chǔ)兩大領(lǐng)域，展現(xiàn)了極強(qiáng)的技術(shù)適應(yīng)力與前瞻視野，擁有從傳統(tǒng)企業(yè)級(jí)存儲(chǔ)向分布式存儲(chǔ)系統(tǒng)全面演進(jìn)的技術(shù)實(shí)踐經(jīng)歷。在職業(yè)生涯中，劉子銳斬獲了眾多存儲(chǔ)系統(tǒng)優(yōu)化、負(fù)載均衡、數(shù)據(jù)管理等領(lǐng)域的專利成果，對(duì)前沿技術(shù)有著獨(dú)到見解，有力推動(dòng)了存儲(chǔ)技術(shù)的革新與發(fā)展。

我們特別邀請(qǐng)了劉子銳先生，請(qǐng)他結(jié)合存儲(chǔ)領(lǐng)域的技術(shù)積淀、項(xiàng)目實(shí)踐經(jīng)驗(yàn)與行業(yè)洞察力，解讀數(shù)據(jù)存儲(chǔ)技術(shù)的轉(zhuǎn)型之路與未來展望。

問：從傳統(tǒng)企業(yè)級(jí)存儲(chǔ)到云計(jì)算分布式存儲(chǔ)，您如何看待存儲(chǔ)技術(shù)的發(fā)展演變？

劉子銳：存儲(chǔ)技術(shù)變遷及計(jì)算與數(shù)據(jù)需求的演變息息相關(guān)。自2003年從中國(guó)科學(xué)技術(shù)大學(xué)少年班物理系畢業(yè)后，我便投身于企業(yè)級(jí)存儲(chǔ)產(chǎn)品的研發(fā)。在Sun"Microsystems（后被Oracle收購）工作期間，我參與了Oracle的主力存儲(chǔ)產(chǎn)品Oracle"ZFS"Storage"Appliance的軟件開發(fā)。隨后，我轉(zhuǎn)戰(zhàn)EMC（后被Dell收購），在那里，我優(yōu)化了Power"Protect"DD9900備份服務(wù)器產(chǎn)品的操作系統(tǒng)存儲(chǔ)邏輯，將系統(tǒng)啟動(dòng)時(shí)間從漫長(zhǎng)的一個(gè)多小時(shí)縮短至20分鐘。

企業(yè)數(shù)據(jù)存儲(chǔ)囊括了從業(yè)務(wù)數(shù)據(jù)到員工信息的方方面面。早年間，企業(yè)級(jí)存儲(chǔ)依賴關(guān)系型數(shù)據(jù)庫（如MySQL、Oracle）和文件系統(tǒng)來管理數(shù)據(jù)，單一系統(tǒng)的性能和可靠性是重中之重，主要解決數(shù)據(jù)備份、存儲(chǔ)優(yōu)化和容災(zāi)等需求。

然而，隨著云計(jì)算和大數(shù)據(jù)來襲，數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，傳統(tǒng)存儲(chǔ)方式在業(yè)務(wù)擴(kuò)展性和成本優(yōu)化上顯得力不從心。云計(jì)算的迅猛發(fā)展，使得傳統(tǒng)企業(yè)存儲(chǔ)產(chǎn)品的市場(chǎng)份額逐漸被基于云計(jì)算技術(shù)的分布式存儲(chǔ)產(chǎn)品所蠶食。我緊隨技術(shù)前沿，以架構(gòu)師身份投身于云計(jì)算和互聯(lián)網(wǎng)公司，專注于大規(guī)模分布式存儲(chǔ)產(chǎn)品的研發(fā)。在百度云、騰訊云，我主導(dǎo)開發(fā)了云存儲(chǔ)產(chǎn)品；在Microsoft"Bing，我參與了橫跨全球五大數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)產(chǎn)品的設(shè)計(jì)。分布式存儲(chǔ)系統(tǒng)通過將數(shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，實(shí)現(xiàn)了高擴(kuò)展性、低成本和強(qiáng)大的容錯(cuò)能力，成為云計(jì)算基礎(chǔ)設(shè)施的重要支撐。

問：您在全球頂級(jí)互聯(lián)網(wǎng)公司參與了多個(gè)分布式存儲(chǔ)項(xiàng)目，遇到的最大技術(shù)挑戰(zhàn)是什么？又是如何克服的？

劉子銳：最大的技術(shù)挑戰(zhàn)主要體現(xiàn)在數(shù)據(jù)一致性、性能優(yōu)化以及系統(tǒng)可靠性三方面。分布式存儲(chǔ)系統(tǒng)需確保多節(jié)點(diǎn)間的數(shù)據(jù)一致性，這背后是復(fù)雜的分布式一致性協(xié)議在支撐。在騰訊云項(xiàng)目中，我參與了Raft一致性協(xié)議的優(yōu)化工作，通過算法和流程改進(jìn)，平衡了數(shù)據(jù)一致性與系統(tǒng)性能。隨著數(shù)據(jù)量的激增，存儲(chǔ)系統(tǒng)的讀寫性能成為關(guān)鍵。在Microsoft"Bing項(xiàng)目中，我引入RocksDB對(duì)分布式存儲(chǔ)引擎進(jìn)行改造，大幅提升了存儲(chǔ)系統(tǒng)的隨機(jī)讀寫性能，為搜索引擎提供了強(qiáng)有力的數(shù)據(jù)支撐。在美團(tuán)的Exabyte級(jí)（EB級(jí)，即數(shù)千PB）數(shù)據(jù)存儲(chǔ)系統(tǒng)中，我?guī)ьI(lǐng)團(tuán)隊(duì)通過數(shù)據(jù)冷熱分層管理與生命周期精細(xì)配置，確保了系統(tǒng)在海量數(shù)據(jù)場(chǎng)景下的可靠性，還有效控制了成本，確保了業(yè)務(wù)的連續(xù)性與穩(wěn)定性。

問：在美團(tuán)這樣的高數(shù)據(jù)量場(chǎng)景中，您帶領(lǐng)團(tuán)隊(duì)取得了哪些具體成就？

劉子銳：在美團(tuán)，我?guī)ьI(lǐng)數(shù)據(jù)平臺(tái)中心的分布式存儲(chǔ)團(tuán)隊(duì)，負(fù)責(zé)支撐數(shù)據(jù)倉庫與機(jī)器學(xué)習(xí)平臺(tái)的存儲(chǔ)服務(wù)。面對(duì)千PB級(jí)別的數(shù)據(jù)存儲(chǔ)需求，我們?cè)谛阅軆?yōu)化、數(shù)據(jù)冷熱分層與系統(tǒng)可靠性方面取得了巨大突破。我們針對(duì)報(bào)表查詢和機(jī)器學(xué)習(xí)平臺(tái)的數(shù)據(jù)存取進(jìn)行深度優(yōu)化，有效提升了查詢效率與模型訓(xùn)練速度。同時(shí)，基于數(shù)據(jù)訪問頻率和生命周期，我們實(shí)施了分層存儲(chǔ)策略，大幅降低了存儲(chǔ)成本。2024年度，我們?yōu)槊缊F(tuán)業(yè)務(wù)團(tuán)隊(duì)節(jié)省了數(shù)千萬元。

此外，我們還優(yōu)化了存儲(chǔ)系統(tǒng)的容災(zāi)與數(shù)據(jù)恢復(fù)機(jī)制，確保系統(tǒng)在故障情況下仍能保持高可用性，支撐了美團(tuán)業(yè)務(wù)的連續(xù)運(yùn)行。這些成就幫助美團(tuán)在數(shù)據(jù)高速增長(zhǎng)的背景下，實(shí)現(xiàn)了性能、成本與可靠性的平衡，為業(yè)務(wù)決策提供了數(shù)據(jù)支撐。

問：您如何看待數(shù)據(jù)存儲(chǔ)技術(shù)在云計(jì)算時(shí)代的未來趨勢(shì)？

劉子銳：隨著數(shù)據(jù)倉庫規(guī)模攀升至數(shù)EB級(jí)別，數(shù)據(jù)存儲(chǔ)問題已基本解決。然而，元數(shù)據(jù)（MetaData）的規(guī)模也隨之?dāng)U大，傳統(tǒng)關(guān)系型數(shù)據(jù)庫面臨性能瓶頸。大的元數(shù)據(jù)操作可能導(dǎo)致數(shù)據(jù)庫鎖定長(zhǎng)達(dá)數(shù)十秒，因此，結(jié)合新軟硬件技術(shù)改造傳統(tǒng)數(shù)據(jù)庫勢(shì)在必行。

現(xiàn)存數(shù)據(jù)庫為保證性能，需要在內(nèi)存中保留熱點(diǎn)數(shù)據(jù)，持久化則需要將所有數(shù)據(jù)保存至持久化介質(zhì)，這影響了約20%的吞吐率。NVM（非易失性內(nèi)存）的出現(xiàn)，以其容量大、持久化、低延遲、可按字節(jié)尋址的特點(diǎn)，引起了數(shù)據(jù)庫領(lǐng)域的廣泛關(guān)注。

作為美團(tuán)數(shù)據(jù)平臺(tái)中心存儲(chǔ)負(fù)責(zé)人，我推動(dòng)了美團(tuán)與清華聯(lián)合研究院發(fā)起基于NVM的數(shù)據(jù)倉庫億級(jí)別元數(shù)據(jù)存儲(chǔ)索引優(yōu)化項(xiàng)目。該項(xiàng)目充分利用NVM介質(zhì)特性，結(jié)合數(shù)據(jù)庫數(shù)據(jù)存儲(chǔ)和訪問、分配器、事務(wù)日志、索引數(shù)據(jù)結(jié)構(gòu)等工作，摒棄了傳統(tǒng)數(shù)據(jù)庫因介質(zhì)延遲差異而采用的內(nèi)存緩存、日志及檢查點(diǎn)等級(jí)制，我們探索并設(shè)計(jì)了新一代基于NVM特性的單層數(shù)據(jù)庫，為未來的基于NVM的關(guān)系型數(shù)據(jù)庫提供了一套成熟思路。

該項(xiàng)目將推動(dòng)數(shù)據(jù)庫存儲(chǔ)系統(tǒng)向更高性能、更低延遲的方向發(fā)展。以美團(tuán)為例，在數(shù)據(jù)庫執(zhí)行涉及數(shù)百萬條記錄的刪除操作時(shí)，耗時(shí)從數(shù)十秒縮短至數(shù)秒，效率提升了一個(gè)數(shù)量級(jí)，極大地提高了美團(tuán)的數(shù)據(jù)生產(chǎn)效率和可靠性。

數(shù)據(jù)存儲(chǔ)是現(xiàn)代信息技術(shù)的基礎(chǔ)，其重要性隨數(shù)據(jù)量增長(zhǎng)和應(yīng)用場(chǎng)景多樣化而愈發(fā)凸顯。未來，隨著新型存儲(chǔ)介質(zhì)、智能化管理技術(shù)和分布式架構(gòu)的成熟，數(shù)據(jù)存儲(chǔ)將繼續(xù)為各行各業(yè)信息化進(jìn)程提供堅(jiān)實(shí)的技術(shù)支持。