以“絕影”之名，加速智能汽車駛入AGI時代

今年5月，GPT-4o帶來的流式多模態交互體驗，如同一股清風，吹散了人機交互領域的傳統界限，讓外界進一步看到了通用人工智能（AGI）帶來的革新交互體驗。而在汽車領域，這一技術同樣激起了巨大漣漪。

2024年7月4日至7日，WAIC 2024（世界人工智能大會）在上海舉辦。本次大會上，商湯科技正式對外發布了“日日新5.5”大模型體系，同時，商湯絕影也帶來了多個基于“日日新5.5”多模態大模型在智能汽車領域的一系列最新進展和創新成果。

作為智能汽車行業領先的AGI核心供應商，如今，商湯絕影正在加速推動智能汽車邁向超級智能體，引領AGI時代穩步向前。

多模態，讓夢想照進現實

首先，讓我們構想一個場景：某日，你悠然坐在車上，而你的車能夠實時理解你的語音指令、面部表情和手勢動作，并準確識別周圍環境中的視覺信息。比如在自動駕駛模式下，導航原本規劃在下一個路口調頭才能抵達目的地，但你知道前方有個便捷的缺口允許直接左轉。此時，你只需輕聲一句“直接左拐”，系統便能迅速分析當前路況，智能調整行駛計劃，執行你的指令，確保行程既高效又安全。

或許你會認為上述場景頗具科幻色彩，不太現實？其實，未來商湯絕影基于“日日新5.5”多模態大模型的能力，就可以將這樣的體驗帶進現實。

看到這里，或許你已心生疑惑：多模態究竟何物，竟讓智能汽車“恐怖如斯”？其實，這一概念并不復雜。正如人類擁有觸覺、聽覺、視覺等多感官體驗，智能汽車也借助傳感器、雷達、攝像頭等“感官”，捕捉外界紛繁復雜的信息。每一種信息獲取的方式或形式，便構成了一種獨特的模態。

多模態，簡而言之，即是從多個維度、多種渠道去感知和理解世界。多模態大模型的興起，恰如為智能汽車插上了一對翅膀，使其未來充滿了無限可能與暢想。

在過往的中小規模模型中，研究往往聚焦于語言識別、視頻分析、圖形識別及文本處理等單一模態的深耕細作，這種割裂的處理方式無形中束縛了AI算法的智能潛力。而多模態機器學習，恰似一門精湛的藝術，它引領算法穿梭于跨模態的數據洪流之中，汲取各領域的精髓，實現持續的進化與飛躍。

2024 年7 月4 日至7 日，WAIC 2024（世界人工智能大會）在上海舉辦。本次大會上，商湯科技正式對外發布了“日日新5.5”大模型體系，同時，商湯絕影也帶來了多個基于“日日新5.5”多模態大模型在智能汽車領域的一系列最新進展和創新成果。

不過，這一領域的挑戰亦非同小可，每增添一種模態，都意味著技術難度的指數級增長。正是在此背景下，商湯絕影率先布局，積極推動多模態大模型技術與智能汽車的融合。

自去年4月首次發布，商湯“日日新Sense

Nova”大模型體系已正式推出五個大版本迭代。該模型基于超過10TB tokens訓練、覆蓋數千億量級的邏輯型合成思維鏈數據，其綜合處理能力已達到全球領先水平。此前，“商湯日日新”5.0版本曾在多模態大模型權威綜合基準測試MMBench中，綜合得分排名首位，并在多個知名多模態榜單MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU取得領先成績，這充分展現了其作為頂尖基礎模型的非凡實力與無限潛力。

而此次發布的“商湯日日新”5.5版本在繼承了前代強大功能的基礎上，對多模態能力方面進行了全方位的優化與升級，可為用戶帶來前所未有的流式多模態交互體驗，這一技術革新不僅拓寬了智能汽車的應用邊界，更預示著一個全新發展范式的誕生。

它既可以讓智能座艙更懂人，成為“賈維斯”一樣的全能助手；也可以讓智能駕駛具備更強的世界認知和理解能力，成為真正讓用戶安心、信賴的“AI老司機”。

端云一體，打造智能座艙里的“賈維斯”

如果你是忠實的漫威粉絲，那你一定知道鋼鐵俠的智能管家賈維斯（J.A.R.V.I.S.）。在漫威電影宇宙中，“賈維斯”以其高度智能化的特性，為鋼鐵俠提供了無微不至的協助，展現了AI技術在日常生活中的無限潛力。而在智能汽車領域，商湯絕影正將這樣的“賈維斯”帶進了智能座艙場景。

在商湯絕影的愿景中，多模態是智能汽車進化為超級智能體的重要支點，能夠賦予智能汽車全面的世界感知能力，讓智能座艙從原來“?問?答”的被動響應，演變為?模型系統主動關懷，提供深度個性化和有??關懷的全新座艙交互體驗，從而開啟全新的人機交互紀元。

為此，商湯絕影打造了多模態?模型引擎產品CockpitBrain，成功推出了超過15個行業首發的智能座艙產品與功能，展現出強大的持續創新能力和量產上車實力。

以多模態哨兵功能為例，搭載該功能的智能座艙能夠實時監測車輛周圍的環境和車內乘員的狀態，一旦發現異常情況（如車輛被非法入侵、乘員健康狀態異常、離車后車內人員檢測功能等），便能夠立即發出警報并采取相應措施。

此外，在這次更新迭代中，商湯絕影還帶來了全球首個車載生成式UI-FlexInterface以及AgentFlow。其中，FlexInterface可以讓用戶使用簡單的自然語?，讓AI自由地?成和修改用戶操作界?。用戶可以根據天?、時間、節?、紀念?和周圍環境自動變換界??格（有系統控制開關）。

AgentFlow則進一步展現了AI在智能汽車中的潛力，它利用多模態大模型的能力，將用戶的復雜需求自動拆解并生成跨應用和網站的任務流。這種能力使得用戶可以通過簡單的語音指令，輕松完成原本需要多個步驟和多個應用協同才能完成的任務。例如，用戶想要聽上世紀90年代的華語搖滾音樂，AgentFlow會自動啟動車載音樂應用，搜索并播放相關歌曲，極大地提高了操作效率。

在確保高性能的同時，商湯絕影也十分注重用戶隱私保護以及資源的高效利用，從而推動了智能座艙技術的持續創新與發展。為了實現這一目標，商湯絕影在端側部署（即設備本地處理）方面進行了深入優化，并結合了端云協同的部署方案，進一步提升了技術的安全性和效率。

其中，端側部署能夠將AI處理能力直接集成到車輛內部或用戶設備中，減少了數據上傳到云端的需求，從而大大降低了用戶隱私泄露的風險。敏感信息如語音指令、面部特征等可以在本地處理，確保用戶隱私得到最大程度的保護。而由于數據處理發生在本地，端側部署能夠顯著降低響應時間，實現即時反饋。這對于需要高度實時性的應用場景（如自動駕駛輔助系統中的緊急避障）尤為重要。

而端云協同的部署方案，則進一步發揮了端側和云端各自的優勢。通過智能分配任務，系統能夠根據實際情況，將適合在本地處理的任務交給端側，而將需要大規模計算資源或數據共享的任務交給云端處理。

在漫威電影宇宙中，“賈維斯”以其高度智能化的特性，為鋼鐵俠提供了無微不至的協助，展現了AI 技術在日常生活中的無限潛力。而在智能汽車領域，商湯絕影正將這樣的“賈維斯”帶進了智能座艙場景。

基于端云結合的架構，商湯端側大模型大幅超越同量級?模型，越級?肩7B、13B?模型。換句話說，“商湯??新”的強?端側部署能?和智能汽?是“天??對”，能夠幫助?企合作伙伴?更小的參數量，實現更加強?、流暢和個性化的全新智能座艙體驗。據悉，目前商湯絕影的端云部署方案已經開始在各大主機廠定點落地。

敢為人先，讓端到端智駕可感知可信賴

作為行業內第一個提出端到端自動駕駛的廠商，商湯絕影在自動駕駛方面的布局也收獲了行業內的廣泛認可。

得益于行業領先的多模態?模型加持，商湯絕影新一代自動駕駛大模型DriveAGI具備了更加強大的泛化能?。即便在0樣本的情況下，DriveAGI也可以針對不同道路環境或交通狀況并做出精準決策。

據悉，該自動駕駛解決方案可在無高精地圖條件下，僅依靠視覺感知實際道路情況，無論是復雜城市道路還是無中線的鄉村道路上，車輛都能高效準確地完成包括大角度轉向、避讓占道車輛及施工區域、繞行跑步行人等一系列高難度操作，做到“像人一樣開車”。

此外，DriveAGI還為自動駕駛系統賦予強大的空間智能，讓?輛能夠將捕捉到的二維圖像信息轉化為三維空間中的具體感知，從而能夠準確理解現實開放世界中各類交通參與者的行為動機，指導自動駕駛系統做出恰當的行動，并能更好地應對特殊場景。

例如，在路上遇到救護車，它可以自動避讓；遇到潮汐車道或公交車道時，它能根據限行規則自動規避；在綠燈同時有交警在路口指揮交通的情況下，DriveAGI還能夠理解交警的手勢并且將這類信息的優先級提高到紅綠燈等道路信息之上；除此之外，它也可以切換不同的駕駛風格，當需要趕時間時，你可以告訴DriveAGI開得更快?些；如果是想要放松?下，你還可以讓它開得平穩?些。

商業化落地方面，目前在智能座艙領域，商湯絕影已成功助力LEVC L380、小米SU7等車型實現量產，將“賈維斯”移植在了智能座艙里，帶來前所未有的智能體驗。而在智能駕駛領域，商湯絕影的量產智駕產品已落地包括廣汽埃安LX Plus、合眾哪吒S、廣汽昊鉑GT、紅旗等品牌及車型，高速NOA等功能也開始落地。

值得一提的是，在本屆WAIC上，絕影也是唯一承擔VIP接駁任務的自動駕駛小巴服務提供商，提供多個地點之間的需求響應式自動駕駛巴士出行體驗。

絕影L4級別自動駕駛小巴不僅適用于開放道路上短途高頻次的循環接駁場景，也適用于園區、景區、校區、機場等內部有短途接駁需求的場景。目前已陸續在成都、福州、廣州、青島、蘇州等城市亮相，并在上海、無錫等多地實現常態化運行，累計行駛總里程已超300萬公里。

AGI，讓汽車從“出行工具”變為“智能伙伴”

在AGI時代，人工智能不再局限于簡單的感知與生成，而是具有通過不斷學習與進化的能力，更好地理解和適應復雜多變的環境。

在AGI時代，汽車也將迎來一場革命性的轉變，從單一的“出行工具”升級為具備全面感知、決策與執行能力的“智能伙伴”。

商湯絕影，正在加速多模態大模型的前沿創新，驅動智能汽車邁入AGI時代。與此同時，商湯絕影也具備豐富工程化量產交付經驗，能夠針對不同芯?算?平臺全?適配等，由此積極推動大模型上車，引領大模型在智能汽車的量產突破?，F階段，商湯絕影已能夠兼容國內外多款主流芯片平臺，完整適配從低算力、中算力到大算力的多種不同域控。

同時，針對市場上常見的多種傳感器型號，商湯絕影也都已經進行了全面適配，能夠全面滿足行業中主流智能駕駛方案的需求，為智能汽車的量產提供了強有力的支持。

在此次WAIC上，商湯絕影的亮相不僅展示了其最新的技術成果，更向外界傳遞了一個明確的信息：智能汽車正在從傳統的出行工具，向智能伙伴轉變，而商湯絕影正是這一轉變的堅實推動者。

從歷史的角度來看，“絕影”作為三國時期曹操的坐騎，不僅以其卓越的速度和耐力而聞名，更是人類的忠實伙伴。如今，商湯科技以“絕影”之名，將這一精神傳承至智能汽車領域，作為智能汽車駛入AGI時代的長期、可靠的戰略合作伙伴，加速AGI與汽車產業的深度融合。

在商湯絕影的助力下，智能汽車不僅能夠全面理解世界，更將開啟未來出行的新篇章，讓曾經只存在于科幻電影中的未來出行體驗，逐步成為現實。