
“分割一切”(SAM)是美國META公司發布的全新視覺模型,能夠根據文本指令識別圖像和“一鍵摳圖”。近期,浙江大學ReLER實驗室將SAM與視頻分割進行深度結合,發布了通用視頻分割與跟蹤工具SAM-Track。該工具能對視頻目標進行自動跟蹤,只需要一句話、一個點擊、一支畫筆,就能在任意場景分割跟蹤任意物體。比如,指定“熊貓”,便可一鍵跟蹤、分割所有屬于“熊貓”這一類別的目標;也可進一步給出更詳細的描述,比如輸入“最左邊的熊貓”,就可以定位至特定目標。
相較于傳統視頻跟蹤算法,SAM-Track的另一個強大之處在于可對大量目標同時進行跟蹤分割,并自動檢測新出現的物體。它還支持多種交互方式組合使用,用戶可根據實際需求搭配,比如使用畫筆框定與人體緊密連接的滑板,可防止分割多余物體,而后再點擊選擇人體。如果對自動分割結果不滿意,用戶可在此基礎上進行編輯修正。
(來源:新智元微信公眾號)