10 月 21 日消息，智源研究院今日發布原生多模態世界模型 Emu3。該模型只基于下一個 token 預測，無需擴散模型或組合方法，即可完成文本、圖像、視頻三種模態數據的理解和生成。官方宣稱實現圖像、文本、視頻大一統。
在圖像生成任務中，基于人類偏好評測，Emu3 優于 SD-1.5 與 SDXL 模型。在視覺語言理解任務中，對于 12 項基準測試的平均得分，Emu3 優于 LlaVA-1.6。在視頻生成任務中，對于 VBench 基準測試得分，Emu3 優于 OpenSora 1.2。
據介紹，Emu3 提供了一個強大的視覺 tokenizer，能夠將視頻和圖像轉換為離散 token。這些視覺離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中。與此同時，該模型輸出的離散 token 可以被轉換為文本、圖像和視頻，為 Any-to-Any 的任務提供了更加統一的研究范式。
▲ Emu3 生成的圖像
Emu3 研究結果證明，下一個 token 預測可以作為多模態模型的一個強大范式，實現超越語言本身的大規模多模態學習，并在多模態任務中實現先進的性能。通過將復雜的多模態設計收斂到 token 本身，能在大規模訓練和推理中釋放巨大的潛力。
目前 Emu3 已開源了關鍵技術和模型
本站內容除特別聲明的原創文章之外，轉載內容只為傳遞更多信息，并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題，請及時通過電子郵件或電話通知我們，以便迅速采取適當措施，避免給雙方造成不必要的經濟損失。聯系電話：010-82306118；郵箱：aet@chinaaet.com。