【資料圖】

IT之家 3 月 10 日消息，騰訊混元 3D 團(tuán)隊(duì)今日宣布開源業(yè)界首個(gè)面向世界模型的強(qiáng)化學(xué)習(xí)后訓(xùn)練框架 WorldCompass，這是此前發(fā)布的混元世界模型 1.5 官方強(qiáng)化學(xué)習(xí)擴(kuò)展模塊，能夠讓世界模型的交互更加準(zhǔn)確，體驗(yàn)更好。

WorldCompass 是一個(gè)專為長(zhǎng)時(shí)序、交互式世界模型設(shè)計(jì)的強(qiáng)化學(xué)習(xí)（RL）后訓(xùn)練框架。如果說(shuō)世界模型是引擎，那么 WorldCompass 就是“指南針”，通過(guò)引入強(qiáng)化學(xué)習(xí)機(jī)制，直接“引導(dǎo)”模型如何更準(zhǔn)確地遵循用戶指令探索世界，并保持長(zhǎng)時(shí)序的視覺一致性。

實(shí)驗(yàn)表明，WorldCompass 能提升 SOTA 開源世界模型（WorldPlay）的交互準(zhǔn)確率和視覺保真度，特別是在復(fù)雜的組合動(dòng)作場(chǎng)景下，交互準(zhǔn)確率提升了近 35%。

團(tuán)隊(duì)在最新的開源 SOTA 模型 WorldPlay 上進(jìn)行了驗(yàn)證。結(jié)果顯示，經(jīng)過(guò) WorldCompass 的后訓(xùn)練，模型能力實(shí)現(xiàn)了大幅提升。

在最為困難的復(fù)合動(dòng)作（Combined Action）場(chǎng)景下（例如同時(shí)進(jìn)行移動(dòng)和旋轉(zhuǎn)）：基座模型對(duì)于復(fù)雜組合式動(dòng)作序列執(zhí)行的準(zhǔn)確率僅為 20% 左右。使用 WorldCompass 訓(xùn)練后，準(zhǔn)確率提升至 55% 左右，提升幅度超過(guò) 35%。對(duì)于基礎(chǔ)動(dòng)作，準(zhǔn)確率也提升了約 10%。

同時(shí)，在斯坦福大學(xué)世界模型 Benchmark WorldScore 上，WorldCompass 取得了更好的評(píng)分：

WorldCompass 已在混元 WorldPlay 模型上得到驗(yàn)證，相關(guān)代碼和模型細(xì)節(jié)已開源。IT之家附開源地址如下：

關(guān)鍵詞： 時(shí)序 騰訊 強(qiáng)化學(xué)習(xí) 混元開源 知名企業(yè)