今天小編分享的科學經驗：AI一鍵生成“類黑神話”！騰訊推出遊戲視頻模型GameGen-O，業内人士：遊戲工作室的ChatGPT時刻，歡迎閲讀。
什麼？大模型也許很快就能生成《黑神話 · 悟空》這種 3A 大作了？！
直接看一則 demo，《西遊記》這就上桌：
搭配 BGM，是不是有内味兒了（doge）。
這就是騰訊近日推出的GameGen-O，一個專門生成開放世界視頻遊戲的 Transformer 模型。
簡單説，這個模型能夠模拟各種遊戲引擎功能，生成遊戲角色、動态環境、復雜動作等等。
當然也支持互動控制，用户可以通過文本、操作信号和視頻提示來控制遊戲内容。
消息一公布就在（前推特）開啓了刷屏模式，網友們開始列隊尖叫：
遊戲工作室 Azra Games 的聯創兼 CTO 更是直言：
GameGen-O 将成為遊戲工作室的 ChatGPT 時刻。
" 遊戲工作室迎來 ChatGPT 時刻 "
具體來説，這個項目由騰訊光子工作室（曾打造出和平精英）聯合港科大、中國科大推出。
推測想要做的事兒，是用 AI 模型替代一些遊戲開發環節。比如目前公布的遊戲角色創建、遊戲環境生成、動作生成、事件生成以及各種互動控制。
下面我們挨個預覽一波 ~
現在，用 GameGen-O 就能直接生成各種角色了，西部牛仔、太空人、魔法師、警衞……一鍵生成。
經費不足造成真實取景困難，也有 plan B 了！
給隊友展示騷操作，各種人稱視角的動作生成也能輕松拿捏。
遊戲必備環節——給玩家偶爾上億點難度，海嘯、龍卷風、火災事件這就安排（doge）。
與此同時，GameGen-O 也支持開放網域生成，即不限風格、環境、場景那種。
最後，用文本、操作信号和視頻提示就能實現互動，向左、向右、走向黎明……
好家夥，誰都知道遊戲開發有多燒錢，這下，普通玩家也能用 GameGen-O 制作遊戲了。
一位 AI 架構師網友更是斷言：
用 GPT-4o 标注數據
為了開發這個模型，團隊自述主要進行了兩項工作：
構建專有數據集 OGameData，采用 GPT-4o 标注數據
經歷兩個階段的訓練過程
具體來説，團隊首先提出了一個數據集構建管道。
團隊從互聯網上收集了32,000 個原始視頻，這些視頻來自數百款開放世界遊戲，時長從幾分鍾到幾小時不等，類型包括角色扮演、第一人稱射擊、賽車、動作益智遊戲等。
然後由人類專家對這些視頻進行識别和篩選，最終得到大約15,000 個可用視頻。
下一步，将篩選後的視頻通過場景檢測技術切割成片段，并對這些視頻片段進行基于美學、光流和語義内容的嚴格排序和過濾。
接下來使用GPT-4o對超過 4,000 小時的高質量視頻片段進行細致的注釋，這些片段的分辨率從 720p 到 4k 不等。
為了實現互動控制性，團隊從注釋後的數據集中選擇最高質量的片段，并進行解耦标籤（decoupled labeling）。
這種标籤設計用于描述片段内容狀态的變化，确保訓練模型的數據集更加精細和互動。
對于這種人類專家和 GPT-4o 一起工作的形式，有網友認為：
這是遞歸自我改進（recursive self-improvement）的一種形式。（人類專家确保了注釋的準确性，并通過反饋機制幫助 GPT-4o 進行自我改進）
完成數據準備工作後，團隊經過基礎預訓練 + 指令調整兩個過程來訓練 GameGen-O。
在基礎訓練階段，GameGen-O 模型使用了一個2+1D VAE（變分自編碼器，如 Magvit-v2）來壓縮視頻片段。
為了使 VAE 适應遊戲領網域，團隊對 VAE 解碼器進行了特定領網域的調整。
團隊采用了不同幀速率和分辨率的混合訓練策略，以增強跨幀率和跨分辨率的泛化能力。
另外，模型的整體架構遵循了 Latte 和 OpenSora V1.2 框架的原則。
通過使用掩碼注意力機制，讓 GameGen-O具備了文本到視頻生成和視頻續集的雙重能力。
團隊介紹稱：
這種訓練方法，結合 OGameData 數據集，使得模型能夠穩定且高質量地生成開放領網域的視頻遊戲内容，并為後續的互動控制能力奠定了基礎。
在這之後，預訓練的模型被固定，然後使用可訓練的InstructNet進行微調，這使得模型能夠根據多模态結構指令生成後續幀。
InstructNet 主要用于接受各種多模态輸入，包括結構化文本、操作信号和視頻提示。
在 InstructNet 分支的調整過程中，當前内容被用作條件，從而在當前片段内容和未來片段内容之間建立了映射關系，這在多模态控制信号下進行。
造成的結果是，在推理時，GameGen-O 允許用户基于當前片段不斷生成和控制下一個生成的片段。
目前，GameGen-O 已創建GitHub 官方倉庫，只不過還沒來得及上傳代碼。
感興趣的童鞋可以先收藏一波了 ~
項目主頁：
https://gamegen-o.github.io/
GitHub 官方倉庫：
https://github.com/GameGen-O/GameGen-O/
參考鏈接：
[ 1 ] https://x.com/_akhaliq/status/1834590455226339492
[ 2 ] https://x.com/8teapi/status/1834615421728948581?s=46
