今天小編分享的互聯網經驗：本周AI不得了！OpenAI的Sora“模拟世界”、Gemini 1.5“10M上下文”、Mistral的開源新貴同日出現，歡迎閱讀。
昨天是 AI 發展的其中一天，但似乎所有事情都同時發生。簡而言之，你需要了解這些内容：
OpenAI 發布了他們的視頻生成模型 Sora。它非常出色。
谷歌發布了 Gemini 1.5 Pro，性能接近 1.0 Ultra，并且文本長度幾乎無限（最多可達 1 千萬 tokens）。
在 ChatBot Arena 平台中發現了一個名為 Mistral-Next 的模型，暗示其即将發布。初步測試表明，它至少是一個可靠的模型。
這篇文章将盡量從技術角度總結我們所知道的情況。
Sora：OpenAI 的文字視頻模型
我們早就知道它會出現。但我還是被它的出色表現震驚了。你需要看一些人工智能生成的視頻。OpenAI 發布了 Sora，山姆 · 奧特曼花了一整天時間在推特上分享其神奇世代的視頻。當天晚些時候，OpenAI 發布了一篇技術性稍強的博文，證實了人們所關注的大部分傳言。
簡而言之，Sora 是視覺轉換器（ViT）和擴散模型的組合。視覺轉換器和 Sora 數據處理背後的核心理念似乎是将視頻片段嵌入一個名為 "patch" 的潛在空間，然後将其作為一個 token。
引自 OpenAI 博客：
Sora 是一個擴散模型；在輸入噪聲 patches（以及文本提示等條件信息）的情況下，經過訓練，它可以預測原始的 " 幹淨 "patches。重要的是，Sora 是一個擴散變換器。變換器在語言建模、計算機視覺和影像生成等多個領網域都表現出卓越的擴展特性。
在這項工作中，我們發現擴散變換器作為視頻模型也能有效擴展。
博文中提到了很多有趣的東西，但都不是真正重要的東西，比如模型大小、架構或數據。對我來說，數據幾乎肯定是一大堆 YouTube 和一些程式化生成的視頻（來自遊戲引擎或其他自定義的東西，稍後詳述）。需要知道的事情：
他們在多種分辨率（大多數多模态模型都固定在 256x256 等分辨率）上進行訓練，包括 1920x1080p 橫向或縱向分辨率。
" 我們将重新字幕技術引入 DALL-E 3 影像生成器，應用于視頻 "。這包括兩點：
讓語言模型對提示進行調解對于獲得良好的輸出結果仍然非常重要。除非有必要，否則人們不會這麼做。我認為這最終會通過更好的數據控制來解決。
更重要的是，這與他們的 " 高度描述性字幕機模型 "（将視頻轉換為文本）相關聯，而這是為數據提供标籤所必需的。這證實了基本的 GPT4 可以做到這一點，或者 OpenAI 還有許多其他最先進的模型隐藏在裡面。
Sora 還能通過接收影像輸入來完成動畫、編輯和類似操作。
Sora 可以通過視頻輸入進行視頻編輯。
推特上的一個 ML 的匿名賬戶挖出了一篇類似架構的論文。我将架構圖復制如下。
Sora 最令人印象深刻的特點是它能夠逼真地模拟物理世界（OpenAI 将其描述為 " 新興的模拟能力 "）。在此之前，還沒有任何文字視頻模型能與之相媲美。幾周前，谷歌的 Lumiere 剛剛問世，給人留下了深刻印象，但與 Sora 相比，它顯得非常遜色。
有很多傳言說，神經輻射場（NeRFs）是一種流行的影像 3D 重構技術，它可能會根據視頻的特征（就像物理世界一樣）在引擎蓋下使用，但我們沒有明确的證據證明這一點。我認為這是程式生成的遊戲引擎内容。僅僅使用遊戲是不夠的，你需要一種生成數據多樣性的方法，就像所有合成數據一樣。我們在 HuggingFace 為 RL 代理構建的數據就是一個很好的例子。數據的多樣性可能會在生成過程中釋放出另一個層次的性能——我們在大型模型中經常看到這種情況。
所有關于 Pika 和 Runway ML（其他流行的 ML 視頻初創公司）死亡的評論都完全是誇大其詞。如果進步的速度如此之快，那麼我們還有很多轉彎。如果最佳模型來得快去得也快，那麼最重要的就是用戶接觸點。這一點在視頻領網域還沒有建立起來，而且，MidJourney 還在依賴 Discord（不過，用戶體驗還很不錯）！
Gemini1.5：谷歌的有效無上限文本長度
在 Sora 發布前幾個小時，谷歌已經發布了 Gemini 的下一個版本，令所有人震驚。這可能會給人們使用 LLMs 的方式帶來的直接變化，可以說比 Sora 視頻更有影響力，但 Sora 的視覺演示質量令人着迷。
總結：
Gemini 1.5 Pro 的性能接近 Gemini 1.0 Ultra，但部門參數效率更高，并增加了 混合專家系統（MoE）作為基本架構。
Gemini 1.5 Pro 文本長度可擴展至 1 千萬。作為參考，當 OpenAI 将 GPT4 增加到 128k 時，這就是件大事。一千萬幾乎沒有任何意義——它又不是變形金剛。但它能接收的信息量遠遠超過普通 ChatGPT 用戶的想象。
谷歌可能找到了某種新方法，将長上下文的架構理念與他們的 TPU 計算堆棧相結合，并取得了很好的效果。據 Gemini 長語境的負責人之一 Pranav Shyam 說，這個想法幾個月前才剛剛萌芽。如果以小版本（v1.5）而不是 v2 發布，肯定會有更大的發展空間。
作為一個思想實驗，圍繞 Gemini 1.5 的交流告訴你，你可以在模型的上下文中包含整個生產代碼庫（參見 Google 提供的示例）。這對于那些還沒有流行到會為下一個 GPT 版本而被搜刮成百上千次的庫來說，确實能改變它們的命運。作為一款企業工具，它價值連城。他們将 一千萬個 tokens 可視化為多少内容，這可是一大筆财富。想想 3 小時的視頻或 22 小時的音頻在沒有分割或損失的情況下被一個模型處理。
需要明确的是，付費的 Gemini 用戶很快就能使用 100 萬文本長度（類似于 ChatGPT plus 計劃），而技術報告中也提到了 1000 萬視窗。我認為，目前保留它更多的是出于成本考慮。任何模型的計算量都很大。
這個關于上下文長度的數字讓我傷透了腦筋。最長的上下文視窗更精确。
看到這一點，我們就會明白，這個模型并不是一個變形器。它有辦法通過非注意力模型路由信息。很多人提到了 Mamba，但更有可能的是谷歌利用優化的 TPU 代碼實現了自己的模型架構。Mamba 附帶特殊的 Nvidia 内核和集成。
這讓我對未來感到非常興奮，因為在未來，我們與之互動的模型會将計算分配給專門從事不同任務的子模型。我預計，如果我們看到 Gemini 1.5 Pro 架構圖，它會更像一個系統，而不是普通的語言模型圖。這就是研發階段的樣子。
著名的快速工程師 Riley Goodside 曾分享過這種類型的變化：
這裡有很多含義。既然可以 100K-shot，為什麼還要 [ 監督微調 ] ？如果有了語法和字典，它就能翻譯 Kalamang 語，那麼正确的詞語又能教會它什麼呢？
從根本上說，這意味着我們現在可以直接告訴模型如何在上下文中行動。微調不再需要能力。我認為這将會產生協同效應，而且當推理達到一定規模時，微調的成本會更低，但這還是令人興奮的。
更多信息，請參閱谷歌 Gemini 1.5 博客文章或技術報告。
最後，Perplexity 公司的首席執行官在接受采訪時說，谷歌把他想聘用的人的待遇提高了四倍。這太瘋狂了，我不知道這對谷歌來說是看漲還是看跌的信号。
Mistral-next： 另一種有趣的發布方式
如果這還不夠的話，還有人告訴我，在 LMSYS 競技場上，還有另一款 Mistral 型号在偷偷地聊天。我聽說過另一款機型即将推出的傳言，但這款機型顯然更加真實。基本測試表明它是一款強大的機型。當然，Twitter 的暴民們現在會去舉辦更多的 vibes-evals 活動，但 Mistral 會很快告訴我們的。我猜這就是他們基于 API 的 GPT4 競争對手。
原來它是一周前添加的，所以隐藏得很好。
本文主要翻譯自 Interconnects 文章《OpenAI ’ s Sora for video, Gemini 1.5's infinite context, and a secret Mistral model》，原文作者 Nathan Lambert
