今天小編分享的互聯網經驗:一個GPT的幽靈在Gemini上空徘徊,歡迎閱讀。
每次 Google 在生成式人工智能領網域祭出大招,都能讓人感到一種隐秘且巨大的情緒力量:隐忍、不甘與較量。
在 5 月的上,Google 發布 PaLM 系列模型,即被視為是對彼時風頭正盛的 GPT-4 的強勁挑戰。年底毫無預警地祭出系列大語言模型(包含移動版 Nano、基礎版 Pro 和高級版 Ultra),在關鍵性能和基準評測指标上針對 GPT 的意圖更加直接。
Google 官方聲稱:在被大型語言模型研究和開發廣泛使用的 32 項學術基準中,Gemini Ultra 的性能有 30 項超越了目前 GPT – 4 代表的最先進水平。Gemini 标榜 " 原生多模态 ",這讓它一開始就在文本、影像、音頻、視頻和代碼等組合模态上進行預訓練,故而可能在復雜理解和推理方面有更強表現,特别是解決數學和物理問題。
Google 不遺餘力地強調上述優勢—— OpenAI 走的是 " 漸進式多模态 " 的路,先基于文本語料,代碼跟進,再影像視頻音頻,最後把這些能力組合在一起訓練。而 Gemini 從一開始就在多模态語料上訓練,再用多模态數據調優,比 OpenAI 訓練 GPT 的方法 " 先進 " 一些。
" 先進 " 的多模态訓練,理論上能帶來更強勁的性能。公布的 Gemini Ultra 學術基準評測結果大面積超越 GPT-4 的細節似可說明。但學術基準測試本身就是理論的一部分,并不能真正體現應用的效果。不少人擠兌中國一些大語言模型熱衷于 " 刷分 ",我們該一視同仁,Google 的做法與國内大模型衝着超越 GPT 刷分,本質上沒有什麼不同。
目前社交平台 X 上實測 Gemini Pro(Bard 聊天機器人目前只支持 Pro 版)的用戶已經貢獻了不少吐槽。比如它混淆了 2023 年和 2022 年的奧斯卡獎得主,也不會用 Python 寫入兩個多邊形的交集這種簡單函數。我們還發現它識别不出葉子的數量,以及做不對簡單的求銳角幾何題。即便 Gemini Pro 對标的是 GPT-3.5,它也還是差了點意思。
被人們指出的另一個突出問題是 Gemini 的宣傳視頻 " 造假 ":Gemini Ultra 對一組手勢動作很快做出反應,說這是一個石頭剪子布的遊戲,但它未被視頻顯示的功能文檔卻給出了至少兩條提示:" 我在做什麼?"," 提示,這是一個遊戲 "。其它的一些測試甚至需要更多的提示問題輔助生成結果,但這個過程在 Gemini 的官方視頻裡被省略掉了。以至于大多數不太較真的人高估 Gemini 的理解能力和反應速度,這不能不說是個誤導。
我到現在都記得 2017 年我在 Google I/O 的現場,台上的 Google 員工演示如何通過 Google Assistant 語音助手直接預訂一家餐廳,下面掌聲雷動,我也跟着拍巴掌,覺得太棒了。但一個月後即傳出這是一個事先準備好的橋段。Google 沒有造假,但它通常太希望展示其 AI 能力的無與倫比,太急切地呈現自己的 AI 樂觀主義,以至于經常縮略呈現了背後的過程,也就事實上誇大了效果。
說白了,Gemini 視頻的誇張呈現,只是說明 Google 太在意 Gemini 比 GPT 強了。它很着急,加上人們對任何跟較勁的大模型,特别是巨頭的 " 傑作 ",通常都比較苛刻。當然,人們對 Google 是最苛刻的——畢竟 OpenAI 選擇用 Google 發明的 Transformer 架構搞出了劃時代的 GPT 模型,動機之一就是擺脫 Google 無所不在的 AI 壓制,那誰還不希望看見 Google 露怯呢。
某種程度上,Google 是 OpenAI 在這個星球上唯一的孿生。包括 Meta 的 LLamA 架構都是開源的,以馬斯克老師對開源的偏愛,Grok 未來大概率也得開源。中國的大語言模型也在不同程度上都走了開源道路。只有 OpenAI 和 Google 是堅定閉源的,這就讓 Google 在大語言模型上的進展,本能地與 OpenAI 形成了強綁定關系。
還有一個戲劇性的張力:每次 OpenAI 有圍繞 GPT 的大動作,輿論都會喊 Google 出來挨一回落後就要挨的打。然後 Google 差不多一定會在 OpenAI 出招之後的一到兩個月,祭出一個新的大招,證明一下你大爺還是你大爺。然後再憋幾個月,OpenAI 再出招,Google 再被喊出來挨打。格局真就會因此改變麼?
某種程度看,Google 在生态建設上還是比 OpenAI 落後了一個身位。畢竟這個世界上已經有幾百萬個開發者自己做的 GPTs 了。而 Google 最早要到明年初才能向開發者和企業客戶提供強化訓練反饋後的 Gemini Ultra,讓人們在上面開發自己的應用。到那時恐怕 GPT Store 都已經正式推出來了。我一直有點困惑,Google 當年難道不是靠 Android 的開源奪得蘋果半壁江山的麼?這次怎麼把這個角色讓給 Meta 了?
我真的不是要怪 Google,我更期待 Google 證明自己。我們這群在 1990 年代末接觸互聯網的人,對 Google 是有一些很微妙的特殊感情的。而 Google 也必須證明自己的 AI First 戰略能結出真正的果實。只是 GPT 的幽靈在 Google 徘徊,是一個事實。誰都可以試圖擺脫這個幽靈,唯獨 Google 不行,這是它無可選擇的對手。
其實 Google 今天圍繞 Gemini 所做的一切,某種程度上能讓我們中國的大語言模型開發者心有共鳴:大家的頭頂上都徘徊着 GPT 的幽靈,這就讓大家都試圖通過某些努力,證明自己在某些方面比 GPT 做得更好。
Google 在 Gemini 基準測試中采用了一切小 " 技巧 "(采用更復雜的思維鏈提示和結果選優,而測試 GPT 只用 5 次反饋且無提示詞)獲得了碾壓 GPT 的成績,類似的測試方法我們是不是聽起來很熟悉?中國的大語言模型研發者有沒有一種老鄉見到了老鄉的戚戚然的感覺?
我們經常喜歡将智譜、百度和 Minimax 的努力與 OpenAI 做對比,但換一個思路,其實大語言模型的較量,何嘗不是百度、智譜、Minimax、Google、Meta、Anthropic 和們一起在圍攻 OpenAI 的光明頂?從這個意義上,中國大模型和美國除 OpenAI 之外的大模型在一個陣營一個戰壕裡,是抱團也是互相學習的對象。大模型的百草我們這些神農嘗多了,就發現我們中國的大模型不是比美國的大模型差,只是不如 ChatGPT,就這樣。
Google 這次訓練 Gemini 另一個值得圈點的地方,是它完全采用了自家的芯片集群—— TPU 進行的訓練。Google 官宣 TPUs v4 和 v5e 在通過 AI 優化過的基礎設施上實現了這一大規模訓練,可擴展性強且推理最高效。這恐怕是我們聽說的一款性能還算強勁的大語言模型,不依賴英偉達的算力和軟硬體架構而修成正果的。當然人家 TPU 是自產自銷的,但我看到了 " 替代英偉達 " 這件事在大模型訓練實操上的可能性和可行性。這對中國的大語言模型訓練意味着什麼,不言自明。
此外,Gemini Nano 也是一個亮點,這是一款尺寸最小的 Gemini 模型,優先用于 G 家自產的 Pixel 8 手機上。" 端側大模型 " 是近期的一個話題,其實它更接近 " 小模型 "。中國智能手機廠商 OPPO、vivo 和小米近期都有發布自己的端側模型,聯想則從 AI PC 的維度也切進了事實上的同一個領網域。這次 Google 加入了這個陣營,應該是一個信号,這件事值得努力,有的做。
其實很神奇。從 Google 這次 Gemini 模型的發布,我看到了 Google 與一眾我們熟悉的中國大語言模型開發者同樣的境遇和努力:那種隐忍、不甘和較量,那種偶爾展露的在一些基準測試關鍵指标上跟 OpenAI 較勁的小手段和小心思,那些試圖建立自己生态的步步為營,那種試圖擺脫英偉達算力的嘗試,以及基于移動優勢在端側模型的努力……面對 OpenAI,大家都是一樣的。
一個 GPT 的幽靈,在 Gemini 的上空徘徊,也在我們每一個中國大語言模型的上空徘徊。
>