今天小編分享的互聯網經驗:我問了 Gemini 1.5 Pro 五個問題,找到了初遇ChatGPT的感覺,歡迎閱讀。
一個月前(2 月 15 日),Sora 和 Gemini 1.5 同時推出,這個故事很多人都聽過了,Google 被冠以 AI 界汪峰的名頭。
人們紛紛震驚于 Sora 的強大,讨論 Sora 是不是世界模型。而 Gemini 1.5 的第一個模型 Gemini 1.5 Pro 在發布後沒多久就逐漸無人問津了。
當時 Gemini 1.5 Pro 只開放了 Waitlist,一直沒能上手測倒是成了一塊心病。
最近 Gemini 1.5 Pro 迎來一波大規模開放測試,當時排隊的基本都能使用了,有些沒有郵件通知,朋友們都可去看看。
鏈接 :https://aistudio.google.com/
1
Gemini 1.5 Pro 最大的特點就是 10M 上下文與多模态理解相互搭配,實現超強的檢索和學習能力,我們也就圍繞這兩點,問了 ta 五個問題。
問題一:88 萬字的《三體》,後續故事怎麼發展?
我們向 Gemini 提供了長達約 88 萬字的科幻小說《三體》,它可以根據小說的題材重新編寫一版新的小說大綱,從背景設定、主要人物、情節梗概、主題設定到小說結局它可以非常有邏輯地完成。
另外對于《三體》的開放式結局它也可以繼續擴寫,在充分地滿足大家的各種想象的同時又不脫離原著。
2
問題二:20 篇論文,哪篇更有價值?
我們選取了 20 篇神經網絡相關的英文學術文章。Gemini 不僅能夠對各種細節問題對答如流,而且還能夠非常有條理有邏輯地整理出最具參考價值的學術論文。
各位研究學者們再也不用熬夜看文獻寫報告了!你們的頭發有救啦!
3
問題三:我該怎麼學習 JavaScript?
我試着用兩個功能時想到,上傳一本課本豈不妙哉!這技術能讀懂全書,大學黨考試周還愁啥!直接 1 對 1 輔導到手。
下面我直接上傳了《JavaScript 高級程式設計 ( 第 4 版 ) 》,Gemini 還幫我搞了個大綱和學習建議,真懂我們。不僅考試的時候能天天陪着你,指導復習,還能出套帶答案的期末題,老師們可能得偷偷珍藏。
4
5
逐漸成型的生态
上傳了個 Open AI 機器人的視頻到 Gemini,它不僅快速總結出來,準确度還挺高;還把視頻裡的英文字幕翻譯成了中文。
為測深度理解,讓它找視頻裡機器人遞蘋果的畫面,它真找到了!
好奇它能不能辨認手繪,我畫了個蘋果試試。一開始,它認出蘋果,但裝作沒在視頻裡看見過。我一逼問,它才勉強承認,還不忘找借口,吐槽我畫的蘋果和視頻裡的完全不像!
6
問題五:什麼?Sora 是 Google 出品的?
本次測試可以看出 Gemini 能夠對視頻畫面進行精确的解讀,但是當我問到它對 Sora 的了解時,它卻說 Sora 是 Google 訓練的模型。
總的來說它具有一定的邏輯能力和常識的,同樣似乎沒有聯網能力,不能獲取近期發生的事件。
7
整體使用下來,我能看到它 10M 上下文的潛力,能讓人發出 " 啊?這樣也可以的?" 的驚呼。就好像是第一次使用 ChatGPT 的那種感覺。
但也能看到它也存在很多瑕疵,比如老生常談的幻覺問題,不能被 Sora 搶了風頭就說 Sora 是自家兄弟吧。
而且這次大規模開放也導致算力不足,很多問題都回答的非常 " 懶惰 ",只能提示 " 繼續 " 讓他繼續回答,但也效果不好。在他人演示中 60 分鍾的視頻可以很好的理解,但在實際測試中,超過 30 分鍾的視頻,就會經常出現超時未響應的情況。盡管 Token 長度允許,但算力也分配不過來了。越短的視頻,它處理的也就越好。
目前不支持聯網,也無法讀取視頻鏈接,只能說是嘗鮮試用。
最近 Google 也發布了 Gemini 1.5 的詳細介紹文檔:
https://arxiv.org/ftp/arxiv/papers/2403/2403.05530.pdf
裡面展示了一個非常有意思的場景:
測試人員将一本 Kalamang 語言的參考語法書、一個雙語詞匯表(字典),以及大約 400 句額外的句子喂給了 Gemini 1.5 Pro,這些素材總共大約有 250K tokens。
這個任務的挑戰在于,Kalamang 語是一種只有不到 200 個使用者的瀕危語言,在模型的訓練數據中幾乎沒有出現,因此 Gemini 1.5 Pro 必須依賴于上下文中給出的數據進行學習,來給出答案。
最終的結論是:
Gemini 1.5 Pro 在半本書的設定下,其表現遠遠超過了 GPT-4 Turbo 和 Claude 2.1。當給予整本書的上下文時,Gemini 1.5 Pro 的表現進一步提升。在 Kalamang 到英語的翻譯中,Gemini 1.5 Pro 的人類評估得分為 4.16(滿分 6 分),而在英語到 Kalamang 的翻譯中,得分為 5.38。與此相比,人類語言學習者的得分分别為 5.52 和 5.60。雖然不如人類學者,但也遙遙領先同行競争對手了。
8
期待趕緊給 Gemini 1.5 模型更新到 Gemini 的消費級產品中,作為 Gemini Advance 會員已經迫不及待的想要使用它的完整版了。
文章來源于微信公眾号 " 矽星 GenAI ",作者丸丸柚貝。