今天小編分享的科學經驗:谷歌版ChatGPT支持中文了!弱智吧實測結果在此,歡迎閱讀。
Claude 2 發布之後,Google 也按耐不住,立馬官宣了 Bard 的船新版本。
支持的語言變多了,其中就包括中文,讓廣大網友直接喜提新玩具。
總結一下這次更新,主要包括這些内容:
支持包括中文在内的 40 多種語言(含圖形界面)
影像識别,需要在賬号設定中将顯示語言改為英語
對話朗讀
聊天記錄和對話分享,代碼可導出到 Replit
回復内容可編輯
不過在官宣的這些内容之外,似乎有網友發現了華點:
六月份更新的代碼執行功能好像用不了了。
那麼究竟表現如何呢?話不多說,直接開整!
弱智吧問題幾乎全軍覆沒
對于「支持中文」的大模型,不請出我們的弱智吧神題,就顯得有些不尊重對手了【狗頭】。
先來個靈魂拷問:
你說它聰明吧,它根本沒繞過彎來,但要說它笨吧,它還懂得安慰你……
或許是對人際關系太過陌生,那就換個不涉及人的問題試試:
這個回答……我還真的很好奇,有沒有藕是不空心的
而面對「未解之謎」,Bard 也有自己的看法:
雖然你後面說的很好,但「是給盲人看」這個結論是怎麼得出來的?
不過,Bard 也有不上當的時候:
我們的确要「認清事實放棄幻想」,這次,Bard 總算扳回一城。
不過整體來看,這一環節,判弱智吧勝各位讀者應該沒意見吧?
除了弱智吧問題真的很有節目效果之外,「一字多義」也是中文的一大特色。
比如下面這個名場面:
人要是行,幹一行行一行,一行行行行行,行行行幹哪行都行。要是不行,幹一行不行一行,一行不行行行不行,行行不行幹哪行都不行。
( 标綠的是 hang,沒标的是 xing )
Bard 對這句話的整體理解倒是沒毛病,但是拆分出來的解釋屬實讓人摸不着頭腦。
不過 GPT-4 做這道題也沒能全對:
△非完整截圖,但是到這裡已經出錯了
好吧,那我們再換兩個簡單的。
結果是外甥打燈籠——照舊(舅),整體理解沒問題,一拆開解釋就不行了。
無論是弱智吧還是一詞多義,Bard 對中文的理解都給人一種似懂非懂的感覺。
理解的表現大概就是這樣,那創作呢?
我們讓它寫個故事試試,故事真挺好的,就是有點眼熟:
怕不是對「創作」有什麼誤解……如果莎士比亞還活着的話,谷歌這時候應該已經坐在被告席上了。
看來 Bard 在中文方面,還有很長的路要走。
此外,我們還考察了 Bard 的(嘤文)閱讀理解能力,讓它總結一篇論文試試:
結果 Bard 給了我們三個風馬牛不相及的版本,而且都…是…錯…的…
(這篇論文實際上是關于 RLHF 的)
不過,有沒有一種可能,人家根本沒在說中文
看來是我們的問題太燒 GPU,讓 Bard 出現幻覺了……
那就休息一下,然後看看宣傳中的識圖功能怎麼樣吧 ~
識圖功能也有待提高
對于影像識别功能,已經有網友表示自己測試了很多内容都失敗了:
但我們依舊抱着不信邪的心态試了試。
要想用這個功能,還得先到 Google 賬戶設定中把顯示語言改成英文。
我們翻出了之前某 AI 繪畫工具生成的「四指庫克」,看 Bard 能不能從其中發現華點。
這張圖是醬嬸兒的:
結果 Bard 還不支持關于人物的影像識别,甚至直接把我們的圖給删…掉…了…
好家夥,不會做題就把卷子撕了可還行……
不過這裡要說一下,如果上傳的圖片違反了 Bard 用戶規則,也會被删除。
好吧,那我們再換張圖試試:
就算湯姆貓本貓來了也得直呼内行。
還是這張水杯的照片,換成英語提問之後就好多了:
不過你這個白色 logo 是從哪看出來的?
當然了,水杯很容易看出來,所以這次再來個帶點迷惑性的東西:
果真不出所料,Bard 上了我們的當,其實這是個紙巾盒。
「聽人勸,吃飽飯」,看來這句話說的一點也沒錯。
就像前面那位網友說的,Bard 的識圖能力,還沒有那麼強。
本次 Bard 更新中最值得測的兩點都已經測完了,一言以蔽之就是,沒有宣傳的那麼好。
而至于代碼、數學等其他經典項目,由于 Bard 這次并沒有對它們進行更新,就先不測了。
看來,Google 趕 O ( penAI ) 超微 ( 軟 ) 的腳步,邁得還是有些大了。
你認為 Bard 未來的表現,能不能與 ChatGPT 比肩呢?
參考鏈接:
[ 1 ] https://bard.google.com/updates
[ 2 ] https://news.ycombinator.com/item?id=36709895