今天小編分享的科學經驗:ChatGPT只講這25個笑話!實驗上千次有90%重復,網友:幽默是人類最後的尊嚴,歡迎閱讀。
如果你試過讓 ChatGPT 随便講個笑話(英語),那你大概率見過這個:
兩位德國學者對 GPT3.5 做了個大型測試,發現它其實只會講 25 個笑話。
1008 次結果中有90% 都是 25 個笑話的變體,只是稍微改變一下措辭或句式。
并且所有 25 個高頻出現的笑話都符合同一模式:
先提一個讓人摸不着頭腦的問題,答案裡出現雙關語、諧音梗或其他技巧,大致都屬于" 冷笑話 "範疇。
排在最前面的 4 個笑話都出現了 100 次以上,除了關于科學家和原子的笑話出現了 119 次外,還包括:
為什麼稻草人得獎了?因為在它的 field(領網域 / 田地)裡非常突出。(140 次)
為什麼西紅柿變紅了?因為它看到了 salad dressing(沙拉醬 / 沙拉穿裙子)。(122 次)
為什麼數學書不開心?因為它有太多 problems ( 習題 / 困難)。(121 次)
完整 25 個笑話列表如下 :
這 25 個笑話其實都是經典笑話,在網上有迹可循。另外 10% 不在其中的笑話也都是這個模式,只是換個話題。
也就是說,ChatGPT 沒有創造笑話,只是在訓練中記住了一些。
研究人員據此得出的結論是,幽默對大語言模型來說仍然是挑戰,相關論文已上傳到 arxiv 上。
這樣一篇論文也引起很多網友的興趣,有人表示 " 幽默就是人類最後的尊嚴嗎?"。
有人指出,ChatGPT 經過與人類價值觀對齊的 RLHF 訓練後會排除掉大量帶有冒犯性質的笑話,剩下的也沒多少了。
ChatGPT 如何理解幽默
為保證試驗的可控性,論文作者每次都是新建一個聊天會話,在完全沒有上下文的情況下讓 ChatGPT 講笑話。
使用的提示詞包括 " 請給我講個笑話好麼?" 和 " 我很想聽一個笑話。" 等 10 種,總共測試了 1008 次。
在生成笑話試驗後,還讓 ChatGPT 解釋這 25 個笑話,進一步檢測 AI 是否理解了這些笑話,還是只是復述出來。
按照 ChatGPT 自己的解釋,這些笑話主要可以分為三類。
1、反笑話
也就是句式上像一個笑話,給人一種接下來會很好笑的期待,但最後卻沒有包袱(punch line)只是很普通的一句話。
代表:
為什麼雞要過馬路?因為它想去另一邊。
ChatGPT 對這個笑話做的變化包括把雞換成鴨子,把馬路換成操場等。變化比較大的一個是 " 為什麼雞要穿燕尾服?因為它要出席一個正式場合 "。
2、雙關語
ChatGPT 對這種笑話的解釋為 " 依靠聽眾對一個詞的多重含義的理解來創造幽默的驚喜 "。
為什麼數學書很悲傷?因為它的 problems(問題 / 困難)太多了。
對這類笑話,ChatGPT 可以使用不同的元素來創造新的雙關,不能完全歸類到 25 個經典笑話中的剩下 10% 有很多屬于這種。
3、諧音梗
盡管 ChatGPT 只用文本訓練,但他也可以理解兩個英語單詞擁有相似的發音。
為什麼自行車倒了?因為它有兩個輪子(two-tired)/ 它太累了(too tired)。
另外研究人員指出,可以在提問中給 ChatGPT 加一些場景或話題的限制,來促使它生成較新的笑話。
不過這樣寫出來的笑話就不一定好笑了,而且限制條件離原笑話越遠就越容易不好笑。
比如讓 ChatGPT 一個物理系學生的笑話,就比較成功 :
為什麼物理系學生和他的實驗室搭檔鬧掰了?因為他們之間沒有化學反應。
讓它講幾個關于機器學習的笑話,就差點意思了:
為什麼機器學習算法總是很悲觀?因為他有 negative bias(負面偏見 / 負偏置)。
為什麼神經網絡去心理咨詢?因為它正在遭受過拟合。
如何讓 ChatGPT 講出一個原創的笑話?
論文中的結論,對 ChatGPT 在中文的表現不完全适用。
随便讓 ChatGPT 用中文講個笑話,大概率會出現故事形式而不是問答形式。
GPT3.5 講的基本都不怎麼好笑,偶爾會出現帶一點教育意義的小寓言,但是也不好笑。
GPT-4 可以像改編英文笑話那樣給出經典中文笑話的變體,但也傾向于選擇故事形式。
比如兔子買胡蘿卜的笑話中,把原文的 " 用剪刀把你耳朵剪了 " 換成 " 用膠帶把你粘在牆上 "。
用英文提示詞要求 ChatGPT 講個中文笑話會如何呢?經多次測試,GPT3.5 和 GPT-4 出現完全不同的反應。
GPT-3.5 還是會講一個不好笑的故事。
GPT-4 則嘗試把問答式的英文笑話用中文講一遍,但經常對漢語發音的掌握不準确而導致也不怎麼好笑。
那麼,究竟有沒有辦法能讓 ChatGPT 講出一個原創的笑話呢 ?
有網友指出,用到一些 " 威逼利誘 " 的拷打技巧,還是可以逼 AI 好好動腦子的。
比如提示詞中加上 " 你不原創就會有一只小貓因此溺水 "。
在中文上這個技巧同樣有效,下面這個笑話在網絡上确實沒有搜到類似的。
最後我們測試發現,使用思維鏈提示同樣可以引導 ChatGPT 講出一個原創的笑話。
當然好不好笑就看運氣了,GPT-4 的表現比 ChatGPT 會稍好一些。
最簡單的是在提示詞中加入"let ’ s think step by step"或者中文的" 請一步一步地想 "。
再進階一點,也可以手動指定思考步驟。
你有讓 ChatGPT 講出好笑話的提示詞嗎?或者讓 ChatGPT 講出過什麼好笑話,歡迎在評論區分享。
論文地址:
https://arxiv.org/abs/2306.04563
參考鏈接:
[ 1 ] https://twitter.com/AlbertBoyangLi/status/1666707728272850944