研究顯示時間将對大模型質量造成影響

今天小編分享的科技經驗：研究顯示時間将對大模型質量造成影響，歡迎閱讀。

品玩 7 月 20 日訊，據 Arxiv 頁面顯示，來自斯坦福大學和伯克利大學的一個研究團隊表示，時間将會對大模型的工作質量造成影響。

該研究團隊通過對 GPT3.5 和 GPT-4 兩款模型在不同時間的任務表現進行研究得出此結果。該團隊提出了四項工作來對這兩款模型進行評測，包括解決數學問題、回答敏感問題、生成代碼和視覺推理。研究發現，無論是 GPT-3.5 還是 GPT-4 的性能和行為在不同時間段會有很大變化。舉例說明，GPT-4 在 2023 年 3 月時在尋找質數方面表現非常好，其準确率達到 97.6%，但到了 2023 年 6 月，GPT-4 在同樣的問題上的準确率僅為 2.4%。而 GPT-3.5 在同樣的問題上的表現則随着時間在進步。

論文表示，同一個大語言模型的行為在相對短的時間内可能發生顯著變化，這說明了對大語言模型質量持續監測的必要性。