研究显示时间将对大模型质量造成影响

今天小编分享的科技经验：研究显示时间将对大模型质量造成影响，欢迎阅读。

品玩 7 月 20 日讯，据 Arxiv 页面显示，来自斯坦福大学和伯克利大学的一个研究团队表示，时间将会对大模型的工作质量造成影响。

该研究团队通过对 GPT3.5 和 GPT-4 两款模型在不同时间的任务表现进行研究得出此结果。该团队提出了四项工作来对这两款模型进行评测，包括解决数学问题、回答敏感问题、生成代码和视觉推理。研究发现，无论是 GPT-3.5 还是 GPT-4 的性能和行为在不同时间段会有很大变化。举例说明，GPT-4 在 2023 年 3 月时在寻找质数方面表现非常好，其准确率达到 97.6%，但到了 2023 年 6 月，GPT-4 在同样的问题上的准确率仅为 2.4%。而 GPT-3.5 在同样的问题上的表现则随着时间在进步。

论文表示，同一个大语言模型的行为在相对短的时间内可能发生显著变化，这说明了对大语言模型质量持续监测的必要性。