斯坦福大学研究发现 ChatGPT 的能力表现在几个月内有所波动

据 IT 之家 9 月 7 日消息，斯坦福大学的一项新研究发现，热门生成式 AI 聊天机器人 ChatGPT 的能力在几个月内有所波动。目前，ChatGPT 有免费的 GPT-3.5 模型和更智能、更快速的付费 GPT-4 版本。研究人员发现，GPT-4 在 3 月份能够有效地解决数学问题，识别质数的准确率为 97.6%。三个月后，其准确率下降到了 2.4%。而另一方面，GPT-3.5 却变得更好，从 7.4% 的准确率提高到了 86.8%。研究人员还注意到，在编写代码和视觉推理方面也有类似的波动。

研究人员认为，结果并不能真正反映 ChatGPT 性能的准确性状态，而是显示了微调模型带来的意外后果。本质上，当修改模型的一部分来改善一个任务时，其他任务可能会受到影响。为什么会这样很难确定，因为没有人知道 ChatGPT 是如何运作的，而且它的代码也不是开源的。