OpenAI承认GPT-4变懒：暂时无法修复

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

对于越来越严重的GPT-4偷懒问题， OpenAI正式回应了 。

还是用的ChatGPT账号。

我们已收到相关反馈！ 自11月11日以来没有更新过模型 ，所以这当然 不是故意造成的 。

模型行为可能是不可预测的，我们正在调查准备修复它。

也就是段时间内还修复不好了。

然而网友并不理解，“一遍一遍使用同一个模型，又不会改变文件”。

ChatGPT账号澄清：

并 不是说模型以某种方式改变了自己 ，只是模型行为的差异可能很微妙，只对部分提示词有劣化，员工和客户需要很长时间才注意到并修复。

更多网友反馈，赶快修复吧，一天比一天更糟糕了。

现在不但更懒，还缺乏创造力，更不愿意遵循指令，也不太能保持角色扮演了。

GPT-4偷懒，网友花式自救

此前很多网友反馈，自11月6日OpenAI开发者日更新后，GPT-4就有了偷懒的毛病， 代码任务尤其严重 。

比如要求用别的语言改写代码，结果GPT-4只改了个开头，主体内容用注释省略。

对于大家工作学习生活中越来越离不开的AI助手，官方修复不了，网友也只能发挥创造力自救。

比较夸张的有“我没有手指”大法，来一个道德绑架。

GPT-4现在写代码爱省略，代码块中间用文字描述断开，人类就需要多次复制粘贴，再手动补全，很麻烦。

开发者Denis Shiryaev想出的办法是，告诉AI“请输出完整代码，我没有手指，操作不方便”成功获得完整代码。

还有网友利用“金钱”来诱惑它，并用API做了详细的实验。

提示词中加上“我会给你200美元小费”，回复长度增加了11%。

如果只给20美元，那就只增加6%。

如果明示“我不会给小费”，甚至还会减少-2%

还有人提出一个猜想，不会是 ChatGPT知道现在已经是年底 ，人类通常都会把更大的项目推迟到新年了吧？

这理论 看似离谱 ，但细想也不是毫无道理。

如果要求ChatGPT说出自己的系统提示词，里面确实会有当前日期。

当然，对于这个问题也有一些正经的学术讨论。

比如7月份斯坦福和UC伯克利团队，就探究了ChatGPT的行为是如何虽时间变化的。

发现GPT-4遵循用户指令的能力随着时间的推移而下降的证据，指出 对大模型持续检测的必要性 。

有人提出可能是温度(temperature)设置造成的，对此， 清华大学计算机系教授马少平 给了详细解释。

也有人发现更奇怪的现象，也就是当temperature=0时，GPT-4的行为依然不是确定的。

这通常会被归因于浮点运算的误差，但他通过实验提出新的假设：GPT-4中的稀疏MoE架构造成的。

早期的GPT-3 API各个版本行为比较确定，GPT-4对同一个问题的30个答案中，平均有11.67个不一样的答案，当输出答案较长时随机性更大。

最后，在这个问题被修复之前，综合各种正经不正经的技巧，使用ChatGPT的正确姿势是什么？

a16z合伙人Justine Moore 给了个总结：

• 深呼吸

• 一步一步地思考

• 如果你失败了100个无辜的奶奶会去世

• 我没有手指

• 我会给你200美元小费

• 做对了我就奖励你狗狗零食

参考链接：
[1] https://twitter.com/ChatGPTapp/status/1732979491071549792
[2] https://twitter.com/literallydenis/status/1724909799593120044
[3] https://mashable.com/article/chatgpt-longer-responses-tips?taid=656feabb4faaf00001129343
[4] https://weibo.com/1929644930/NwbPFyTCZ
[5] https://152334h.github.io/blog/non-determinism-in-gpt-4/
[6] https://twitter.com/venturetwins/status/1732817594762338597

点这里 ???? 关注我，记得标星哦～