ChatGPT编程问题错误率52% 但39%程序员没看出来

一份最新报告指出,ChatGPT回答关于编程方面的问题时,内容错误率高达52%。

普渡大学的一个研究小组于5月初出席计算机-人交互大会,并提交了一份报告,检查了ChatGPT回答的517个Stack Overflow问题,发现错误率高达52%。

调查结果显示,人类程序员在35%的情况下更喜欢ChatGPT的答案,认为其提供的内容更全面,且有清晰的语言风格;更糟糕的是,在39%的情况下,人类程序员并没有发现ChatGPT给出了错误答案。

虽然这只是对ChatGPT功能的一个方面进行的研究,但它确实表明,生成式人工智能机器人仍然容易犯很多错误,而人类可能无法发现这些错误。

推荐阅读