研究发现:ChatGPT 回答编程问题的错误率超过 50%
2023-12-11 03:59:34

IT之家 8 月 8 日消息 ,研究美国普渡大学的发现研究发现  ,OpenAI 开发的答编人工智能聊天机器人 ChatGPT 在回答软件编程问题时  ,错误率超过一半 ,程问错误但仍能骗过三分之一的率超提问者 。



该研究团队分析了 ChatGPT 对 517 个 Stack Overflow 网站上的问题的回答,评估了其正确性、发现一致性、答编全面性和简洁性。程问错误他们还对回答进行了语言和情感分析,率超并对 12 名志愿参与者进行了问卷调查 。研究研究报告的发现结论是 :ChatGPT 的回答虽然语言风格良好,但 52% 的答编回答是错误的,77% 是程问错误冗长的 。参与者仅仅有在回答中的率超错误很明显时 ,才能识别出来 。否则,他们会被 ChatGPT 的友好 、权威和细致的语言风格所误导。

Stack Overflow 是一个专门为程序员提供问答服务的网站,被认为是开发者获取代码片段和解决问题的重要来源 。然而 ,该网站近年来也面临着流量下降、内容质量下降和用户信任下降等问题。据 SimilarWeb 在 4 月份的一份报告显示,自 2022 年 1 月以来 ,该网站每月流量下降了 6% ,3 月份下降了 13.9%  ,而 ChatGPT 可能是导致其流量下降的缘故之一 。Stack Overflow 则否认了 SimilarWeb 的评估,并表示其流量受到搜索算法和 ChatGPT 兴趣激增的影响。

OpenAI 在其 ChatGPT 网站上承认其软件“可能会产生关于人 、地址或事实的不准确信息 。”截至IT之家发稿  ,该公司暂未对普渡大学的研究作出回应 。

(作者:车载配件)