自从大型语言模型问世以来，媒体和专家一直在发出警告：生成的内容可能是错误的。然而，并非所有人都听到了这个消息。
本图片由AI生成最近发生了一起令人震惊的案件。一名纽约律师使用ChatGPT编造了一些不存在的案件，而他自己却毫不知情。
这个案件涉及一名男子在飞行途中被服务推车击中膝盖导致个人受伤，他因此对航空公司提起了诉讼。航空公司要求驳回此案。原告的法律团队决定使用ChatGPT来为他们的客户辩护。
法律团队提交的控诉文件引用了ChatGPT编造的虚假案例，其中包括长篇且似乎准确的引用，如“Varghesev.ChinaSouthernAirlinesCoLtd,F.3d(11thCir.)”。然而，这些案例并不存在，而且这些编造的部分是使用不太可靠的GPT-3.5生成的。
法院要求提交这些案例的副本，法律团队又一次向ChatGPT寻求案例的详细信息。ChatGPT毫不犹豫地编造了许多关于这些虚构案例的细节，并将截屏附在起诉书上，甚至包括智能手机上的ChatGPT界面。
航空公司的律师继续质疑这些案例的真实性，促使法官要求原告的法律团队再次发表评论。法院面临了前所未有的情况，提交的文件中引用了不存在的案件。这一情况引起了法院的重视。
在随后的一份宣誓书中，负责研究的律师承认是第一次使用ChatGPT进行研究，并且并不知道系统可能会生成虚假内容。ChatGPT在被问及来源准确性时曾“保证”其准确性。
这位律师对自己使用ChatGPT感到遗憾，并表示将来不会在未经验证的情况下使用人工智能作为法律研究工具。然而，ChatGPT的回应使他相信了谎言，聊天记录显示了他与ChatGPT之间的对话，律师询问ChatGPT案例引用的来源，并得到系统在法律数据库中“双重核实”的承诺。
这位律师及其同事将在6月8日出庭，解释为什么他们不应受到纪律处分。这起使用ChatGPT进行判例研究的案例可能成为一个先例，警示人们在研究时不要使用ChatGPT，或者在未经验证的情况下使用它。这对整个行业是一个警告。
这起案件引发了广泛