你能看得出人工智能在瞎编乱造吗？《自然》6月19日发表的一项研究报道了一种能检测大语言模型（llm）幻觉（hallucination）的方法，该方法能够测量生成回答的含义的不确定性，或者用于提升llm输出的可靠性。
像chatgpt和gemini这样的llm是能够阅读和生成自然人类语言的人工智能系统。不过，这类系统很容易产生幻觉，生成不准确或没有意义的内容。然而检测llm出现幻觉的程度很困难，因为这些回答的呈现方式可能让它们看起来很可信。
在这项研究中，英国牛津大学的sebastian farquhar和同事尝试了量化一个llm产生幻觉的程度，从而判断生成的内容有多少是忠于提供的源内容的。
研究人员的方法能检测出llm的“编造”（confabulation）——这是“幻觉”的一个子类别，指不准确和随意的内容，常出现在llm缺乏某类知识的情况下。
这种方法考虑了语言的微妙差别，以及回答如何能以不同的方式表达，从而拥有不同的含义。他们的研究表明，该方法能在llm生成的个人简介，以及关于琐事、常识和生命科学这类话题的回答中识别出“编造”。
然而澳大利亚皇家墨尔本理工大学的karin verspoor在一篇同时发表的“新闻与观点”文章中指出，该任务由一个llm完成，并通过第三个llm进行评价，等于在“以毒攻毒”。verspoor还写道，“用一个llm评估一种基于llm的方法似乎是在循环论证，而且可能有偏差。”
不过，verspoor指出，他们的方法有望帮助用户理解在哪些情况下使用llm的回答时需要多加小心，也意味着可以提高llm在更多应用场景中的置信度。（来源：中国科学报 赵路）
相关论文信息：