牛津大学的研究人员在确保生成人工智能(AI)产生的信息的稳健性和可靠性方面取得了重大进展。

在《自然》杂志上发表的一项新研究中，他们展示了一种新方法来检测大型语言模型(LLM)何时可能“产生幻觉”(即发明听起来合理但却是虚构的事实)。

这一进步可能为在法律或医学问答等“粗心大意的错误”代价高昂的场合部署法学硕士学位开辟新的途径。

研究人员重点研究了幻觉，即法学硕士每次被问到问题时都会给出不同的答案——即使措辞相同——这种现象被称为虚构。

牛津大学计算机科学系的这项研究的作者塞巴斯蒂安·法夸尔博士说：“法学硕士很擅长用许多不同的方式来表达同一件事，这使得我们很难分辨他们什么时候对答案有把握，什么时候只是在编造一些东西。”

“使用以前的方法，无法区分模型不确定要说什么和不确定如何说。但我们的新方法克服了这个问题。”

为此，研究团队开发了一种以统计学为基础的方法，使用基于多个输出之间的变化量(以熵为衡量标准)来估计不确定性的方法。

他们的方法在意义层面而非词序层面计算不确定性，也就是说，它可以发现LLM何时不确定答案的实际意义，而不仅仅是措辞。为此，LLM产生的概率(表示每个单词在句子中出现的可能性)被转化为意义概率。

经过针对六个开源LLM(包括GPT-4和LLaMA2)的测试，新方法被证明比所有以前的方法更能准确地发现问题何时可能被错误回答。

这种情况适用于各种不同的数据集，包括回答来自Google搜索的问题、技术生物医学问题和数学应用题。研究人员甚至展示了语义熵如何识别ChatGPT生成的简短传记中可能不正确的具体说法。

“我们的方法基本上是估算意义空间中的概率，或‘语义概率’，”研究合著者JannikKossen(牛津大学计算机科学系)说。“这种方法的吸引力在于它使用LLM本身来进行这种转换。”

通过检测提示何时可能产生虚构，新方法可以帮助生成人工智能的用户意识到问题的答案何时可能不可靠，并允许基于LLM构建的系统避免回答可能导致虚构的问题。

该技术的一个关键优势是，它无需先验知识即可跨数据集和任务工作，不需要特定于任务的数据，并且可以稳健地推广到以前从未见过的新任务。虽然与直接使用生成模型相比，它可能会使计算成本增加数倍，但当准确性至关重要时，这显然是合理的。