大模型幻觉(LLM Hallucination)

关于「大模型幻觉」的定义、解释与在企业 AI 应用中的实践。

一句话定义模型生成看似合理但与事实或输入不符的内容,是企业应用必须设防的风险。

大模型幻觉指模型生成的内容看似合理、实则与事实或输入材料不符:编造不存在的字段值、给出材料里没有的结论、添上看似专业的细节。模型的生成机制决定了它「总会给出一个像样的答案」,哪怕依据不足。

企业应用无法根除幻觉,但可以设防。常用手段分三层:让模型只依据给定材料作答(约束输入);用业务规则约束判定口径、用输出 Schema 约束结果形态(约束过程与格式);保留执行记录并设置人工复核(约束后果)。核心思路是:不赌模型永远对,而是让错误可发现、可追溯、可拦截。

在雀为中的体现

在雀为中,幻觉设防落在机制上:输出必须通过 Schema 校验、判断依据来自规则命中并附执行 Trace、未通过或置信不足的结果转入人工复核。

相关术语