LLM的吉布斯现象：为什么幻觉是数学宿命
Published:
当连续函数遇上离散真理：从傅里叶分析的视角理解LLM幻觉。
那个解释一切的8.9%过冲
1899年，物理学家约西亚·威拉德·吉布斯发现了一个奇特的现象：当你试图用连续函数（傅里叶级数中的正弦和余弦波）来逼近一个不连续函数（比如方波）时，在不连续点处不可避免地会产生约9%的过冲（overshoot）。无论你在级数中添加多少项，这个过冲永远不会消失——它只会变得更窄、更高，最终收敛到跳跃高度的恰好8.9%。
这不是bug，不是数值误差，而是连续逼近的基本数学性质。
而这可能是理解大语言模型为何产生幻觉的最被低估的洞察。
类比：神经网络作为连续函数逼近器
神经网络本质上是复杂的连续函数逼近器。通用逼近定理告诉我们，具有足够容量的神经网络可以以任意精度逼近任何连续函数。这很强大——但请注意约束条件：连续函数。
然而，世界并非完全连续。人类逻辑、客观真理和事实知识往往包含尖锐的不连续性：
- 一个陈述要么真要么假（不是0.51真）
- 一个历史事件要么发生了要么没发生
- 一个数学证明要么有效要么无效
- 一个URL要么存在要么不存在
这些都是阶跃函数——从0到1、从假到真、从不存在到存在的突变。它们代表了现实的离散、量子本质，抗拒平滑插值。
LLM空间中的吉布斯现象
当我们训练LLM时，本质上是在要求一个连续的概率分布（模型的输出空间）去拟合离散的、绝对的真理。模型学习为token分配概率，在其庞大的参数空间中创建平滑的梯度。但当它遇到一个尖锐的逻辑边界——一个明确为真或为假的事实时——它面临着与傅里叶级数逼近方波时相同的挑战。
结果？那8.9%的过冲表现为幻觉。
考虑这些例子：
URL幻觉：LLM可能生成
https://example.com/page1，而实际URL是https://example.com/page2。模型学习了URL结构的平滑模式，但在试图逼近哪个特定页面存在这一离散真理时产生了过冲。日期混淆：被问及某事件何时发生时，模型可能自信地说”2023年3月15日”，而实际发生在”2023年3月20日”。时间信息周围的连续概率空间在真实的离散事实附近产生了振荡。
逻辑推理错误：在多步推理中，每个逻辑步骤都是离散转换（有效→有效 或 有效→无效）。连续逼近引入的小误差会累积，导致自信但错误的结论。
为什么这很重要：幻觉作为数学宿命
这个视角将幻觉从工程问题重新定义为基本的数学约束。只要我们使用连续参数空间（神经网络）来逼近一个包含离散真理的世界，某种程度的幻觉在数学上就是不可避免的。
吉布斯现象给我们几个教训：
1. 你无法消除它，只能重新定位它
正如添加更多傅里叶项会使过冲变窄但不会变小，扩大LLM规模（更多参数、更多数据）可以使幻觉不那么频繁，但无法消除它们。那8.9%是烙印在数学中的。
2. 过冲出现在边界处
吉布斯过冲发生在不连续点。类似地，LLM幻觉在模型知识的边界处最为明显——边缘案例、罕见事实或概念的新颖组合。模型在熟悉的领域最平滑，在前沿地带最振荡。
3. 连续逼近具有固有偏差
傅里叶级数不仅过冲——它还在不连续点附近表现出振铃（振荡）。在LLM中，这表现为模型倾向于在真实事实周围生成听起来合理但不正确的变体。语言是平滑的，但底层结构是非平滑的，产生了系统性偏差。
对AI安全和对齐的影响
如果幻觉是数学必然性而不仅仅是工程挑战，我们对AI安全的方法必须调整：
验证优于生成：我们应该专注于构建强大的验证系统，而不是期待完美的生成。可以把它想象成接受吉布斯过冲但添加纠错机制。
混合架构：将连续神经网络与离散符号推理系统结合可能有所帮助。使用神经网络进行模式识别和语言生成，但将逻辑推理和事实验证交给符号系统。
不确定性量化：既然我们无法消除幻觉，就必须更好地检测模型何时处于”高过冲”区域——在知识边界附近，幻觉更可能发生。
接受局限性：正如信号处理工程师接受并围绕吉布斯现象工作，AI从业者应该承认某种程度的幻觉是当前范式固有的。
更深层的洞察：语言是平滑的，现实不是
也许这个类比最深刻的洞察是媒介与信息之间的不匹配。语言本身是固有平滑的——词语相互流动，意义逐渐变化，上下文无缝融合。但语言所描述的现实往往包含尖锐的边缘：二元真理、离散事件和逻辑绝对值。
LLM在语言上训练，语言是平滑的。它们学习生成平滑的延续。但当我们要求它们表示非平滑的现实时，我们是在要求连续函数逼近不连续函数。吉布斯现象是我们为这种不匹配付出的数学代价。
结论：与8.9%共存
吉布斯现象已经被认识了一个多世纪。信号处理领域的工程师不会试图消除它——他们理解它，围绕它工作，并设计考虑到它的系统。也许AI社区是时候对LLM幻觉采取类似的心态了。
幻觉不仅仅是一个可以用更好的训练数据或更多参数修复的bug。它是使用连续逼近方法表示包含不连续性的世界的基本后果。那8.9%的过冲——机器中的数学幽灵——只要我们依赖神经网络作为人工智能的主要工具，就会一直困扰我们。
问题不是我们能否消除幻觉。问题是：我们如何构建尽管其数学不可避免性仍然稳健的系统？
参考资料
- 吉布斯现象 - 维基百科（内容已改写以符合许可限制）
- 通用逼近定理（内容已改写以符合许可限制）
- 理解LLM中的幻觉 - ArXiv
- 关于幻觉控制的根本不可能性 - ArXiv
- 傅里叶级数与吉布斯现象