把幻觉当作 bug 是把它当作"应该消除"的东西。但更接近真相的看法可能是:幻觉是模型在告诉你"这里的信号太弱,我用先验填进去了"。这其实是一个可量化的信号——一个关于"哪里的训练数据稀疏 / 哪里的人类反馈不足"的免费指南。
接下来这篇会写: 为什么把幻觉当作信号而不是缺陷,会改变你设计产品的方式。
把幻觉当作 bug 是把它当作"应该消除"的东西。但更接近真相的看法可能是:幻觉是模型在告诉你"这里的信号太弱,我用先验填进去了"。这其实是一个可量化的信号——一个关于"哪里的训练数据稀疏 / 哪里的人类反馈不足"的免费指南。
接下来这篇会写: 为什么把幻觉当作信号而不是缺陷,会改变你设计产品的方式。