Language Models (Mostly) Know What They Know

Language Models (Mostly) Know What They Kn

研究者评估语言模型能否判断自身回答是否正确，以及能否预测自己是否知道答案。结果显示，在提供合适格式时，更大的模型在多项选择题和判断题上校准较好；在开放式采样任务中，先生成答案再估计该答案为真的概率“P(True)”也表现出较好的性能、校准性和规模效应。进一步让模型在预测某个具体候选答案是否为真之前先考虑多个自生成样本，可继续提升自评表现；模型也能学习预测“P(IK)”——即不依赖具体答案时自己是否知道答案的概率，并能在新任务上部分迁移，但在新任务上的校准仍较弱。