AI 精选动态
智能评分 60
Studying Large Language Model Generalization with Influence Functions
AI 推荐理由
这篇文章把 influence functions 扩展到 520 亿参数规模，并给出了可复现的加速近似与候选筛选方法，适合关注 LLM 可解释性和训练数据归因的人直接读原文。核心解读
研究者使用 Eigenvalue-corrected Kronecker-Factored Approximate Curvature（EK-FAC）近似，将 influence functions 扩展到最多 520 亿参数的 LLM。实验显示，EK-FAC 在影响函数估计准确率上与传统方法相近，但 IHVP 计算速度快了几个数量级；同时作者还用了 TF-IDF filtering 和 query batching 两种算法降低候选训练序列梯度计算成本。基于该方法，作者分析了 LLM 的泛化模式，包括影响稀疏性、随规模增大的抽象能力、数学与编程能力、跨语言泛化和角色扮演行为，并发现一个限制：当关键短语顺序被翻转时，影响会衰减到接近 0。