Studying Large Language Model Generalization with Influence Functions

Studying Large Language Model Generalizati

研究者使用 Eigenvalue-corrected Kronecker-Factored Approximate Curvature（EK-FAC）近似，将 influence functions 扩展到最多 520 亿参数的 LLM。实验显示，EK-FAC 在影响函数估计准确率上与传统方法相近，但 IHVP 计算速度快了几个数量级；同时作者还用了 TF-IDF filtering 和 query batching 两种算法降低候选训练序列梯度计算成本。基于该方法，作者分析了 LLM 的泛化模式，包括影响稀疏性、随规模增大的抽象能力、数学与编程能力、跨语言泛化和角色扮演行为，并发现一个限制：当关键短语顺序被翻转时，影响会衰减到接近 0。