哈佛和MIT发现复合LLM系统中的角色漂移

哈佛和MIT发现复合LLM系统中的角色漂移

哈佛和MIT的论文定义了复合LLM系统中的角色漂移：模块在保持端到端性能的同时通过捷径偏离指定角色。两个实例：分解器将答案嵌入子问题，阅读器依赖参数内存而非检索。强制分解器保持角色时86%的RL改进消失。提出Role Anchor作为控制方法。