Sakana AI 发布 CoffeeBench 基准测试

Sakana AI 发布 CoffeeBench 基准测试

SakanaAI 与有限責任あずさ監査法人联合发布 CoffeeBench，这是一个评估 LLM 代理长期经营能力的模拟基准，模拟咖啡供应链中 6 家公司（农户、烘焙店、零售店）90 天的运营，代理需进行价格谈判、订单、库存管理等以最大化净利润。测试发现不同模型表现差异大，有的积极谈判盈利，有的分析却不动导致亏损。该基准旨在研究多代理间的协作、竞争、违规行为及审计治理，论文将在 ICML2026 Workshop 发表。