发生了什么
AI Engineer 发表 TLMs: Tiny LLMs and Agents on Edge Devices
为什么值得关注
包含边缘端部署的具体参数、吞吐与微调前后准确率对比，适合关注端侧模型落地与小模型工作流的人直接查看原文。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
TLMs: Tiny LLMs and Agents on Edge Devices
AI Engineer 转发了 swyx 关于边缘设备上 Tiny LLMs 和 Agents 的分享，内容聚焦 on-device AI 的两种开发路径。文中提到 Function Gemma 具备 2.7 亿参数，在 Pixel 7 上 prefill 速度接近每秒 2,000 tokens；默认情况下，在一组固定 app intents 上准确率为 46%，用合成数据集微调后，8 个函数中的 10 个可提升到 90% 以上。
打开原始来源 ↗