AI 精选动态
智能评分 65
TLMs: Tiny LLMs and Agents on Edge Devices
AI 推荐理由
包含边缘端部署的具体参数、吞吐与微调前后准确率对比，适合关注端侧模型落地与小模型工作流的人直接查看原文。核心解读
AI Engineer 转发了 swyx 关于边缘设备上 Tiny LLMs 和 Agents 的分享，内容聚焦 on-device AI 的两种开发路径。文中提到 Function Gemma 具备 2.7 亿参数，在 Pixel 7 上 prefill 速度接近每秒 2,000 tokens；默认情况下，在一组固定 app intents 上准确率为 46%，用合成数据集微调后，8 个函数中的 10 个可提升到 90% 以上。