发生了什么
Sumanth 开源 llmfit(206 个模型)
为什么值得关注
适合需要在本地部署前快速筛选可运行模型、减少下载与试错成本的场景，且提供了反向硬件需求推算和 REST API，便于接入脚本或集群调度。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
llmfit
Sumanth (@Sumanth_077) 发布了开源 CLI 工具 llmfit，用于自动检测用户的 CPU、RAM、GPU 和 VRAM，并按实际可运行性对数据库中的 206 个模型进行排序。工具默认从 Q8_0 开始匹配，必要时逐级降到 Q2_K；如果满上下文仍不适配，会尝试半上下文，并为聊天模型、推理模型分别按速度或质量调整权重。llmfit 还支持交互式 TUI、CLI 表格、JSON 输出和 REST API，并可反向根据目标模型与性能要求推算所需硬件。
打开原始来源 ↗