返回精选
AI 精选动态 智能评分 67

llmfit

来源: twitter关注列表
作者: meng shao (@shao__meng)
发布于: 2026-05-23
收录于: 2026-05-23
AI 推荐理由
适合需要在本地部署前快速筛选可运行模型、减少下载与试错成本的场景,且提供了反向硬件需求推算和 REST API,便于接入脚本或集群调度。
核心解读
Sumanth (@Sumanth_077) 发布了开源 CLI 工具 llmfit,用于自动检测用户的 CPU、RAM、GPU 和 VRAM,并按实际可运行性对数据库中的 206 个模型进行排序。工具默认从 Q8_0 开始匹配,必要时逐级降到 Q2_K;如果满上下文仍不适配,会尝试半上下文,并为聊天模型、推理模型分别按速度或质量调整权重。llmfit 还支持交互式 TUI、CLI 表格、JSON 输出和 REST API,并可反向根据目标模型与性能要求推算所需硬件。
#开发者工具#开源#模型发布