AlexsJones/llmfit

产品定位

llmfit 的定位是本地模型选型的前置环节：它不直接运行模型，而是基于硬件检测给出适配评估与速度估算，估算结果可通过 llmfit info 查看假设并在本机实测验证。工具覆盖 macOS、Linux、Windows 三大平台，并提供 Docker 镜像与 REST API 便于自托管和自动化集成。选型时需注意：速度数字为估算值而非实测；除用户明确使用的功能（如模型下载、社区排行榜）外，工具不会向外部服务传输数据。

适合用户

• 本地 LLM 用户
• 开发者与运维人员
• 开源社区贡献者

功能亮点

• 硬件自动检测

  检测 CPU 核心、系统内存、GPU/VRAM 与统一内存架构（CUDA、Apple Silicon、ROCm、OneAPI）。

• 模型兼容性评估与打分

  分析参数量、上下文长度与量化格式（GGUF/AWQ/GPTQ/EXL2），估算内存占用与 tokens-per-second 表现。

• 交互式 TUI 与 Web 仪表盘

  默认提供轻量零依赖终端界面，也可使用功能丰富的 Web 仪表盘。

• REST API 服务

  通过 llmfit serve 暴露标准 HTTP JSON 端点，便于集成到编排器与自动化管线。

• 真实性能基准测量与社区共享

  可测量真实 tok/s，并将结果以 PR 形式贡献回项目，供相同硬件的用户参考。

访问与价格

可用状态: 当前可用

价格信息: 开源

支持平台: API, Linux, macOS, 自托管, Windows

价格说明: MIT 许可证开源项目，可免费获取与使用（capturedAt=2026-09-04）。

官方入口

• GitHub 仓库
• GitHub Releases 预编译二进制下载
• 快速安装脚本
• 项目文档目录

来源核验

• github.com