jundot/omlx

产品定位

oMLX 的定位差异在于将本地推理服务器与 macOS 原生菜单栏应用结合，无需打开终端即可启停和监控服务，同时保留完整的 CLI 使用方式。选型时需注意其仅支持 macOS 15.0+ 与 Apple Silicon（M1–M5），并要求 Python 3.11–3.13。项目采用 Apache 2.0 许可证，可免费使用。

适合用户

• 在 Mac 上本地部署 LLM 的开发者
• 使用 Claude Code 等编码工具的开发者
• 自托管推理服务的工程师

功能亮点

• 连续批处理

  通过 mlx-lm BatchGenerator 处理并发请求，最大并发数可配置。

• 分层 KV 缓存（内存热层 + SSD 冷层）

  热层保留常用块在内存，冷层以 safetensors 落盘 SSD，匹配前缀可恢复，跨重启有效。

• 多模型服务

  同一服务器加载 LLM、VLM、嵌入与重排序模型，支持 LRU 驱逐、固定、TTL 与内存限制。

• OpenAI / Anthropic API 兼容

  提供 /v1/chat/completions、/v1/messages、/v1/models 等端点，可作为 OpenAI 与 Anthropic API 的直接替代。

• 工具调用与结构化输出

  支持 mlx-lm 中可用的函数调用格式、JSON schema 校验与 MCP 工具集成。

访问与价格

可用状态: 当前可用

价格信息: 开源

支持平台: API, macOS, 自托管

价格说明: 开源项目，采用 Apache 2.0 许可证，可免费使用。

官方入口

• GitHub 仓库
• Releases 下载（.dmg）

来源核验

• github.com