oMLX
一个基于MLX的本土macOS推论服务器。paged SSD KV caching 代理 TTFT从30-90s 降为5s以下…
概述
oMLX 的官方站点是 omlx.ai,从首页内容看,它主要提供模型 API 与开发平台相关的 AI 能力。它的首页标题写着“oMLX — LLM inference, optimized for your Mac”。
按官网的自我介绍:一个基于MLX的本土macOS推论服务器。paged SSD KV caching 代理 TTFT从30-90s 降为5s以下。OpenAI& Anthropic 兼容的API用于苹果硅。(原文:A native macOS inference server built on MLX. Paged SSD KV caching drops agent TTFT from 30-90s to under 5s. OpenAI & Anthropic compatible API for Apple Silicon.)
从首页其余段落看:macOS-native MLX 带有智能缓存的服务器。Claude Code,OpenClaw,和Cursor在5秒内回复,不是90秒。编码代理每会话无效 KV 缓存数十次。oMLX坚持每个缓存块到SSD——因此当代理机返回到前缀时,它从磁盘中以毫秒恢复,而不是从零开始重算。
以下信息来自 omlx.ai 官网首页的公开文字(抓取于 2026-10),翻译可能有偏差,使用前建议到官网核实。
功能
- 本地的AI,不再等待你的Mac。(Local AI, no more waiting on your Mac.)
- 是为代理商实际工作的方式而建造的。(Built for the way agents actually work.)
- 真正的数字,真正的硬件。(Real numbers, real hardware.)
- 常见问题。(Common questions.)
- 两分钟后就上场了(Up and running in two minutes.)
- M3 Ultra 512GB上的所有基准。单项请求和连续批量跨越四个流行型号。
- 官网提供开发者文档或 API 入口
- 官网链接了 GitHub 仓库(https://github.com/jundot/omlx)
适用场景
从官网介绍来看,oMLX 比较适合:
- 大模型 API、推理、RAG 与开发框架
- 软件开发、原型搭建和技术集成
- 从源头下载 DMG 或安装。读取标准的 Hugging Face 缓存和您的 LM Studio 文件夹,所以不需要重新下载。
使用建议:
- 让 AI 生成代码后,先在本地或测试环境跑通,再合入正式项目。
- 不要把密钥、内部代码等敏感信息直接粘贴给第三方工具。
适合人群:开发者、技术团队以及想快速做出原型的产品人员;需要 API 或二次开发的开发者。
优点
- 有长期免费方案,可以先免费上手
- 提供 API,可接入自己的系统
- 有公开的 GitHub 仓库,可查看代码或参与社区
- 官网把核心能力列得比较清楚,例如“本地的AI,不再等待你的Mac。”
局限
- 官网以外文为主,中文用户需要借助翻译
- 核心功能通常需要注册登录后使用
- 作为第三方工具,涉及敏感数据时需先查看其隐私政策
价格
据公开数据集 AI Tool Compass(2026-10-09 核对)记录:有免费方案;记录到的方案包括 Open source。价格可能随时调整,请以官网定价页为准。
站点基础信息
注册信息来自 RDAP,查询的是可注册主域名,不一定等于产品子域名。流量和受众只在配置了数据源或管理员手工填写后显示,没有数字就写暂无数据。
域名与 WHOIS
- 书签主机名
- omlx.ai
- WHOIS 查询域名
- 暂无数据
- 注册商
- 暂无数据
- 注册日期
- 暂无数据
- 到期日期
- 暂无数据
- 注册人国家/地区
- 暂无数据
来源:尚未抓取
访问与受众
- 月访问量
- 暂无数据
- 全球排名
- 暂无数据
- 跳出率
- 暂无数据
- 平均访问时长
- 暂无数据
- 每次访问页数
- 暂无数据
- 受众
- 暂无数据
来源:尚未抓取