zero-tvm

在「模型 API 与开发平台」这一类工具里，zero-tvm 是一个可以直接在网页打开的选择，官方地址为 zerotvm.com。它的首页标题写着“zero-tvm — LLM inference in the browser, on hand-written WGSL”。

根据官网首页说明：zero-tvm是用手写在WGSL和TypeScript中的LLM推论引擎。它完全运行在浏览器中：重量下载一次，本地缓存，推论运行在你自己的GPU上。（原文：zero-tvm is an LLM inference engine written by hand in WGSL and TypeScript. It runs entirely in the browser: weights download once, cache locally, and inference runs on your own GPU.）

官网进一步说明：每台机器只下载其持有的图层，并且只保留这些图层的注意力缓存。启动模型的机体带有嵌入体；结束的机体带有输出头。机器之间的交叉点是赤裸的残片——在自己的数据通道上，每枚纪念币一次交接，这样它就永远不会排队在被流到一个客人的回覆后面。

以下信息来自 zerotvm.com 官网首页的公开文字（抓取于 2026-10），翻译可能有偏差，使用前建议到官网核实。

• 比你面前的机器大一个的模特儿（A model bigger than the machine in front of you）
• 按层分割（Split by layer）
• 键盘跳（Tokens hop）
• 客人只是说话（Guests just talk）
• 重量扩大（Weights spread）
• 一位客人打开了房间的链接和类型。没有WebGPU，没有下载，没有在他们的机器上运行；对话停留在他们的标签上，服务它的机器在请求之间是无国籍的。
• 官网链接了 GitHub 仓库（https://github.com/abgnydn/zero-tvm）

从官网介绍来看，zero-tvm 比较适合：

• 大模型 API、推理、RAG 与开发框架
• 软件开发、原型搭建和技术集成
• 客人可以直接从服务机器复制缓存的重量，超过第二个通道，而不是再次取回。它得到的就是机器所持有的—— 在一个分层范围内。

使用建议：

• 不要把密钥、内部代码等敏感信息直接粘贴给第三方工具。
• 把需求拆成小步提交，比一次性生成大段代码更容易审查。

目标用户：开发者、技术团队以及想快速做出原型的产品人员；需要 API 或二次开发的开发者。

未在官网首页找到公开价格信息，请以官网为准。