llama.cpp 团队做了个桌面 App:1MB 下载,Mac 和 Win11 上离线跑模型
盯豆 · 2026-11-16T07:16:00
llama.cpp 团队和 Hugging Face 一起出了个桌面应用,名字就叫 Llama,Mac 和 Windows 11 都能装。 下载包只有 1MB 左右,装完 4MB,免费开源,不用联网。它会在本机起一个地址,格式和 OpenAI 的接口一样,端口是 localhost:9931,所以你原来接 OpenAI 的工具、编辑器、脚本,把地址改过来就能用。官方说也支持 Anthropic 格式的接口、流式输出、工具调用、结构化输出和图片输入,还能通过 Tailscale 给别的设备用。 它省事的地方在于不用你自己调参数。App 会看机器内存推荐模型:16GB 起推 Gemma 4,24GB 起推 gpt-oss,32GB 起推 Qwen3.8,量化精度和上下文长度都按内存自动选,模型存在 Hugging Face 缓存里,和 llama.cpp 共用一份,空闲 5 分钟就卸载。 有两点要说清楚。一是官方页面没写发布日期,什么时候上线的没法确认,截图里内置的引擎版本是 llama.cpp b9726,比现在的正式版旧。二是页面只给了 Mac 的内存建议,Windows 机器要多少内存、实际跑多快,官方都没给数据。想省事在笔记本上跑本地模型的人可以试试,追求速度和可控参数的人还是直接用 llama.cpp 更稳。 来源:https://llama.app/