LFM2.5-24B-A2B 本地部署教程:5 步跑通封面图
Agent 与 Skills约 12 分钟

LFM2.5-24B-A2B 本地部署教程:5 步跑通

AI 指南··◉ 0 浏览

LFM2.5-24B-A2B 是 Liquid AI 在 2026-10-13 发布的端侧 Agent 推理模型:总参数 24B,每跑一个 token 只激活约 2.45B,官方说在 Apple M5 Max 上约 15GB 显存就能本地跑通,速度 184 tok/s。完整流程就 5 步:确认硬件、装推理后端、拉权重、启动服务、接进 Agent 工具。权重和工具都免费,下面一步步来。

这个模型值得先装,这几条先对号入座

在动手前,先确认你属于哪类用户。如果你是想给笔记本或 Mac 配一个能本地连续跑、不依赖云端的 AI 副手,它正是当下能放在本地的选择,因为激活参数少,推理成本低,可以一直开着。如果你只是想聊聊天,那没必要用它,它是推理专用模型,回答任何问题前都会先走一段思维链,速度不如同档的普通聊天模型顺滑。

它是纯推理模型这件事很关键。官方口径里写得很清楚:回答前先生成显式思维链,同时能调用工具,能在 OpenClaw、Hermes Agent、Pi、OpenCode 这类 Agent 工作台里处理多步任务。OpenAI 兼容后端就是为接这类 Agent 工具留的口子。

LFM2.5-24B-A2B 模型卡基准与推理速度数据

如果想把 Agent 跑在这个小模型上到底值不值算清楚,可以顺带读一下「开源模型和闭源模型怎么选?一张对比表讲清 6 个真实成本」。回到正题,先说硬件。

前置准备:先确认硬件能不能扛

核心判断很简单:显存约 15GB 起步。官方给的两组参考是 Apple M5 Max(184 tok/s)和 AMD Ryzen AI Max+ 395(114 tok/s),也就是说在带大内存 MacBook 或新一代 AI 笔记本上跑得比较顺。独立显存不足时,可以把权重量化到更低位,牺牲一点速度换显存,这部分后面讲。

除了显卡和内存,下面这几项基础也顺手确认一下:

  1. 预装 Python 3.10 以上,外加一个能建虚拟环境的终端。

  2. 磁盘留出 15GB 以上的空间放权重。

  3. 下载权重需要能访问 Hugging Face,国内直连不稳可以走镜像(hf-mirror.com),这一步国内用户务必提前备好。

  4. API 客户端不走镜像,后面连的是你自己起的本地服务,基本不碰网络问题。

带 Apple 芯片的 Mac 优先用 MLX 后端,NVIDIA 卡和 Linux 优先 llama.cpp 或 vLLM,Windows 桌面用 llama.cpp 官方构建。选型逻辑我放在下面的步骤里一步步带出来。更小的模型怎么做新手起手,可以参考「d1-3B 本地部署教程:显存要求与 5 步跑通第一次推理」,那边把最基础的流程拆得更碎。

本地部署完整 5 步

下面以最通用的 llama.cpp 为例,Apple 芯片会在括号里单独标注 MLX 的命令。每一步都给预期结果,方便你对照检查。

第 1 步:选好后端并装好推理工具

先决定走哪个后端。llama.cpp 覆盖最广(支持 CPU,也能兼容常见 GPU),先学它不容易错;Apple 芯片的机器建议直接上 MLX,官方在 Mac 上就是用 MLX 测的。

  1. 创建一个工作目录:mkdir lfm && cd lfm

  2. 建虚拟环境:python3 -m venv venv && source venv/bin/activate

  3. 走 llama.cpp 的话,去 llama.cpp 仓库 克隆后按 README 编译:git clone https://github.com/ggerganov/llama.cpp

  4. 走 MLX 的话,直接 pip install mlx-lm(Apple 芯片专用)

  5. 确认安装成功:llama-cli --version 能看到版本号,MLX 用 mlx_lm.server --help

第 2 步:拉取权重,国内走镜像

LFM2.5-24B-A2B 的权重以开放形式发布在 Hugging Face 模型卡 上,架构细节也能在 Liquid AI 官方博客 这条产品线里查到。注意官方加载器要求 transformers 大于等于 5.0.0,版本低了会先报警告甚至直接报错。

  1. 先确认 transformers 版本够不够:pip show transformers

  2. 版本不够就升级:pip install -U "transformers>=5.0.0"

  3. 官方拉取:huggingface-cli download LiquidAI/LFM2.5-24B-A2B --local-dir ./lfm24b

  4. 国内镜像:HF_ENDPOINT=https://hf-mirror.com huggingface-cli download LiquidAI/LFM2.5-24B-A2B --local-dir ./lfm24b

预期结果:./lfm24b 目录下看到完整权重文件,分片累加约 15GB。

第 3 步:启动 OpenAI 兼容服务

这一步是所有 Agent 工具直接接上的关键。llama.cpp 和 MLX 都用 8080 端口,vLLM 用 8000,SGLang 用 30000,LM Studio 用 1234。

  1. llama.cpp:./build/bin/llama-server -m ./lfm24b/model.gguf --port 8080

  2. MLX(Apple 芯片):mlx_lm.server --model LiquidAI/LFM2.5-24B-A2B --port 8080

  3. vLLM:python -m vllm.entrypoints.openai.api_server --model LiquidAI/LFM2.5-24B-A2B --port 8000

预期结果:终端出现 Uvicorn running on http://localhost:8080 这类提示,服务就起来了。

第 4 步:发一个请求验证跑通

服务起来后,先在终端直接打一发,确认它会先输出思维链再给结论。

  1. 用 curl 发:curl -X POST http://localhost:8080/v1/chat/completions

  2. body 里带 model 名、messages 和 max_tokens

  3. 看到返回的 content 开头是一段思考过程、后面才是答案,就算跑通

预期结果:一个包含 reasoning_steps 和 content 两个字段的标准 JSON。

LFM2.5-24B-A2B 本地服务 OpenAI 兼容接口调用链示意图

第 5 步:接进 Agent 工具

LFM2.5-24B-A2B 是 Agent 优先的模型,最后一步是把你喜欢的 Agent 工具指到这个服务上。以官方提到的 Hermes Agent 为例:

  1. 安装 Agent 工具后,新建一份配置文件

  2. 把 base_url 填成 http://localhost:8080/v1

  3. 把 model 填成 LFM2.5-24B-A2B

  4. 跑一个带工具的测试任务,比如让它查天气或调一个本地脚本

预期结果:Agent 能多次调用工具、把中间结果喂回模型、最后给出决策,这就是一个真正能用的本地 Agent。

常见报错速查

下面几个是部署时最容易卡住的地方,按现象对号入座。

安装和下载阶段的排错:

现象 原因 解法
加载权重时报 transformers 版本错误 transformers 低于 5.0.0 pip install -U "transformers>=5.0.0" 后重开终端
国内下载权重卡住或超时 直连 Hugging Face 不稳 设置 HF_ENDPOINT=https://hf-mirror.com 走镜像

运行阶段的排错:

现象 原因 解法
启动后崩显存 OOM 显存不足 15GB 用低位量化版本或压缩上下文长度
服务启动但请求 404 端口和后端约定不一致 按后端改端口,llama.cpp/MLX 8080、vLLM 8000
首次请求漫长 模型在加载权重 属正常,二次之后就快了
Agent 工具连不上服务 base_url 路径填错 统一填 http://localhost:端口/v1

进阶:量化、长上下文与开源选型

如果 15GB 显存还不够,把权重量化后跑,占用会降下来,速度损失在可控范围。想让它处理长一点的多步 Agent 任务,默认 131K 上下文别为了省显存砍太猛,那会影响多轮工具调用。

本地部署这个领域的模型不止它一家。想找一个更轻、自带视觉能力的,可以看「MiniCPM-V 4.7 本地部署教程:3GB 内存跑 35B 模型」;想要无独显也能稳定跑起来,参考「EmbeddingGemma 2 本地部署教程:无独显 5 步跑通」更合适。它们换的都是后端和权重,思路和本篇一致。

如果还在犹豫要不要上本地开源,而不是继续用闭源 API,结合「开源模型和闭源模型怎么选?一张对比表讲清 6 个真实成本」,把隐私、算力、维护这几笔账算明白,再看这是不是你的长期方案。

LFM2.5-24B-A2B 不同硬件推理速度对比柱状图

常见问题

LFM2.5-24B-A2B 需要多少显存?

官方参考约 15GB 显存,Apple M5 Max 上可到 184 tok/s、AMD Ryzen AI Max+ 395 上 114 tok/s。显存不够可以量化权重或压缩上下文,但要牺牲一些速度。

transformers 版本有什么要求?

模型卡标明 transformers 大于等于 5.0.0。加载时版本低会报错,先 pip install -U "transformers>=5.0.0"。

支持中文部署吗?

支持。模型覆盖包括中文在内的 16 种语言,词表从 65K 扩到 128K,专门改善了非拉丁文字分词,中文部署不需额外处理。

2026 年这个模型要钱吗?

权重开放,发布在 Hugging Face,部署免费。llama.cpp、MLX、vLLM、SGLang 这些后端也是免费的。

没有独立显卡能跑吗?

能。Ryzen AI Max+ 395 这类把显存吞进内存的 AI 笔记本都能跑,Mac 走 MLX 也可以。纯 CPU 老机器会慢,不建议作主用场景。

评论 (0)

?
0/1

还没有评论,来发第一条吧

网站上的服务均为第三方提供,
请用户注意自行甄别。

北京酷讯互动科技有限公司

备案京ICP备2024094994号-29

© 2026 AI345 · All Rights Reserved

用户服务协议·隐私政策