d1-3B 本地部署教程:显存要求与 5 步跑通第一次推理封面图
Agent 与 Skills约 10 分钟

d1-3B 本地部署教程:显存要求与 5 步跑通第一次推理

AI 指南··◉ 0 浏览

核心答案:d1-3B 本地部署总共 5 步:检查显卡与安装环境、下载权重、Transformers 跑通第一次推理、llama.cpp 起服务(可选)、验证概率输出。12GB 显存显卡即可流畅运行,RTX 3060 实测峰值显存约 6GB、单问 25 毫秒,全程免费(年收入低于 1000 万美元可商用)。

部署前先认清:d1-3B 是决策模型,不是聊天模型

d1-3B 是 LiquidAI 于 2026 年 10 月 7 日随 Open d1 系列开源的 3.12B 参数决策模型。它不做逐 token 的文本生成,而是接收「一个状态 + 一组命名问题」,一次前向传播直接返回每个答案的校准概率,输出 token 数为 0。官方发布的 Open d1 博客 给出了完整说明。

官方定义了三种问题原语(详见 Liquid 官方文档):

  • Noul:是非题,返回 0 到 1 之间的概率,例如「这条消息是不是垃圾邮件」
  • Choice:从多个命名选项中选一个,返回选项上的概率分布,例如「这张工单该分给哪个团队」
  • Score:在有序刻度上打分,返回概率加权的位置,例如「这个 bug 有多严重」

多个问题可以在一次调用里共享同一个状态。例如给一段客服对话,同时问退款意图、处理团队、紧急程度三个问题,模型读一遍输入,三个答案一起返回。

所以部署后不要拿它跑聊天、写文章或生成代码,那会得到「模型不支持生成」的结果。官方推荐的用途是路由、审核、意图分类、重排序、LLM-as-a-judge 打分、智能体护栏和视觉检查。

d1-3B 架构图与 Open d1 系列说明

第 1 步:检查显卡并安装环境

d1-3B 面向英伟达全栈,从数据中心 DGX 到 Jetson 边缘设备都支持,消费级显卡的实测参考线是有 12GB 显存的 RTX 3060。官方没有公布最低显存硬指标,用户实测数据是判断依据(数据来源 IT之家 2026-10-09):

显卡 / 设备 单问延迟 备注
RTX 4090 8 ms 官方实测;384px 图像 17 ms、3.4K token 状态 102 ms
RTX 3090 8 ms 用户报告
RTX 3060 12GB 25 ms 用户实测;640×480 图像 146 ms、峰值显存约 6GB
AMD MI325X 9 ms 官方实测
Apple M5 Pro 30 ms 官方实测
Jetson AGX Thor 16 ms 官方实测
Jetson AGX Orin 64GB 26 ms 官方实测
Jetson Orin Nano 50 ms 官方实测

d1-3B RTX 3060 显存占用与延迟实测数据图

Python 环境建议 3.10 以上。Transformers 方式要求 transformers>=5.14,另需 torch 与 pillow;国内用户下载权重可配置 Hugging Face 镜像(HF_ENDPOINT 指向 hf-mirror.com),避免直连超时。

第 2 步:从 Hugging Face 下载权重

官方提供两个仓库:

  • LiquidAI/d1-3B:safetensors 权重,用 Transformers 加载
  • LiquidAI/d1-3B-GGUF:GGUF 量化版,用 llama.cpp 加载,仓库全部量化文件合计约 2.7 GB(Hugging Face 仓库元数据,具体各档位以仓库列表为准)

下载命令:

huggingface-cli download LiquidAI/d1-3B --local-dir ./d1-3B

需要 GGUF 版则把仓库名换成 LiquidAI/d1-3B-GGUF。模型卡标注支持中英文等 17 种语言,上下文 32768 token。

d1-3B Hugging Face 模型仓库页截图

第 3 步:Transformers 跑通第一次推理

安装依赖:

pip install "transformers>=5.14" torch torchvision pillow

官方 Quick Start 代码(来自 Liquid 官方文档 d1-3B 页,模型加载走 AutoModel 加自定义 remote code):

from transformers import AutoModel

model_id = "LiquidAI/d1-3B"
model = AutoModel.from_pretrained(model_id, trust_remote_code=True, dtype="bfloat16", device_map="auto")

state = "I was charged twice this month, please refund one of them."
questions = {
    "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
    "team": {"type": "choice", "instructions": "Which team should handle this?",
             "criteria": {"billing": "Charges, refunds, invoices", "technical": "App or site faults",
                          "fraud": "Suspected unauthorised use"}},
    "urgency": {"type": "score", "instructions": "How urgent is this?",
                "criteria": ["Can wait", "Today", "Blocking the customer now"]},
}
output = model.system_one(state, questions)
print(output)

要点:system_one 是决策模型的入口方法,不是 generate;问题字典里每个键是问题名,值里的 type 决定用 Noul、Choice 还是 Score。图像输入时把 state 传 None,用 images=[photo] 传入 PIL 图片对象。

第 4 步:llama.cpp 起本地服务(可选)

llama.cpp 在发布首日就支持 d1-3B(llama.cpp 官方 PR 合并,媒体报道见 DoNews)。用 GGUF 版直接起 OpenAI 风格的服务:

llama-server -hf LiquidAI/d1-3B-GGUF:Q8_0

然后向 /v1/systemone 发请求,请求体同样是「状态 + 命名问题」结构,图像用 base64 传入。响应里的每个答案带概率,output_tokens 为 0。

第 5 步:验证跑通

跑通的标准是拿到一组归一化概率,而不是一段文字。以第 3 步的代码为例,print(output) 应输出 refund、team、urgency 三个问题的概率分布,各选项概率和为 1;响应里能看到 output_tokens: 0 的标注,说明模型没有生成任何 token。

官方延迟数据可以做参照:RTX 4090 单问 8 ms、3 个问题一次调用 21 ms、3.4K token 长状态 102 ms;Jetson Orin Nano 单问 50 ms。如果你的机器明显慢于这个量级,先检查是否加载了 float32 权重或在用 CPU 推理。

常见报错速查

现象 原因 解法
ImportError:transformers 版本过低 需要 5.14 以上 pip install -U "transformers>=5.14"
显存不足 OOM 显存低于 6GB,或 dtype 未指定 用 dtype="bfloat16";或换 GGUF 量化档
报错提示需要 trust_remote_code 模型使用自定义代码 from_pretrained 加 trust_remote_code=True
llama-server 命令不存在 未安装 llama.cpp 按 llama.cpp 官方 README 安装后重试
返回的是聊天文本而非概率 用错了加载方式 确认走 system_one,而不是 generate

d1-3B 各设备单问延迟对比柱状图

部署后能做什么

跑通之后,d1-3B 可以直接嵌入 Agent 工作流:模型路由、内容审核、意图分类、重排序、LLM-as-a-judge 打分、智能体护栏,以及带图像输入的视觉检查。同一个状态问多个问题只读一遍输入,适合高并发判断。

商用注意许可证:LFM Open License v1.0,年收入低于 1000 万美元免费,超过需联系官方。决策模型这个品类刚火起来,背景可以看 Jev 是什么:TypeSafe 的系统一模型。

想对比其他可本地部署的开源决策模型,参考 StartLux 决策模型 Ollama 本地部署。

云端决策 API 的接入方式见 Microsoft Decision-1 API 接入指南。更多同类选择可看 Perplexity Decider v1.1 指南。

常见问题

d1-3B 本地部署需要多大显存?

用户实测 RTX 3060 12GB 显卡跑 d1-3B 峰值显存约 6GB,单问 25 毫秒。官方没有公布最低显存硬指标,12GB 显卡是当前有实测验证的稳妥档位,6GB 及以下建议用 GGUF 量化版。

d1-3B 最低要什么显卡?

官方面向英伟达全栈(DGX、RTX 工作站、Jetson),Jetson Orin Nano 单问 50 毫秒可跑。消费级显卡中 RTX 3060 12GB 有用户实测数据,更低显存档位官方未公布数据。

d1-3B 能用来聊天吗?

不能。d1-3B 是决策模型,输入状态加命名问题、输出概率,输出 token 数为 0,不生成任何文字。要聊天请用生成式模型。

d1-3B 支持中文输入吗?

Hugging Face 模型卡标注支持中文等 17 种语言。官方尚未单独公布中文基准测试数据,中文场景建议先拿自己的语料验证。

d1-3B 商用免费吗?

许可证为 LFM Open License v1.0,年收入低于 1000 万美元的商业使用免费,超过该门槛需按官方条款授权。

d1-3B 和普通大模型本地部署有什么区别?

普通大模型用 generate 逐 token 生成,d1-3B 用 system_one 一次前向返回概率,不占输出缓存、没有解码循环,这也是它能做到毫秒级延迟的原因。

评论 (0)

?
0/1

还没有评论,来发第一条吧

网站上的服务均为第三方提供,
请用户注意自行甄别。

北京酷讯互动科技有限公司

备案京ICP备2024094994号-29

© 2026 AI345 · All Rights Reserved

用户服务协议·隐私政策