StartLux-Decision Ollama 部署：5 步本地跑通

StartLux-Decision 是 StartLux（原点星辉）2026 年 9 月 30 日开源的一款决策模型：输入状态与固定选项，直接输出每个选项的概率，不做文本生成。想在 Ollama 本地跑它，先记住一个关键事实：Ollama 官方模型库目前没有收录它，搜索 startlux 无结果，需要下载 GGUF 文件手动导入。完整流程五步，国内用户走 ModelScope 下载最快，全程免费。

先确认：这模型值不值得本地部署

决策模型和聊天模型是两种东西。聊天模型生成一段话，你要自己解析；决策模型跳过生成，一次前向传播直接给出经过校准的概率分布，程序可以直接读取去做下一步（放行、重试、升级、转人工）。StartLux-Decision 就是这个门类，和云端决策模型（如微软 Decision-1，接入教程见站内）思路一致，区别在可以完全本地跑。

• 版本：官方提供 0.8B、2B、4B、9B、27B 五档，仓库文档另有 35B-A3B（GitHub 官方仓库）
• 题型：选择题（最多 26 个选项）、是非题、等级评分（最多 10 级），一个请求可同时问多个问题
• 官方自测延迟（单卡 H200、BF16、短请求）：0.8B 12.2 毫秒、2B 15.5 毫秒、9B 35.7 毫秒、27B 102.3 毫秒，4B 三个问题约 26 毫秒（新浪财经发布报道）
• 评测（官方自测口径）：Decision Index 0.2.1 上 27B 得分 63.88，38 项基准中 31 项高于 Jev 1.13（57.91）；七套测试平均准确率 91.82%（凤凰科技报道）
• 本地部署的意义：数据不出内网、没有按量计费、延迟可控，适合把判断节点嵌进 Agent 流程

，数据来自官方发布口径，H200 BF16 短请求)

前置准备：Ollama、硬件门槛与国内下载渠道

装好 Ollama

官网（ollama.com）一条命令安装，macOS、Windows、Linux 都支持。装完用 ollama --version 验证。已有 Ollama 的跳过这一步。

硬件门槛（估算值，以仓库实际文件体积为准）

GGUF 的 Q4_K_M 量化体积经验上约每十亿参数 0.6 GB。换算下来：4B 档 Q4_K_M 约 3 GB 上下，8 GB 显存或 16 GB 内存的机器就能跑；9B 档约 6 GB，建议 12 GB 以上显存；27B 档约 16 GB 上下，需要 24 GB 级显卡或大内存 Mac。BF16 档体积最大、精度最高，Q8_0 居中。具体体积以 HuggingFace 或 ModelScope 仓库 Files 页标注为准。

，y=体积(小/中/大)与精度(一般/较高/最高))

国内下载渠道：优先 ModelScope

官方仓库文档给出两条下载通道：HuggingFace 与 ModelScope 镜像（ModelScope 官方组织页）。国内直连 HuggingFace 经常很慢，ModelScope 是国内站点，下载快得多，这也是这篇教程推荐的首选渠道。

HuggingFace 合集地址：startlux-models 的 StartLux-Decision 合集。

五步跑通 Ollama 本地部署

以 4B 档 Q4_K_M 为例，其他档位把模型名换掉即可。

1. 下载 GGUF 文件：ModelScope 用 modelscope download StartLuxAI/StartLux-Decision-4B --local-dir StartLux-Decision-4B，HuggingFace 用 hf download startlux-models/StartLux-Decision-4B --local-dir StartLux-Decision-4B（官方安装命令，详见仓库文档）
2. 写 Modelfile：在模型目录下新建文本文件，内容一行 FROM ./StartLux-Decision-4B-Q4_K_M.gguf，文件名以你下载到的实际 GGUF 为准
3. 导入 Ollama：执行 ollama create startlux-decision-4b -f Modelfile，等它完成模型注册
4. 确认加载：执行 ollama list，能看到 startlux-decision-4b 即导入成功
5. 发起第一次决策请求：决策模型不走聊天模板，用 /api/generate 的 raw 模式直接喂提示词（状态 + 问题 + 按 A. B. C. 编号的选项），从返回文本读选项字母

为什么强调 raw 模式：官方把每个问题渲染成独立提示词，选项按字母编号，答案从选项字母的 logits 读取（官方推理文档）。用 Ollama 对话接口会套一层聊天模板，返回可能不是你要的字母。raw 模式绕开模板，把渲染好的提示词原样喂进去。

验证成功：看返回与响应时间

curl 示例：

curl http://localhost:11434/api/generate -d '{"model":"startlux-decision-4b","prompt":"工单：订单重复扣费但显示未支付。问题：该交给哪个团队？A. billing B. shipping C. technical","raw":true,"stream":false}'

返回 JSON 的 response 字段出现选项字母（如 A），说明跑通。注意：Ollama 客户端返回的是字母文本，拿不到选项概率分布；需要完整概率 JSON 时，用下面的官方 Python 服务。

进阶：官方服务、多问题一次请求与微调

官方 TypeSafe 服务（推荐生产用）

pip 安装依赖后执行 python -m startlux_decision.server --model StartLux-Decision-4B --port 8090，服务走 TypeSafe 的 /v1/systemone 格式，一个请求可同时问多个问题，返回 choice/概率/置信度/usage/延迟（官方示例：4B 单请求 15.7 毫秒）。注意 fast kernels：官方要求 flash-linear-attention 与 causal-conv1d 两个包，缺了会慢 10 倍以上；Apple Silicon 上官方自动改用 mlx-lm。

一次请求多问题

客服工单"订单被重复扣费但仍未支付"可以同时问三件事：交给哪个团队（choice）、今天是否处理（是非）、影响多严重（评分）。这类组合判断在官方服务里一个请求完成，不用逐个生成。

想教它你自己的口径：LoRA 微调

官方仓库带 finetune_lora.py 与 calibrate.py，可以用你自己的决策数据（train.jsonl）做 LoRA 微调，再用 calibrate.py 校准每类题目的温度。温度只影响概率分布的锐度，不改变哪个选项赢。

常见报错速查表