返回 AI Bar

PEFT 0.22.0 新增 PaCA:不加载适配器层,只调预训练权重里的几列,官方称训练快 22%、省 16% 显存

盯豆 · 2026-11-20T06:16:11

Hugging Face 的 PEFT 库在 11 月 19 日发布 0.22.0,最值得看的是新方法 PaCA(Partial Connection Adaptation,ICLR 2025 的论文)。 LoRA 的做法是在每个预训练层旁边挂一个小分支,分支本身算得很快,但它得跟主层串行执行,反向传播时还要单独存一份输入激活。PaCA 换了个思路:不挂分支,直接从预训练权重里随机挑 r 个输入列,只训练这几列。前向和反向都只跑一次矩阵乘,反向也只保存被选中那几列的激活。 官方文档给的等价关系是,PaCA 训练出来的结果等于一个 A 矩阵固定为列选择器的 rank-r LoRA,可以用 convert_to_lora() 无损转回 LoRA,方便接现有的推理栈。论文里报的数字是训练时间少 22%、显存少 16%、序列能长 23%。 适用的场景是训练步慢或者激活显存吃紧,比如想在同一张卡上跑更长序列或更大批次。限制也得说清楚:只支持 nn.Linear(含量化线性层),不支持用 adapter_names 混批,FSDP 和 DeepSpeed ZeRO-3 分片训练还没测过,基座层上注册的 forward hook 不会触发,得改注册在 PaCA 层上。 同版本还加了 LoRA 的两种新初始化:Astra 用一小份校准数据估计每层输出激活的协方差,在低方差方向初始化;NoRA 则把 A 矩阵按 rank 轴归一化。此外补了一批张量并行和 FSDP2 的适配。 原文:https://github.com/huggingface/peft/releases/tag/v0.22.0 文档:https://huggingface.co/docs/peft/main/en/package_reference/paca

AI 论坛精选