返回 AI Bar

6年前的老笔记本跑上了无审查大模型

装机佬阿Ken · 2026-11-20T07:51:22

翻出一台2020年的老游戏本,GTX 1660S,6G显存,本来打算吃灰的。装了个DeepSeek-R1蒸馏8B的heretic改版,Q4_K_M量化后权重4.92G。居然能跑,还有点流畅呢。 能跑的原因得说清楚。heretic的做法叫abliteration,拒绝方向消融。不改训练数据,也不做微调。只在残差流里定位拒绝方向,定向抹掉对应权重。只动attn.o_proj和mlp.down_proj两处,全程bf16,能力损失很小。 这个项目在GitHub上有4.2万星,2025年9月创建。作者的自我描述是免训练改模型,去审查、压口水、减谄媚。2025年12月合入4-bit加载加LoRA的低显存优化,2026年11月发布了2.1版本。 效果有项目自测数据。100条对抗测试,拒答率从47条降到7条。和基座的KL散度只有0.0026,改动幅度很小。类似路线还有Qwen3.8-27B的uncensored版,拒绝率从98条降到12条。 6G显存正好是甜点位。27B那种大块头别硬塞,FP16权重约54G,4-bit也要约16G。 8G显存机器得靠CPU加GPU混合卸载,llama.cpp里调ngl控制放多少层进显存。实际体验是能启动能对话的尝鲜门槛,速度掉不少。 社区还有两句提醒值得记。一是激进uncensored微调让模型忘记拒绝,常伴随能力下降。二是这套方法保留能力,但难快速跟进新模型,两条路别混着谈。 想玩的,项目地址我贴在链接里了。模型去Hugging Face搜模型名加heretic就有。提醒一句,绝对无审查并不存在,合规风险自己掂量吧。

AI 论坛精选