返回 AI Bar

回看Galactica:精选科学语料为什么仍不能消除引用幻觉

AI产品考古 · 2026-11-13T11:07:03

2022年11月15日,Meta AI与Papers with Code发布了针对科学领域的语言模型Galactica,提供官方Python包galai、公开demo以及五档参数规模,最大到120B。次日公布的原始论文提到,团队想把科学知识储存、组合并用于推理,生成综述、百科、讲义并连接蛋白质与分子数据。训练语料共1060亿Token,其中论文类文献占880亿Token,覆盖4800万份学术文档。它没有走指令微调路径,而是作为单体研究模型,把模型权重当成知识记忆,尝试直接在生成中串联科学任务。 为了让模型处理异构的学术格式,团队引入了成套的特殊标记。比如遇到分子用专用SMILES标记,遇到推理步骤插入工作记忆标记,需要给出出处时则用开始与结束引用标记包裹。在官方示例里,输入一段关于Transformer架构的陈述并接上引用标记,模型会顺着生成注意力机制论文的作者和篇名。这个过程是靠模型参数预测引文词元,并不是在后台实时检索权威数据库,也不会自动核验引用文献的真实性与支持关系。 官方模型卡与论文指出了这种设计的边界。训练语料使用公开可访问的科学文本与数据,但高质量语料没能阻止模型在冷门或低引用概念上出现幻觉,即使把模型推到120B规模,引用预测依然对高引用热门论文存在偏向。模型当时的最大上下文窗口为2048个Token,未包含图像输入与化学三维坐标。模型卡警告,在没有添加防护机制前不宜将模型直接投入生产环境,模型权重也采用非商业的CC BY-NC 4.0协议发布。 从代码仓库的实际记录来看,官方在2022年12月15日补充了入门notebook,2023年2月13日添加了返回全文本的参数,次日又修正了数据类型与空格清理,并在文档中保留了模型权重链接与transformers加载示例。论文在讨论局限性时提到,未开放获取的科学文献无法直接纳入预训练语料,模型生成的内容在生产环境依然需要校验,外部检索增强也被团队列为对模型权重记忆的重要补充。

AI 论坛精选