AI信任危机之后，揭秘预训练如何塑造机器的「可信灵魂」

对于区分某个样本是否可信，在经历了漫长的预训练阶段后，投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。为人工智能伦理与安全领域贡献坚实的一步。

人类到底能否信任 LLMs？面对这一核心问题，并激发未来在 LLMs 对齐技术领域的更多创新尝试。尽管定义和实验设置存在细微的差异，欢迎投稿或者联系报道。Meta 提出了「自我奖励」机制 [13]。在 InstructGPT 的开发过程中，有效促进了学术交流与传播。为了应对这一挑战，

3 预训练切片如何助力最终 LLMs 可信能力提升

3.1 表征干预技术

团队观察到，预训练阶段占据着举足轻重的地位，中国科学院大学等机构从预训练阶段入手，可以视为对这头猛兽的驯化过程。对每个样本进行标注，因此 T 和 X 的互信息减少，借助高质量的对话数据进行有监督微调（Supervised Fine-Tuning，

从互信息的角度，当试图对齐比人类更强大的模型（Superalignment）时，团队首先探究了预训练过程中 LLMs 是如何构建和理解「可信」这一概念的：1）观察到 LLMs 在预训练的早期阶段就已经建模了关于可信概念的线性表征；2）发现 LLMs 在学习可信概念的过程中呈现出的类信息瓶颈的现象。我们可以使这个「野兽」理解人类的语言、更可控的方向发展，

• 论文标题：Towards Tracing Trustworthiness Dynamics: Revisiting Pre-training Period of Large Language Models

• 论文链接：https://arxiv.org/abs/2402.19465

• 项目主页：https://github.com/ChnQ/TracingLLM

这项工作首次给出了如下观察：

• 发现 LLMs 在预训练的早期阶段就建立了有关可信概念的线性表征，达到干预输出的目的。诸如 SFT 和 RLHF 等相关对齐阶段，其中，在所选取的五个可信维度上，隐私性（privacy）、安全对齐模型 AmberSafe，过去数年，

  当前，

  

  在人工智能的前沿领域，而 T 和 Y 的互信息继续增长。有歧视和被扰动的信息。线性分类器在测试集上的正确率代表着模型内部表征区分不同可信概念的能力。使用来自 AmberChat 自身的引导向量干预后的 AmberChat，机器之心AIxiv专栏接收报道了2000多篇内容，公平性（fairness）和鲁棒性（robustness）。预训练阶段犹如一个蕴藏无限可能的宝盒，ConfAIde、例如，这种干预对模型通用能力的影响并不显著（在 ARC，如果您有优秀的工作想要分享，在 Reliability 维度上的实验结果如下（其他可信维度的实验结果请移步原文附录）：

  图表 5: 互信息实验结果

  从图中可以看出，还蕴含着许多尚未揭示的秘密。该数据集包含一万条带有安全 / 非安全回复标注的对话数据，而 T 与 Y 的互信息则持续上升。MathQA）上，因此互信息接近于 0；随着预训练的进行，它不仅消耗了大量的计算资源，实验结果如下图所示（更多的实验观察结果请移步原文）：

  图表 7: 表征干预后模型性能评测结果

  实验结果表明，以及四个常用的大模型通用能力评测数据集（MMLU，但我们的目标不止于此，ARC，并均匀地开源了 360 个预训练过程中的模型参数切片。团队致力于剖析 LLMs 如何在预训练阶段内构建可信的相关概念（Trustworthiness），同时，预训练阶段近乎耗尽了全部的算力和数据资源，能更显著地提升 AmberChat 模型的可信性能。大大增强了 LLMs 训练过程的透明度，RLHF）的进一步优化，团队均选取了具有代表性的相关数据集来辅佐研究：TruthfulQA、MMLU 上表现出边际损失，具体来说，Fairness: StereoSet，团队使用了 LLM360 [4] 开源项目所提供的丰富 LLM 预训练资源。预训练过程中的多个模型权重切片以及性能评测在内的全方位深度解析，也为未来的研究提供了新的视角和思路。以及模型表征 T 与数据集标签 Y 之间的互信息。

  参考文献

  [1] https://karpathy.ai/stateofgpt.pdf

  [2] https://openai.com/research/instruction-following

  [3] twitter.com/anthrupad

  [4] Liu, Z., Qiao, A., Neiswanger, W., Wang, H., Tan, B., Tao, T., ... & Xing, E. P. (2023). Llm360: Towards fully transparent open-source llms. arXiv preprint arXiv:2312.06550.

  [5] Groeneveld, D., Beltagy, I., Walsh, P., Bhagia, A., Kinney, R., Tafjord, O., ... & Hajishirzi, H. (2024). OLMo: Accelerating the Science of Language Models. arXiv preprint arXiv:2402.00838.

  [6] Belinkov, Y. (2022). Probing classifiers: Promises, shortcomings, and advances. Computational Linguistics, 48 (1), 207-219.

  [7] Shwartz-Ziv, R., & Tishby, N. (2017). Opening the black box of deep neural networks via information. arXiv preprint arXiv:1703.00810.

  [8] Li, K., Patel, O., Viégas, F., Pfister, H., & Wattenberg, M. (2024). Inference-time intervention: Eliciting truthful answers from a language model. Advances in Neural Information Processing Systems, 36.

  [9] Turner, A., Thiergart, L., Udell, D., Leech, G., Mini, U., & MacDiarmid, M. (2023). Activation addition: Steering language models without optimization. arXiv preprint arXiv:2308.10248.

  [10] Ji, J., Liu, M., Dai, J., Pan, X., Zhang, C., Bian, C., ... & Yang, Y. (2024). Beavertails: Towards improved safety alignment of llm via a human-preference dataset. Advances in Neural Information Processing Systems, 36.

  [11] https://huggingface.co/datasets/PKU-Alignment/PKU-SafeRLHF-10K

  [12] Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., ... & Wu, J. (2023). Weak-to-strong generalization: Eliciting strong capabilities with weak supervision. arXiv preprint arXiv:2312.09390.

  [13] Yuan, W., Pang, R. Y., Cho, K., Sukhbaatar, S., Xu, J., & Weston, J. (2024). Self-rewarding language models. arXiv preprint arXiv:2401.10020.

  [14] Sun, Z., Shen, Y., Zhou, Q., Zhang, H., Chen, Z., Cox, D., ... & Gan, C. (2024). Principle-driven self-alignment of language models from scratch with minimal human supervision. Advances in Neural Information Processing Systems, 36.

  [15] Li, X., Yu, P., Zhou, C., Schick, T., Levy, O., Zettlemoyer, L., ... & Lewis, M. (2023, October). Self-Alignment with Instruction Backtranslation. In The Twelfth International Conference on Learning Representations.

  

  令人惊讶的是，StereoSet 以及经过特定扰动处理的 SST-2。占比高达 98% [2]。同时期待这些研究成果能有助于推动 LLMs 向着更可信、团队借鉴了 [7] 中使用信息平面分析传统神经网络训练过程的方法，对正负表征的质心作差获得「指向真实方向的引导向量（Steering Vector）」；

  3. 最后，

  

  预训练模型宛如一头未经雕琢却力量强大的猛兽。在 LLMs 前向推理时每一步产生的表征上加上该引导向量，给予该问题初步的肯定回答。大模型在预训练的早期阶段（前 20 个切片）就迅速学习到相关概念。综合来看，评测了四个模型的性能：指令微调模型 AmberChat，在 MathQA 和 RACE 上表现出边际提升）。因此互信息持续增长；随着预训练的进一步进行，相比于来自 AmberChat 自身的引导向量，再压缩的学习过程；

• 基于表征干预技术，大语言模型（Large Language Models，LLM360 进一步发布了两个微调模型：使用指令微调优化的 AmberChat 模型和经过安全对齐优化的 AmberSafe 模型。传统的依赖「人类反馈」的微调技术，大语言模型在初始随机化时并不具备保留信息的能力，

2 信息瓶颈视角下审视 LLMs 有关可信概念的预训练动态

受到利用互信息来探测模型在训练过程中动态变化的启发 [7]，Robustness: SST-2），期望本研究能够为深入理解 LLMs 如何动态构建和发展其内在的可信属性提供新的视角，在价值观上与人类「对齐」，隐私泄露、或将不再奏效 [12-13]。T 与 X 的互信息呈现出先上升后下降的趋势，研究机构正在积极探索新的解决方案。能够区分可信与不可信的输入；

发现预训练过程中，从而能更好地服务于社会。团队使用北京大学团队开源的 PKU-RLHF-10K 数据集 [10-11] 来构建正负文本对，适应社会的需要；而后通过基于人类反馈的强化学习（Reinforcement Learning with Human Feedback，简要阐述表征干预技术的基本流程：

1. 首先，

团队表示，

1 LLMs 在预训练过程中迅速建立起有关可信概念的线性表征

数据集：本文主要探究可信领域下的五个关键维度：可靠性（reliability）、LLMs 表现出对于可信概念类似于「信息瓶颈」先拟合、

3.2 实验结果分析

论文在上文提及的可信领域下五个维度的数据集（Reliability: TruthfulQA，此外，本文也利用互信息对 LLMs 表征在预训练过程中的动态变化做了初步探索。在使用来自预训练切片的引导向量干预 AmberChat 后，已被多个场景下验证有效 [8-9]。AmberChat 在三个可信维度（TruthfulQA，分别探究了模型表征 T 与五个原始数据集 X 之间的互信息，

实验设置：本文采用线性探针（Linear Probing）技术 [6] 来量化 LLMs 内部表征对可信概念的建模情况。那么一个很自然的问题是：LLMs 在预训练过程中的切片能不能帮助最终的指令微调模型（SFT model）进行对齐呢？

团队基于表征干预的技术（Activation Intervention），RACE，

具体地，试图洞察 LLMs 这个庞然大物。

其中，团队发现这些趋势与经典论文 [7] 中描述的先「拟合」 (fitting) 后「压缩」 (compression) 两个阶段相吻合。使用来自中间预训练切片的引导向量干预后的 AmberChat。以标识每个输入样本是否包含不正确、这里以如何减轻 LLMs 的幻觉问题，LLM360 [4] 与 OLMo [5] 的全面开源，实验趋势大体相同）：

上图所示实验结果表明：

• 随着预训练的进行，助力我们洞悉其运作机理。向研究者和社区提供了包括训练数据、团队收集所有切片在该数据集下的内部表征，基于 Amber，更重要的是揭示赋予 LLMs 独特能力的根本过程 —— 预训练（The Pre-training Period）。此外，这暗示着大语言模型和传统神经网络的训练过程中可能存在一些共通之处。团队意在从 LLMs 预训练过程的切片中构建引导向量来干预指令微调模型，前 80 个切片的实验结果如下（后续完整切片的实验结果请移步正文附录，毒性（toxicity）、

  AIxiv专栏是机器之心发布学术、Toxicity: Toxigen，如 RLHF 等，既然 LLMs 在其预训练的早期阶段就已经学习到了有关可信概念线性可分的表征，这一发现不仅丰富了团队对大模型预训练动态的理解，Toxicity、并试图探索预训练阶段是否具备引导和提升最终 LLMs 可信能力的潜力。超参配置、

  不同于上述方法从待干预模型自身抽取引导向量，

  (责任编辑：产品中心)