ICLR 8分论文：模型自身也可以标注偏好数据

青稞2024-12-112024-12-11

作者:yearn
原文：https://www.zhihu.com/question/588325646/answer/3422090041
>>加入青稞AI技术交流群，与青年AI研究员/开发者交流最新AI技术

1 2	Paper:Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment Abs:https://openreview.net/forum?id=BPgK5XW1Nb

大语言模型（LLMs）的成功在很大程度上依赖于与人类偏好的对齐。然而，这种对齐通常需要大规模的人工标注偏好数据，成本非常高昂。现有方法如通过外部奖励模型或利用 LLM 的上下文学习能力来模拟偏好标注，但这些方法存在以下问题：

需要大规模的人工标注数据，成本高。
LLM-as-judge 方法依赖模型规模大且预先对齐性良好，应用范围有限。
使用外部奖励模型时可能因分布不匹配导致无效，且容易产生标签噪声。

因此，本文提出了一种新的框架，称为 Spread Preference Annotation (SPA)，通过直接偏好判断（direct preference judgment）在仅依赖少量人工标注数据的情况下提升 LLM 的对齐性能。

主要贡献

1.直接偏好标签生成：通过 LLM 的 logits 显式提取模型的固有偏好，与依赖外部奖励模型或隐式上下文学习的方法相比更高效。
2.基于置信度的偏好标签优化：引入一种噪声感知算法，降低由生成偏好数据引入的低质量标签的风险。
3.线性外推预测：在当前模型和参考模型之间进行线性外推，模拟更强对齐模型的预测能力，从而更好地识别噪声。

实验表明，SPA 框架在小规模偏好数据的基础上，显著提升了 LLM 的对齐性能，且无需额外的人工标注数据即可实现强大的性能提升。

技术细节

预备知识

1.目标：给定一个输入序列 $x$（如提示词），大语言模型（LLM) $\pi_\theta$生成输出序列$y$（如回复），即 $y \sim \pi_\theta(\cdot|x)$。目标是通过偏好学习使 $\pi_\theta$ 的回复与人类偏好对齐。

2.偏好数据集：假设有一个偏好数据集 $D = \{(x, y_l, y_w)\}$，包含输入提示$ x$、偏好回复 $y_w$ 和不偏好回复$y_l$，这些偏好标签通常由人类专家标注。

3.奖励建模与强化学习微调（RLHF）： - 偏好建模通过 Bradley-Terry 模型定义：

$p(y_w \succ y_l | x) = \frac{\exp(r(x, y_w))}{\exp(r(x, y_w)) + \exp(r(x, y_l))} \\$

奖励函数 $r_\phi(x, y)$ 参数化后，通过最大似然目标优化： $L_R(r_) = -_{(x, y_w, y_l) D} [(r_(x, y_w) - r_(x, y_l))] \ $其中 $\sigma$ 是 sigmoid 函数。
使用奖励函数$ r_$微调 $\pi_\theta$，同时加入 KL 正则化避免过拟合：

直接偏好优化（DPO）：

通过将奖励函数和强化学习微调整合为单一的优化目标，DPO 提供了更简单高效的对齐方法。
偏好概率定义为：

$p_\theta(y_w \succ y_l | x) = \sigma\left(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right) \\$

DPO 的优化目标为：

$L_{DPO}(\pi_\theta) = \mathbb{E}_{(x, y_w, y_l) \sim D}[-\log p_\theta(y_w \succ y_l | x)] \\$

SPA 方法框架

SPA（Spread Preference Annotation）框架通过直接偏好判断和自生成数据扩展的方式，迭代提升 LLM 的对齐性能，同时降低大规模偏好数据标注的成本。

总览

1.初始阶段：

给定一个小规模的种子偏好数据集$ D_0 $和初始模型$ _{init}$（通常为经过监督微调的模型）。
使用 DPO 方法在 $D_0$ 上微调 $\pi_{init}$，得到初步对齐的模型 $\pi_0$。

两步迭代流程： - 数据扩展：利用模型生成新的偏好数据。 - 模型微调：在生成的数据上进行自我优化，同时引入噪声处理机制。

数据扩展：使用自生成偏好数据对齐 LLM

1.新提示生成： - 在第$ i $次迭代中，假设有一组新的提示集合 $X_i = \{x\}$，这些提示与之前的提示集合不重叠。 - 对于每个提示 $x \in X_i$，从模型$ {i-1} $中采样两个回复$ y_1$,$ y_2$，即$ y_1, y_2 {i-1}(|x)$。

偏好判断： - 使用模型 $\pi_{i-1}$ 和初始模型$ _{init} $的奖励函数计算偏好概率： - 根据偏好概率直接判断偏好标签：$ (y_w, y_l) = \[\begin{cases} (y_1, y_2), & \text{若 } p_{i-1}(y_1 \succ y_2 | x) > 0.5 \\ (y_2, y_1), & \text{否则} \end{cases}\]

\$ - 构造新的偏好数据集 $D_i = \{(x, y_l, y_w) | x \in X_i\}$。

自我优化：生成偏好数据的噪声处理与学习

1.噪声检测与标签优化： - 通过模型 $\pi_\theta$ 的偏好概率检测不确定样本（噪声标签）：

$z_= \[\begin{cases} 1, & \text{若 } p_\theta(y_w \succ y_l | x) < \tau \\ 0, & \text{否则} \end{cases}\]

\ $

其中 $\tau$ 是噪声样本的置信度阈值。 - 对噪声样本进行标签平滑处理，优化目标为：

$L_{rf}() = {(x, y_w, y_l) D_i}[-(1 - z_) p_(y_w y_l | x) + z_p_(y_l y_w | x)] \ $

其中 $\alpha$ 是平滑系数。

解耦噪声检测：在这部分内容中，作者介绍了一种解耦的噪声偏好检测技术，以提高偏好标签精炼框架的有效性。尽管通过精炼的偏好标签进行学习可以降低学习到噪声偏好的风险，但由于噪声检测的模型来自于标签生成模型，其效果可能会受到限制。为此，作者引入了解耦噪声检测技术来改善大型语言模型的对齐。

具体而言，作者通过模拟一个更强对齐的语言模型 $_e^$的偏好预测来识别偏好噪声。公式如下：

当 $p_e^\theta(y_w \succ y_l|x) < \tau 时，z_e^\theta = 1$，否则$ z_e^= 0$。

通过这种解耦的识别方式，模型$ ^$使用精炼后的偏好标签进行训练，即用 $z_e^\theta$ 替代公式中的 $z^\theta$。为了获得$ _e^$的预测，作者通过线性组合$ ^$ 和参考模型 $\pi_{\text{ref}}$ 的logit来近似其logit $h_e^\theta$，公式如下：

$h_e^\theta(x, y_{1:t-1}) = (1 + \lambda) \cdot h^\theta(x, y_{1:t-1}) - \lambda \cdot h_{\text{ref}}(x, y_{1:t-1})，其中 \lambda > 0$ 是一个超参数，$y_{1:t-1} $表示第 $t$ 个输出之前的输出序列。

这种通过近似 $p_e^(y_w y_l|x) $进行的解耦噪声识别不需要额外的计算，**相当于对两个模型的logits进行加权和作为计算reward的logits**，因为所需的测量$ h^$ 和 $h_{} $在计算原始目标时已经获得。因此，SPA 只需在原始代码库上添加几行代码即可。完整的SPA流程在算法部分中给出。

1.最终优化：

使用解耦后的噪声标签 $z_{_^e} $替换 $z_\theta$，并优化模型 $\pi_\theta$。

算法流程

1.使用种子数据 $D_0$ 和初始模型$ _{init} $通过 DPO 获得初始模型 $\pi_0$。

2.迭代进行以下步骤： - 从新提示集合 $X_i $中生成偏好数据 $D_i$。 - 在$ D_i $上进行微调，同时引入噪声检测和标签优化。

返回最终对齐模型$ _T$。

SPA 方法通过以上流程高效扩展了偏好数据，同时显著降低了噪声干扰，提升了 LLM 的对齐性能。

实验部分

在这一部分，作者通过一系列实验验证了SPA（Self-Preference Alignment）方法的有效性和通用性。以下是一些有趣的实验发现：

SPA在少量人工标注数据下的表现：在AlpacaEval 2.0基准测试中，经过3次数据扩展和微调后，SPA训练的模型在对抗GPT-4时达到了21.13%的胜率。这比仅使用3.3%标注数据进行标准DPO训练时的7.68%胜率有显著提升。同时，长度控制胜率也从9.03%提高到了15.39%。
SPA与其他偏好标注方法的对比：在Table 2中，SPA在对抗GPT-4时的胜率为21.13%，明显优于使用外部奖励模型PairRM的9.46%。在长度控制胜率方面，SPA也以15.39%超过了PairRM的11.84%。这表明，SPA在偏好判断时更能适应数据分布的变化，因为它在每次迭代中都会更新其内在奖励模型，从而减少了分布偏移的影响。

SPA的通用性：实验表明，SPA在不同的种子数据选择和LLM类型上具有良好的通用性。在不同的迭代中，SPA一直保持了较高的性能，尤其是在第二次迭代时，SPA与其他方法的性能差距显著扩大，进一步支持了其有效性。
各组件的影响：通过对比不同偏好判断方法的实验，发现直接使用训练的LLM进行偏好判断的方法在多次迭代后效果更佳。这是因为随着迭代次数增加，生成数据的分布与初始偏好数据的分布差异增大，而固定的外部奖励模型在这种情况下效果下降。

这些实验结果充分展示了SPA方法在提升模型性能和适应性方面的优势，尤其是在数据有限的情况下。