Idea: RLHF 中奖励模型泛化能力分析

概述

研究奖励模型在分布外数据上的泛化能力,探索如何构建更鲁棒的偏好模型。

详细描述

当前 RLHF 依赖奖励模型进行人类偏好建模,但对奖励模型在训练分布外的表现了解有限。本项目旨在:

• 分析奖励模型在不同领域数据上的泛化能力
• 研究奖励模型规模与泛化性的关系
• 探索提升奖励模型鲁棒性的方法

关联论文

• 2203.02155 (Deep Reinforcement Learning from Human Preferences)
• 2209.01158 (Training a Helpful and Harmless Assistant with RLHF)

标签

alignment, reward-model, generalization, rlhf

关联实验

• preference-model-generalization

状态

active