survey-LLM-for-RL

LLM generate reward for RL

LaRe

LaRe

Latent Reward: LLM-Empowered Credit Assignment in Episodic Reinforcement Learning

Paper

通过从LLM中整合和任务相关的先验 来获取 语义上interpretable latent reward, 从而增强reward decomposition, 以获取更好的RL

Preliminary

MPD可以定义为$\mathcal{M}=⟨S,A,\gamma ,p,r⟩$, 其中$S$是state space, $A$是action space, $\gamma$是discount factor(用于reward随时间步衰减), $P(s^{\prime }|s,a)$是environment state transition distribution. 目标是找到policy $\pi :S\mapsto A$满足最大化reward $J(\pi )=\mathbb{E}\left[{\sum }_{t=1}^T{\gamma }^{t}r(s_t,\pi (s_t))|s_0\sim \eta ,s_{t+1}\sim P(\cdots |s_t,\pi (s_t)\right]$

对于episodic RL, expected episodic reward是$J_{ep}(\pi )=\mathbb{E}\left[R(\tau )|s_0\sim \eta ,a_t\sim \pi (\cdot |s_t),\tau =⟨s_0,a_0,\cdots ,s_T⟩\right]$

通常的一个假设是decomposition of the episodic reward: $R(\tau )={\sum }_{t=1}^{T}r(s_t,a_t)$

Latent Reward

Motivation

让reward包含其他implicit factors的表现. 从概念上讲, latent reward的不同dimension表示task performance的不同方向

最终的reward是将latent reward从space $\mathcal{D}$到$\mathbb{R}$的投影. 构建新的episodic RL概率模型:

$$p(R|s_{1:T},a_{1:T})=\int \left[\underset{\text{decoder }f}{\underbrace{p(r_t|z_{r,t})}}\underset{\text{encoder }\varphi }{\underbrace{p(z_{r,t}|s_t,a_t)}}\right]p(R|r_{1:T})dzdr$$

其中$\varphi :S\times A\mapsto \mathcal{D}$是从environment中获取latent reward的函数.

使用LLM能够从冗余的environment information中获取interpretable和multifaceted的task performance metrics, 即latent reward

Framework

$$\begin{array}{rl}\text{Input}& \\ & \text{1. LLM }\mathcal{M}\\ & \text{2. task information }task\\ & \text{3. candidate responses number }n\\ & \text{4. pre-collected random state-action pairs }\bar{s}\\ & \text{5. max episodes }{\mathcal{N}}^{\text{max}}\\ \text{Output}& \\ & \text{1. policy network }{\pi }_{\theta }\\ & \text{2. reward decoder model }{f}_{\psi }\\ \text{Algorithm}& \\ \text{1:}& \text{初始化policy network参数θ, reward decoder参数ψ, replay buffer B}\\ \text{2:}& \text{获取candidate response ξ1,⋯,ξn←M(task,role)}\\ \text{3:}& \text{总结得出improved response ξ←M(task,role,ξ1,⋯,ξn)}\\ \text{4:}& \text{验证latent reward encode functino ϕ: err←verify(ϕ,sˉ);ξ←M(task,role,ξ1:n,err). 相当于是错误反馈}\\ \text{5:}& \text{For episode=1 To Nmax}\\ \text{6:}& \text{使用当前policy采样一个轨迹τ}\\ \text{7:}& \text{B←B∪{r}}\\ \text{8:}& \text{从replay pool B中采样一个batch B={τi}i=1∣B∣}\\ \text{9:}& \text{评估latent reward. 使用Loss: }{\mathcal{L}}_{\text{RD}}^{\varphi }(\psi )={\mathcal{E}}_{r\sim D}\left[\left(R(\tau )-\sum _{t=1}^T{f}_{\psi }(\varphi (s_t,a_t)\right)\right]\\ \text{10:}& \text{使用任意有predicted proxy reward r^ψ,ϕ=fψ(ϕ(s,a)) 的RL算法优化policy}\\ \text{11:}& \text{EndFor}\end{array}$$

1. 使用LLM生成response, 类似CoT的方法
2. 总结生成的回复, 生成总结. 根据总结生成代码, 这个代码是计算latent reward的一个函数. 调用这个函数并传入observation, action即可计算得出eval_factors. eval_factors指的是一个list, 里面存放所有的reward
3. 验证latent reward是否是合理的, 能否运行
4. 训练一个decoder. 这个decoder相当于是一个加权求和的Linear Layer.

Link to original

L2R

L2R

Language to Reward for Robotic Skill Synthesis

Paper

使用LLM定义reward parameter以增强RL

Method

Background and Reward Interface

定义MDP问题: $(S,A,R,P,p_0)$, 其中$S$是state space, $A$是action space, $R:S\times A\mapsto \mathbb{R}$是reward function, $P:S\times A\mapsto S$是动态方程(在经过action之后得到state), $p_0$是initial state distribution.

给定奖励函数$R$, optimal controller能找到最大化reward的动作序列$a_{1:H}=\{a_1,\cdots ,a_H\},J(a_{1:H})={\mathbb{E}}_{r=(s_0,a_0,\cdots ,s_{H-1},a_{H-1},s_H)}{\sum }_{t=0}^{H}R(s_t,a_t)$, 其中$H$是roll-out horizon

假设reward有特殊的形式, 满足MJPC:

$$R(s,a)=-\sum _{i=0}^M{w}_i\cdot n_i(r_i(s,a,{\psi }_i))$$

其中

• $w_i\in \mathbb{R}$是权重
• $n_i(\cdot ):bR\mapsto {\mathbb{R}}_{+}$是二阶可微的范数(norm), 最小值为$0$
• $r_i\in \mathbb{R}$是残差, 当$r_i=0$的时候达到最优
• ${\psi }_i$是第$i$项的参数

使用LLM调整$w_i$和${\psi }_i$, 自动生成针对不同task的reward

Reward Translator

Motion Description

• 使用Motion Descriptor LLM, 将user input解释和拓展成描述期望的robot motion的自然语言描述
  • 可以对比较简单的任务生成reward, 对于复杂任务经常失败
  • 但是可以对复杂任务的motion生成description
• 因此使用template, 让LLM直接生成Motion的自然语言description

Reward Coding

使用LLM生成reward function的API调用

Motion Controller

使用Model Predictive Control(MPC).

每一步MPC规划一个sequence的optimized action $a_{1:H}$, 并将其发送给robot. robot执行之后将state返回给MJPC planner, MJPC生成下一步的plan.

Link to original

RL enhance LLM

MAYE

MAYE

MAYE

Paper

RL 增强 LLM 推理能力

Preparation

Data

关注数学推理问题.

分为两个子类型, text-dominant(使用mm_math5k dataset)和vision-dominant(使用geometry3k dataset):

Algorithm

Loss为:

$${\mathcal{L}}^{\text{CLIP}}(\theta )={\mathbb{E}}_{[q\sim P(q),o_q\sim {\pi }_{{\theta }_{\text{old}}}(o|q)]}\frac{1}{|o_q|}\sum _{t=1}^{|o_q|}\left\{\min \left[{\text{prob}}_t{\hat{A}}_t,\text{clip}({\text{prob}}_t,1-ϵ,1+ϵ)\right]-{\beta }_{\text{loss}}{\mathbb{D}}_{\text{KL}}[{\pi }_{\theta }\Vert {\pi }_{\text{ref}}]\right\}$$ $${\text{prob}}_t=\frac{{\pi }_{\theta }(o_{q,t}|q,o_{q,<t})}{{\pi }_{{\theta }_{\text{old}}}(o_{q,t}|q,o_{q,<t})}$$ $${\hat{A}}_t=\sum _{k=t}^{|o_q|}{\gamma }^{k-t}\left\{\underset{\text{Rule-based reward}}{\underbrace{\mathbf{I}(o_{q,t}=\text{[EOS]})r(q,o_q)}}-\underset{\text{Token-level KL reward}}{\underbrace{{\beta }_{\text{rew}}{\mathbb{D}}_{\text{KL}}[{\pi }_{\theta }(o_{q,t}|q,o_{q,<t})\Vert {\pi }_{\text{ref}}(o_{q,t}|q,o_{q,<t})]}}\right\}$$

其中

• $P(q)$是输入的queries的distribution
• $o_q$表示sequence of response tokens
• $ϵ$通过$\text{clip}$将${\text{prob}}_t$限制在$[1-ϵ,1+ϵ]$之内
• $\hat{A}$表示估计的${\text{token}}_t$的estimated advantage, 表示是否是好token
• $\gamma$是discount factor, 令$\gamma =1$取消discount
• ${\mathbb{D}}_{\text{KL}}$使用k3 formulation, 提供unbiased estimation

令${\beta }_{\text{rew}}=0$以取消对reward的KL散度的约束, 只应用对policy distribution的KL散度惩罚项

Reward Function

作为Rule-based signal指导RL training

• 正确的answer获得+1, 错误的answer获得0
• secondary language reward: 使用English回答问题
  • 防止multi-lingual drift
• 取消format rewards, 不对格式做约束

Model

使用Qwen-2/2.5-VL-Instruct

MAYE Framework

Setup

冻结connector(projector), ViT, 只训练LLM backend(Transformer)

• Hydra管理ocnfiguration
• FSDP2用于分布式训练
• vLLM用于收集多模态

Data Flow

将text data和vision data给tokenize

Response Collection

生成Response. 分布式训练的话会涉及到GPU数据reduce

Trajectory Collection

收集需要的token ids, 拼接query token ids和response token ids, 重新计算attention mask和position encoding

为了防止out of memory, 只保留response的logprobs, 因为RL用不着query的logprobs

Policy Update

基于保存的trajectories进行RL更新policy model. 使用Algorithm中的公式计算Loss

MAYE Scheme

Training Set Metrics

1. Accuracy curves: 反应algorithm和data preparation的正确性和有效性
2. Response length: 输出的长度, 反应模型的output pattern, 包括细节和推理深度的等级

Validation & Test Set Metrics

1. Accuracy curves: 输出随训练episode增加的准确性曲线
   • pass@8: temperature=1.0, top_p=1.0, 评估上限
   • pass@1: temperature=0.6, top_p=1.0, 评估真实性能, 并防止重复或不连贯的输出
   • pass@1: temperature=0.01, top_p=0.001. 评估真实性能, VLM的基准setup
2. Accuracy tabs: 最终模型的准确度表格

Reflection Metrics

1. Words count: “顿悟时刻”(“aha moments”), 反应RL训练的有效性, 通过计算”反思词”(“reflective words”)在generation step中的频率来反映:
   • ["re-check", "re-evaluate", "re-examine", "re-think", "recheck", "reevaluate", "reexamine", "reevaluation", "rethink", "check again", "think again", "try again", "verify", "wait", "yet"]
2. Ratio curves: 随训练进行, 展示reflective words的频率:
   • reflection ratio: $\frac{{\mathcal{N}}_{ref}}{\mathcal{N}}$
   • reflection ratio in correct answers: $\frac{{\mathcal{N}}_{ref+}}{{\mathcal{N}}_{+}}$
   • reflection ratio in incorrect answers: $\frac{{\mathcal{N}}_{ref}-{\mathcal{N}}_{ref+}}{\mathcal{N}-{\mathcal{N}}_{+}}$
   • correct ratio in reflection texts: $\frac{{\mathcal{N}}_{ref+}}{{\mathcal{N}}_{ref}}$
   • correct ratio in no reflection texts: $\frac{{\mathcal{N}}_{+}-{\mathcal{N}}_{ref+}}{\mathcal{N}-{\mathcal{N}}_{ref}}$

Link to original

ToRL

ToRL

ToRL

Paper

一个from-scratch的RL训练, 允许模型通过广泛的探索找到最佳的工具利用策略

Dataset

数学奥赛级别的问题

• NuminaMATH
• MATH
• DeepScaleR

Tool Integrated Reasoning(TIR)

使用TIR取代CoT, 增加精准计算能力

使用tool integrated reasoning可以调用外部程序. TIR的一个trajectory为:

$$s_k=(r_1,c_1,o_1,\cdots ,r_k,c_k,o_k)$$

其中, $r_i$表示自然语言推理, $c_i$表示生成的代码, $o_i$表示外部$c_i$得到的结果. 生成过程表示为:

1. $(r_k,c_k)=\text{LLM}(q\oplus s_{k-1})$
2. $o_k=I(c_k)$
3. $s_k=s_{k-1}\oplus r_k\oplus c_k\oplus o_k$

其中query $q$, $I$是外部的代码解释器

ToRL

将TIR直接与LLM使用RL结合, without prior fine-tuning.

TIR Rollout Framework

使用Qwen2.5-Math作为Transformer LLM backend

当识别到${}^{\prime \prime \prime }\text{output}$的时候, 会停止输出, 并调用外部程序执行代码, 将结果$\text{Observation}$返回给LLM, 并拼接成${}^{\prime \prime \prime }\text{output}\backslash n\text{Observation}\backslash n^{\prime \prime \prime }$, 然后LLM继续生成自然语言

Design Choices of ToRL

Tool Call Frequency Control

防止使用CPU进行执行代码导致GPU空闲时间过长, 设置超参数$C$, 当调用代码次数超过$C$时, 强制使用纯文本推理

Execution Environment Selection

使用Sandbox Fusion, 提供隔离的环境

Error Message Processing

让Sandbox Fusion生成不含有文件的报错信息并只提取最后一行(为了减少上下文长度)

Sandbox Output Masking

计算loss的时候, 屏蔽Sandbox输出(即, $\text{Obversation}$)

Reward Design

成功回答问题, reward$+1$, 否则, reward$-1$

引入基于代码的惩罚: 如果代码不可执行, 则reward$-0.5$

Link to original

Others RL with DL

使用Transformer模仿RL

Think Before You Act

将语言推理和环境中执行action结合起来

Problem Formulation

考虑一个部分马尔可夫决策过程(Partially observable Markov decision process, POMDP), $o_t$只包含部分可观测信息.

历史信息$h_t=(o_0,a_0,\cdots ,o_{t-1},a_{t-1})$, 文本instruction $m$, 目标是找到最优的策略$\pi (a_t|m,h_t,o_t)$

training的时候在预收集的dataset上进行offline的训练. 训练时输入trajectory $(m,(o_t,a_t,c_t{)}_{0\le t\le T})$, 其中m是文本instruction, $c_t$是$t$时刻的”字幕”, 但是$c_t$只在training stage时出现, inference/evaluation stage并没有$c_t$

Method

Unifying actions and language reasoning

在记录的过程中, 将action和字幕进行统一:

Auto-regressive transformer for generating both language and actions

直接送给transformer进行自回归推理

Experiment

Training details

使用GPT-2, 和对应的tokenizer

将RL蒸馏到DL的神经网络中

In-Context Reinforcement Learning with Algorithm Distillation

将offline RL视为sequential prediction problem, 将RL policy蒸馏到causal sequence model中, 使用DL对RL建模