[200] Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling

paper , github

TL;DR

• I read this because.. : 요즘 대세인 answer만으로 reward를 주는 접근론
• task : RL reasoning
• problem : scale RL
• idea : 1) cot sft 데이터를 잘 만들자 2) exploration 을 많이 시키자(temperature when exploration, entropy bonus) 3) 정답 + undesirable 행동에 대해서만 reward를 주자
• input/output : Q -> A
• architecture : Qwen2.5-32B
• objective : 1 or 0 reward + RLOO + entropy bonus
• baseline : QwQ-32B-preview
• data : MATH-train, NuminaMATH
• evaluation : MATH500, AIME2024, Omni-math-500
• result : QwQ-32B-preview 보다 높은 성능
• contribution : 다양한 ablation과 방법론도 #220 과 대동소이
• etc. : 지금 다시 보니 on-policy도 많이 강조한듯?

Details

overall pipeline

저기서 정답은 ground truth와 비교하여 맞으면 1 아니면 0

• Initializing Policy with CoT for Reasoning 다양한 llm을 사용하여 prompt x에 대한 다양한 attempt를 모음.

• scaling response sampling with high temperature temperature를 1 이상으로 주어 다양한 response가 나오도록 함 RLOO를 사용하여 reward scaling

• auxiliary entropy bonus

• on-policy kl divergence

kl divergence term에 대해서도 scaling을 적용함

reference model에 ema 적용

• Penalizing Unexpected Patterns in RL Training

repeated / overlong answer에 대해 reward에 -1를 더해줌. 이건 rule based (n-gram 반복등)으로 탐지했음

details

• data construction
  • MATH, NuminaMATH를 SFT / RL 용으로 나눔
  • sft 데이터에 대해서 추가적인 필터링 적용 – 너무 쉽거나 noisy 데이터 제거.
  • 16개의 response를 생성한 뒤 정답률 0.3 이하인 애들만 남김

result

• overall results

• ablation on sampling more

sampling K를 늘리면 답변길이도 늘어나고 정확도도 늘어남. (a), (b) 또한 같은 reward에 대비하여 KL divergence가 작고 늘어나는 속도도 느림 (c) – 이게 왜 좋은거지?

최종적인 성능

• exploration

1.2가 최적. 너무 크면 안좋았음.

• penalty reward