DeepSeek-R1 리뷰

1. Introduction

1.1 연구 배경

• Large Language Models (LLMs)은 최근 빠르게 발전하며 AGI로의 향하고 있음.
• Post-training은 추론 작업의 정확도 향상, 사회적 가치 정렬, 사용자 선호도 적응을 위한 핵심 기술로 자리잡음.
• OpenAI의 o1 시리즈 모델은 Chain-of-Thought (CoT) 프로세스를 통해 추론 작업에서 큰 개선을 이룸.
• 그러나 test-time scaling에 대한 효과적인 해결책은 여전히 미해결 상태임.

1.2 기존 접근법과 한계

• Process-based Reward Models, Reinforcement Learning (RL), Monte Carlo Tree Search (MCTS), Beam Search 등 다양한 접근법이 제안되었으나, OpenAI의 o1 시리즈와 동등한 general reasoning 성능을 달성하지 못함.

1.3 연구 목표

• 지도 학습(Supervised Fine-Tuning) 없이 pure RL을 통해 모델이 자율적으로 reasoning 능력을 개발.
• DeepSeek-V3-Base를 base model로 사용하고, Group Relative Policy Optimization (GRPO) 알고리즘을 통해 성능을 개선하고자 함.

1.4 연구 방법

• DeepSeek-R1-Zero: Supervised Fine-Tuning (SFT) 없이 large-scale RL만으로 학습하여 뛰어난 reasoning 성능을 보임.

• DeepSeek-R1: cold-start data와 multi-stage training을 통해 readability 및 language mixing 문제 해결.

  • cold-start data를 활용해 base model을 fine-tuning한 후, reasoning-oriented RL 수행.
  • rejection sampling으로 새로운 SFT 데이터를 생성하여 모델을 재훈련하고, 다양한 시나리오에 대응하는 추가 RL 단계를 적용함.

1.5 주요 결과

• DeepSeek-R1-Zero는 AIME 2024에서 pass@1 점수가 15.6%에서 71.0%로 향상됨.
• Majority Voting을 통해 점수가 86.7%로 증가**, OpenAI o1-0912 모델에 필적**하는 성능을 달성함.
• DeepSeek-R1은 OpenAI o1-1217과 동등한 성능을 보이며, 더 나은 readability와 language consistency를 유지.

1.6 소형 모델로의 지식 증류 (Distillation)

• DeepSeek-R1에서 Qwen 및 Llama 기반 소형 dense model (1.5B ~ 70B)로 distillation을 수행함.
• distilled 14B 모델은 QwQ-32B-Preview를 능가하며, 32B와 70B 모델은 reasoning benchmarks에서 새로운 기록을 세움.

1.7 논문 구성

• Chapter 2: DeepSeek-R1-Zero와 DeepSeek-R1의 전체 아키텍처 및 주요 설계 원리 설명.
• Chapter 3: GRPO 프레임워크를 활용한 대규모 Reinforcement Learning 파이프라인과 훈련 단계 설명.
• Chapter 4: Cold-start 데이터 및 Supervised Fine-Tuning(SFT) 단계에 대한 설명, 데이터 구성 및 생성 과정.
• Chapter 5: Distillation 기법을 통한 소형 Dense 모델 개발 과정과 관련 성능 평가.
• Chapter 6: DeepSeek-R1의 주요 평가 결과와 다양한 벤치마크에서의 성능 비교.
• Chapter 7: 연구의 결론, 한계점 및 향후 연구 방향에 대한 논의.

---

2. Approach

2.1 개요

• 기존 연구에서는 지도 학습(supervised learning)을 통해 대규모 데이터로 모델의 성능을 향상시켜 왔음.

• 본 연구에서는 지도 미세 조정(Supervised Fine-Tuning, SFT) 없이도 대규모 강화학습(Reinforcement Learning, RL)을 통해 추론 능력이 크게 향상될 수 있음을 입증함.

• 또한, 소량의 cold-start 데이터를 활용할 경우 성능이 추가적으로 개선될 수 있음.

• 연구 목표:

  1. DeepSeek-R1-Zero: SFT 데이터 없이 base model에 직접 RL을 적용하여 추론 능력을 강화
  2. DeepSeek-R1: 수천 개의 Chain-of-Thought(CoT) 예시로 미세 조정한 체크포인트에서 시작하는 RL 적용
  3. 소형 모델로의 증류(Distillation): DeepSeek-R1의 추론 능력을 소형 밀집 모델에 전이

2.2 DeepSeek-R1-Zero: Base Model에서의 Reinforcement Learning

• 기존 강화학습 기반 연구들은 대규모 지도 데이터를 필요로 했으나, 이는 수집과 가공에 많은 비용과 시간이 소요됨.
• DeepSeek-R1-Zero에서는 지도 데이터 없이 순수한 강화학습을 통해 모델이 자율적으로 추론 능력을 개발하는 가능성을 탐구함.
• 순수 RL 과정을 통해 모델이 self-evolution을 통해 고급 추론 패턴을 학습하도록 설계됨.

2.2.1 강화학습 알고리즘 (Reinforcement Learning Algorithm)

• Group Relative Policy Optimization (GRPO):

2.2.2 보상 모델링 (Reward Modeling)

• 보상은 RL 최적화의 방향성을 결정하는 핵심 신호임.

• Rule-based 보상 시스템을 적용하여 정확도와 형식을 평가함.

  1. Accuracy rewards:

     • 모델 응답이 정확한지 검증.

       • 예: 수학 문제에서는 박스에 답변을 제공하여 정확성을 평가.

     • LeetCode 문제의 경우, 컴파일러를 사용하여 미리 정의된 테스트 케이스로 응답 평가.

  2. Format rewards

     • 모델이 사고 과정을 ''와 '' 태그로 감싸도록 강제함.

• 신경망 기반 보상 모델은 보상 해킹(reward hacking) 위험과 리소스 비용 문제로 인해 적용하지 않음.

2.2.3 훈련 템플릿 (Training Template)

• 모델이 지정된 지침을 따르도록 단순한 템플릿을 설계함.
• 템플릿의 구조: 모델이 먼저 추론 과정을 생성하고, 이후 최종 답변을 제공함.
• 특정 사고 방식이나 문제 해결 전략을 강제하지 않고 모델의 자연스러운 진행 과정을 관찰함.

2.2.4 Performance, Self-evolution Process and Aha Moment

1) Performance of DeepSeek-R1-Zero

• AIME 2024 벤치마크에서 DeepSeek-R1-Zero의 RL 훈련 중 성능 향상을 나타냄.

  • 초기 pass@1 점수는 **15.6%**에 불과했으나, 지속적인 강화학습으로 **71.0%**에 도달함.
  • 이 점수는 OpenAI o1-0912 모델의 성능과 유사함.
  • 성능 향상은 RL 알고리즘이 시간이 지남에 따라 모델을 효과적으로 최적화할 수 있음을 입증함.

• Majority voting 효과:

  • 모델이 여러 번 응답을 생성한 후 가장 많이 등장한 응답을 최종 답으로 선택하는 majority voting 기법을 적용했을 때, 성능이 **86.7%**로 향상됨.
  • 이 결과는 OpenAI o1-0912 모델의 성능을 초과하며, 강화학습을 통한 모델의 강력한 추론 능력을 강조함.

• RL 학습만으로도 높은 추론 성능을 달성할 수 있으며, 지도 데이터 없이도 정교한 문제 해결 능력이 자율적으로 발전함.

• DeepSeek-R1-Zero는 학습 과정에서 보상과 데이터 패턴에 맞춰 성능을 지속적으로 개선해 나감.

2) Self-Evolution Process

• 강화학습을 통해 모델이 점차적으로 복잡한 추론 작업을 해결하는 능력을 개발함.
• 훈련 과정에서 응답 길이와 사고 과정이 점진적으로 개선됨.
• 테스트 시점에서 reflection과 같은 고급 추론 행동들이 자발적으로 나타남.

3) Aha Moment

• 모델이 학습 중 특정 단계에서 초기 접근을 재평가하고 더 많은 사고 시간을 할당하는 현상이 발생함.
• 이 현상은 강화학습이 모델이 자율적으로 고급 문제 해결 전략을 개발하게 하는 힘을 보여줌.

2.3 DeepSeek-R1: Reinforcement Learning with Cold Start

• DeepSeek-R1-Zero의 결과에 기반하여 다음 문제들을 해결하고자 함.

  1. 소량의 high-quality cold-start 데이터를 추가하면 성능 향상이나 수렴 속도 개선이 가능한가?
  2. CoT를 제공하면서도 충분한 일반 능력을 갖춘 사용자 친화적 모델을 만들 수 있는가?

• Pipeline 구성:

  1. Cold Start: 소량의 long CoT 데이터 수집 및 fine-tuning
  2. Reasoning-oriented RL: 추론 중심 작업에서 강화학습 수행
  3. Rejection Sampling and SFT: 이전까지 학습된 RL 모델에서 샘플링한 데이터로 지도 학습
  4. Reinforcement Learning for all Scenarios : 다양한 작업과 사용자 선호에 맞춘 2차 RL 수행

2.3.1 Cold Start

• 문제점:

  • DeepSeek-R1-Zero는 지도 데이터 없이 RL을 바로 적용했기 때문에 초기 학습 단계에서 불안정성이 나타남.
  • 초기 단계에서 모델 응답이 비일관적이거나 가독성이 떨어지는 문제가 발생함.

• 해결책:

  • 우리는 모델이 더 안정적이고 빠르게 학습을 시작할 수 있도록 소량의 long CoT 데이터를 수집하여 fine-tuning을 수행함.

  • 데이터 수집 방법:

    1. Few-shot prompting: 장문의 CoT 예시를 제공하여 모델이 자세한 응답을 생성하도록 유도
    2. DeepSeek-R1-Zero의 output 활용: 읽기 쉬운 형식으로 후처리(post-processing)하여 수집
    3. Human annotators를 통해 응답 품질을 개선

• Cold Start 데이터의 설계:

  • 가독성과 일관성을 높이기 위해 각 응답에 요약(summary)을 추가하고, 여러 언어가 섞이거나 장문의 코드 블록이 포함된 응답은 필터링함.

  • 출력 형식:

    |special_token|<reasoning_process>|special_token|<summary>
    

    • reasoning process는 질의에 대한 CoT, summary는 추론 결과를 요약함.

• 결과:

  • Cold-start 데이터로 미세 조정된 DeepSeek-V3-Base 모델이 초기 RL 훈련 단계에서 더 높은 안정성과 가독성을 보임.
  • Iterative training으로 성능이 지속적으로 향상됨.

2.3.2 Reasoning-oriented Reinforcement Learning

• 단계 개요

  • Cold-start 데이터로 fine-tuning한 후, DeepSeek-R1-Zero와 동일한 대규모 RL을 적용하여 모델의 추론 능력을 강화.
  • 주로 수학, 코딩, 과학, 논리 추론과 같은 reasoning-intensive 작업에 중점을 둠.

• 언어 혼합 문제

  • RL 훈련 중 여러 언어가 섞인 CoT가 나타남.
  • 특히 다국어 프롬프트가 포함된 경우 모델이 일관성을 유지하지 못하는 현상이 관찰됨.
  • 이는 가독성을 크게 저해함.

• 해결책: Language Consistency Reward

  • CoT 내에서 목표 언어 단어 비율을 계산하여 보상을 제공함.
  • 실험 결과, 언어 일관성을 강화하는 보상이 적용되었을 때 약간의 성능 저하가 있었으나, 가독성과 사용자 선호도는 개선됨.

• 최종 보상 설계:

  • Reasoning task의 정확도 보상과 Language Consistency Reward를 합산하여 최종 보상으로 구성함.
  • 해당 보상을 기반으로 모델이 reasoning task에서 수렴하도록 RL을 수행함.

2.3.3 Rejection Sampling and Supervised Fine-Tuning (SFT)

• 목적:

  • RL 수렴 이후에도 모델의 다양한 능력을 강화하기 위해 SFT 데이터를 추가 수집함.
  • 초기 Cold-start 데이터와 달리, 이번 단계에서는 추론 및 일반 작업 데이터를 모두 포함함.

• Reasoning Data 수집:

  • RL로 충분히 학습된 모델에서 rjection sampling을 통해 새로운 데이터를 생성함.
  • 이전 단계에서는 rule-based 보상으로 평가할 수 있는 데이터만 사용했지만, 이 단게에서는 generative reward 모델을 도입하여 데이터셋을 확장.
  • 가독성이 떨어지는 응답(혼합 언어, 장문, 코드 블록 포함)은 필터링.
  • 총 약 60만 개의 reasoning 관련 데이터를 수집.

• Non-reasoning Data 수집:

  • writing, facutal QA, self-cognition, 번역과 같은 비추론 데이터를 포함함.
  • 일부 작업에서는 응답 전에 잠재적 CoT를 생성하도록 DeepSeek-V3을 호출함.
  • 간단한 질의(예: "hello")에는 CoT를 제공하지 않음.
  • 최종적으로 약 20만 개의 비추론 데이터를 수집.

• Fine-tuning:

  • 총 약 80만 개의 데이터로 DeepSeek-V3-Base를 2 epochs 동안 미세 조정함.

2.3.4 Reinforcement Learning for all Scenarios

• 목적:

  • 모델이 다양한 작업과 사용자 선호에 부합하도록 보상 신호와 다양한 프롬프트 분포를 기반으로 한 2차 강화학습 단계를 수행.
  • 이 단계는 **유용성(helpfulness)**과 **무해성(harmlessness)**을 동시에 개선함.

• 훈련 방식:

  1. Reasoning Data:

     • 수학, 코드, 논리 추론 도메인에서 rule-based 보상을 적용함.

  2. General Data:

     • 복잡하고 미묘한 시나리오에서 인간의 선호를 포착하기 위해 보상 모델을 사용함.
     • DeepSeek-V3 파이프라인을 기반으로 선호 쌍(preference pairs)과 프롬프트를 채택함.

• 평가 지표:

  • 유용성(Helpfulness): 응답의 요약(summary)에 초점을 맞추어 응답이 사용자에게 얼마나 유용하고 관련성이 있는지 평가함.
  • 무해성(Harmlessness): 응답 전체를 평가하여 잠재적 위험, 편향, 유해한 내용을 식별하고 완화함.

• 결과:

  • 보상 신호와 다양한 데이터 분포의 통합을 통해 추론 능력이 우수하면서도 사용자 친화적인 모델을 개발함.

‌

2.4 Distillation: Empower Small Models with Reasoning Capability

• DeepSeek-R1으로부터 생성된 80만 개의 샘플을 활용하여 Qwen 및 Llama 기반 소형 모델을 fine-tuning함.
• 사용된 base 모델: Qwen2.5 (1.5B ~ 32B), Llama-3.3-70B
• RL 단계를 생략하고도 증류를 통해 소형 모델의 추론 성능이 크게 개선됨을 입증함.
• distillation의 효과를 관찰하기 위한 실험이었기 때문에 distilled model에 SFT만 적용하고 RL을 적용하지 않음.
• 추후에 연구 커뮤니티에서 RL을 시도해 볼 수 있단것을 시사함.

‌

2.5 리뷰 및 질문 포인트

• Human-Labeled 데이터의 사용을 최소화해서 일종의 자기지도학습으로 높은 성능향상을 이룩한게 포인트로 보임.

  • 하나의 모델에서 생성하는 출력을 계속 사용하는 것 보다는, 여러 모델의 출력을 앙상블해서 출력하면 더 좋지 않을까?
  • 특히, 논문에는 안나와있지만 DeepSeek가 GPT의 출력을 가지고 학습했다는 정황들이 나오고 있는 것을 고려하면 의심이 됨.

• Distillation이 의미하는 것이 Knowledge Distillation인가, 아니면 단순히 대형 모델에서 생성된 결과로 소형모델을 미세조정 한 것을 Distillation이라고 표현한 건가? → 후자 같음

  • Distillation 기법을 적용해 볼 수도 있을 듯

• Rejection Sampling에서 버려지는 데이터들을 negative sample로 활용하면 자원의 낭비를 최소화 할 수 있을듯.

• 가독성이 떨어지는 문제를 Language Consistency Reward를 통해 강화학습의 목적함수를 건드리는 방식으로 해결함 → sub-optimial을 선택하게 강제한다는 것인데, 강화학습 측면 말고 언어모델적인 측면에서의 접근이 더욱 타당해보임

---

3. Experiment

3.1 Benchmarks

• Knowledge Benchmarks

  • MMLU, MMLU-Redux, MMLU-Pro
  • C-Eval, CMMLU, IFEval, FRAMES, GPQA Diamond, SimpleQA, C-SimpleQA, SWE-Bench Verified
  • 다양한 분야의 지식과 논리적 사고를 평가

• Coding & Math Benchmarks

  • LiveCodeBench, Codeforces, Aider, AIME 2024, Chinese National High School Mathematics Olympiad
  • 프로그래밍 능력과 수학적 문제 해결 능력을 테스트

• Generation Tasks

  • AlpacaEval 2.0, Arena-Hard
  • 창의적 글쓰기 및 개방형 질문 응답에 대한 평가
  • GPT-4-Turbo-1106으로 pairwise 비교 평가 수행

• Distilled 모델 평가

  • AIME 2024, MATH-500, GPQA Diamond, Codeforces, LiveCodeBench에서 대표적으로 비교

3.2 Evaluation Prompts

• Prompt 구성 및 평가 설정

  • DeepSeek-V3의 설정에 따라 simple-evals 프레임워크 사용
  • MMLU, DROP, GPQA Diamond, SimpleQA는 기본 프롬프트 활용
  • MMLU-Redux는 Zero-Eval 프롬프트로 zero-shot
  • MMLU-Pro, C-Eval, CLUE-WSC는 기존 few-shot 프롬프트를 zero-shot으로 변환하여 평가

• 코딩 및 수학 작업

  • HumanEval-Mul: 8개 주요 프로그래밍 언어(Python, Java, C++, C#, JavaScript, TypeScript, PHP, Bash) 포함
  • LiveCodeBench: CoT 형식 사용

3.3 Baselines

• DeepSeek-V3, Claude-Sonnet-3.5-1022, GPT-4o-0513, OpenAI-o1-mini, OpenAI-o1-1217
• OpenAI-o1-1217은 접근이 제한적인 관계로 공식 문서 기반으로 작성.
• Distilled 모델은 오픈소스 모델 QwQ-32B-Preview와 비교.

3.4 Evaluation Setup

• 출력 길이 제한: 모델은 최대 32,768 토큰까지 생성 가능

• 평가 방식:

  • Pass@k 평가 채택

  • Sampling parameter

    • Temperature: 0.6, Top-p: 0.95
    • 질문당 4~64개의 응답 생성 후 Pass@1 점수 산출

  • Pass@1 계산식:

    pass@1 = (1/k) * sum(p_i)
    

    • p_i 는 i번째 응답의 정확도

  • AIME 2024에서는 majority voting을 사용하여 cons@64 점수도 추가 보고

3.5 DeepSeek-R1 Evaluation

• Knowledge Benchmarks

  • MMLU, MMLU-Pro, GPQA Diamond에서 DeepSeek-V1보다 우수한 성능
  • STEM 관련 질문에서 강화학습으로 인한 성능 개선이 두드러짐

• Long-context-dependent Tasks

  • FRAMES에서 장문 문서 분석 작업에 대한 강력한 성능 입증

• Fact-based QA

  • SimpleQA에서 DeepSeek-V3를 능가하는 성과
  • Chinese SimpleQA에서는 Safety RL 적용으로 인해 일부 응답 거부로 성능이 하락
  • Safety RL 미적용 시 정확도 70% 이상 달성 가능

• Instruction-following Tasks

  • IFEval에서 형식 지시를 따르는 능력이 크게 개선

• Generation Tasks

  • AlpacaEval 2.0, Arena-Hard에서 쓰기 및 개방형 질문 응답에서 우수한 성과
  • 길이 편향(length bias)을 피하는 것으로 보임

3.6 Math and Coding Task Performance

• Math Tasks

  • OpenAI-o1-1217과 동등한 성능을 기록하며, 타 모델을 크게 초과

• Coding Tasks

  • LiveCodeBench, Codeforces에서 DeepSeek-R1이 우수한 성과 기록
  • Aider에서는 OpenAI-o1-1217이 더 높은 성능 기록
  • SWE Verified에서는 동등한 성능을 달성

• 향후 개선 가능성

  • 관련 RL 데이터가 제한적이며, 데이터 확장을 통해 추가 성능 개선 가능

3.7 Distilled Model Evaluation

• Distilled 모델 성능 비교

  • DeepSeek-R1-Distill-Qwen-7B는 GPT-4o-0513을 전반적으로 능가
  • DeepSeek-R1-14B는 QwQ-32B-Preview를 모든 평가 지표에서 능가
  • DeepSeek-R1-32B와 DeepSeek-R1-70B는 대부분의 벤치마크에서 o1-mini를 능가

• Distillation 효과

  • 단순 SFT만으로도 강력한 성능 기록
  • RL 적용 시 추가 성능 향상이 기대되며, 향후 연구 필요성 제시

---

4. Discussion

4.1 Distillation vs. Reinforcement Learning

Distillation을 받은 작은 모델이 우수한 성능을 보인 것을 확인함.

그러나 대규모 강화학습만으로도 distillation과 유사한 성능을 달성할 수 있는지를 검증하기 위해 추가 실험을 수행함.

‌

• 실험 설정

  • Qwen-32B-Base 모델을 사용하여 수학, 코딩, STEM 데이터를 기반으로 대규모 RL 훈련 수행.
  • 총 10,000 스텝 이상의 강화학습 진행.

• 결과

  • RL 훈련 후 생성된 DeepSeek-R1-Zero-Qwen-32B 모델은 QwQ-32B-Preview와 유사한 성능을 보임.
  • 그러나 DeepSeek-R1에서 증류된 DeepSeek-R1-Distill-Qwen-32B 모델은 모든 벤치마크에서 RL 모델보다 더 우수한 성과를 기록.

‌

• 결론

  • 더 강력한 모델에서 작은 모델로의 distillation은 효율적이고 우수한 성능을 제공.
  • 작은 모델이 대규모 RL만으로 distillation 수준의 성능을 달성하려면 막대한 계산 자원이 필요하며, 현실적으로 비효율적일 수 있음.
  • 언어모델이 가진 지능의 한계를 확장하기 위해서는 더 강력한 베이스 모델과 대규모 RL이 여전히 필요할 수 있음.

‌

4.2 Unsuccessful Attempts

• DeepSeek-R1 개발 초기에는 다양한 접근법을 시도했으나, 일부 접근법에서 한계와 실패를 경험함.
• 주요 실패 사례로 **Process Reward Model (PRM)**과 **Monte Carlo Tree Search (MCTS)**가 있음.

‌

1. Process Reward Model (PRM)

• PRM은 모델이 추론 작업에서 더 나은 접근법을 선택하도록 가이드하는 방식.
• 상위 응답 재정렬(top-N reranking)이나 guided search에 효과적일 수 있음.

한계

1. 세밀한 단계 정의의 어려움

   • 추론 작업에서 각 단계를 명확히 정의하는 것은 어려움.

2. 중간 단계 평가 문제

   • 중간 단계의 정확도를 판단하는 작업이 도전적임.
   • 자동화된 주석(annotation)은 불완전하며, 수작업 주석은 확장성이 떨어짐.

3. 보상 해킹(reward hacking)

   • 모델이 보상을 악용할 가능성이 높음
   • 보상 모델의 재훈련이 필요하며, 이는 학습 파이프라인의 복잡성을 증가시킴.

결론

• PRM은 계산 오버헤드가 커서 대규모 RL 환경에서는 효율성이 낮음.

개선 가능성

• 반자동 주석(annotation)을 통한 중간 단계 평가의 개선 가능성 탐색.
• 보상 해킹을 억제하기 위한 새로운 보상 설계 제안 필요.

‌

2. Monte Carlo Tree Search (MCTS)

• AlphaGo 및 AlphaZero에서 영감을 받아, MCTS를 통해 테스트 시 계산 확장성을 높이고자 함.
• 답변을 작은 단계로 나눠 해답 공간을 체계적으로 탐색하도록 유도.
• 사전 학습된 가치(value) 모델이 각 단계에서 검색 방향을 안내.

한계

1. 검색 공간의 확장성 문제

   • 체스처럼 상태 공간이 명확한 게임과 달리, 토큰 생성의 검색 공간은 기하급수적으로 커짐.
   • 각 노드 확장을 제한하여 local optima에 갇히는 문제가 발생할 수 있음.

2. 가치 모델 품질 문제

   • 가치 모델이 각 검색 단계에서 생성 품질을 직접적으로 결정함.
   • 그러나 세밀한 가치 모델을 훈련하는 것은 매우 어려움.

결론

• MCTS는 사전 학습된 가치 모델과 함께 사용될 때 테스트 성능을 향상시킬 수 있음.
• 그러나 자체 검색(self-search)을 통한 점진적 성능 개선은 여전히 어려움.

개선 가능성

• 검색 공간 축소와 노드 확장 최적화 전략 탐색 필요.
• 가치 모델 품질 개선을 위한 추가 연구 필요.

‌

최종 결론

1. Distillation vs RL에서 대규모 모델로부터의 distillation이 경제적이고 효과적임이 입증됨.
2. PRM과 MCTS는 특정 조건에서 유용하지만, 대규모 RL 환경에서 확장성과 효율성 면에서 한계가 있음.

---

5. Conclusion, Limitations, and Future Work

5.1 Conclusion

• DeepSeek-R1-Zero

  • human-labeled 데이터를 사용하지 않은 순수 강화학습 접근법으로 다양한 작업에서 우수한 성능 달성.

• DeepSeek-R1

  • 초기 데이터와 반복적 강화학습, 그리고 미세 조정을 통해 더 강력한 성능을 발휘.
  • 여러 작업에서 OpenAI-o1-1217과 유사한 성능 달성.

• Distillation 연구

  • DeepSeek-R1을 Teacher Model로 사용하여 80만 개의 훈련 샘플 생성 후 소형 밀집 모델들을 미세 조정.
  • DeepSeek-R1-Distill-Qwen-1.5B가 수학 벤치마크에서 GPT-4o 및 Claude-3.5-Sonnet을 능가하는 성과 기록.

5.2 Limitations

1. General Capability 부족

   • 함수 호출, 멀티턴 대화, 복잡한 역할 수행, JSON 출력과 같은 작업에서 DeepSeek-V3에 비해 성능이 부족함.

2. Language Mixing

   • 모델이 중국어와 영어에 최적화되어 있어 다른 언어 질의에 대한 처리가 미흡.
   • 질의가 다른 언어일 경우에도 추론 및 응답이 영어나 중국어로 이루어질 가능성이 있음.

3. Prompt Sensitivity

   • 모델이 프롬프트에 민감하며, few-shot 프롬프트가 지속적으로 성능 저하를 초래함.
   • zero-shot 프롬프트 사용을 권장함.

4. Software Engineering Tasks

   • 소프트웨어 엔지니어링 작업에서 평가 시간이 길어 강화학습 효율성이 떨어짐.
   • 이로 인해 해당 작업에서 DeepSeek-R1이 DeepSeek-V3에 비해 큰 성능 향상을 보이지 않음.

5.3 Future Work

1. General Capability 강화

   • 보다 긴 CoT 활용을 통해 함수 호출, 멀티턴 대화 등 다양한 작업에서 성능을 개선할 계획.

2. Language Mixing 문제 개선

   • 비영어권 사용자 경험 향상을 위해 여러 언어 처리 시 언어 혼합 문제 해결 계획.

3. Prompt Engineering 연구

   • 성능 저하를 초래하는 few-shot 프롬프트 문제 해결 및 제로샷 프롬프트 최적화 방안 연구.

4. Software Engineering Tasks 효율성 개선

   • 소프트웨어 엔지니어링 작업에 rejection sampling 및 비동기 평가(asynchronous evaluation) 도입 계획.
   • 대규모 강화학습 효율성을 높여 해당 분야에서의 성능 개선 목표.