DeepSeek-V3 리뷰

1. Introduction

1.1 연구 배경

• DeepSeek, LLaMA, Qwen, Mistral과 같은 오픈소스 모델들은 폐쇄형 모델과의 격차를 줄여나가고 있음.
• 이러한 흐름 속에서, DeepSeek-AI는 새로운 대형 MoE(Mixture-of-Experts) 모델인 DeepSeek-V3를 공개.
• 이 모델은 총 671B 파라미터를 가지고 있으며, 각 토큰마다 37B 파라미터가 활성화됨.

1.2 DeepSeek-V3의 아키텍처 전략

DeepSeek-V3는 성능과 비용 효율성을 동시에 추구하기 위해 기존 DeepSeek-V2에서 검증된 두 가지 주요 아키텍처를 채택하고 있음.

1. Multi-head Latent Attention (MLA)
2. DeepSeekMoE

또한, 모델의 성능을 더욱 강화하기 위해 새롭게 다음 두 가지 전략이 도입되었음.

• Load Balancing 전략: Auxiliary Loss를 제거하여 성능 저하를 최소화.
• Multi-Token Prediction (MTP): 모델의 평가 성능을 개선하고, 추론 시 speculative decoding)을 가속화

1.3 FP8 혼합 정밀도 훈련 및 병렬화 최적화

DeepSeek-V3는 훈련 효율성을 높이기 위해 FP8 혼합 정밀도(mixed precision) 훈련을 지원하며, 이를 대규모 모델에 최초로 적용.

• FP8 활용: GPU 메모리 사용량 감소 및 훈련 속도 가속화.

• DualPipe 알고리즘: 효율적인 파이프라인 병렬화를 구현하여 통신-계산 병목을 해결.

  • 노드 간 all-to-all 통신 오버헤드를 최소화.
  • InfiniBand(IB)와 NVLink 대역폭을 최대한 활용.
  • 메모리 최적화를 통해 비용이 많이 드는 텐서 병렬화 없이 훈련 가능.

1.4 Pre-Training & 컨텍스트 길이 확장

• Pre-train에서는 14.8조 개의 고품질 토큰을 사용

• 훈련 과정은 안정적이었으며, 손실 스파이크나 훈련 중단이 없었음.

• 컨텍스트 길이 확장:

  • 1단계: 최대 컨텍스트 길이를 32K로 확장.
  • 2단계: 128K로 추가 확장.

• Post-Training: SFT와 RL을 통해 모델을 인간의 선호에 맞게 Align.

• DeepSeek-R1 시리즈로부터의 지식 증류(Knowledge Distillation):

  • R1 모델의 체계적 사고 능력(Chain-of-Thought, CoT)을 DeepSeek-V3로 전달하여 추론 성능을 강화함.

1.5 평가 결과 및 비용

DeepSeek-V3는 코드와 수학 분야에서 탁월한 성능을 보이며, GPT-4o 및 Claude-3.5-Sonnet과 같은 폐쇄형 모델들과 경쟁할 수 있는 수준에 도달.

• Training Costs:

  • 사전 훈련: 2664K GPU 시간(약 2개월 소요)
  • 컨텍스트 길이 확장: 119K GPU 시간
  • 후속 훈련: 5K GPU 시간
  • 총 비용: $5.576M (GPU 시간당 $2 기준) → 약 80억원

1.6 주요 기여

1. 아키텍처 혁신

   • 보조 손실 없는 부하 균형 전략 도입.
   • Multi-Token Prediction 도입.

2. 훈련 최적화:

   • FP8 혼합 정밀도 훈련 프레임워크를 통해 대규모 모델 훈련의 효율성 검증.
   • 알고리즘, 프레임워크, 하드웨어 공동 설계를 통해 노드 간 통신 병목을 해결.
   • 경제적 비용(2.664M GPU 시간)으로 14.8T 토큰 훈련.

3. 후속 훈련:

   • DeepSeek-R1 모델로부터의 체계적 사고 능력 증류.
   • DeepSeek-V3의 추론 성능과 응답 형식의 균형 유지.

1.7 논문 구성

• Chapter 2: DeepSeek-V3의 아키텍처와 주요 설계 설명.
• Chapter 3: 컴퓨팅 클러스터, FP8 훈련 지원, 추론 전략, 하드웨어 설계 제안 등 인프라 설명.
• Chapter 4: 사전 훈련 과정, 데이터 구성, 하이퍼파라미터 설정, 컨텍스트 확장 기법 및 평가.
• Chapter 5: 후속 훈련(SFT, RL), 관련 평가 및 논의.
• Chapter 6: 연구 결론, 한계점, 향후 연구 방향 제시.

---

2. Architecture

• DeepSeek-V3는 효율적인 추론과 비용 효율적인 훈련을 위해 **Multi-head Latent Attention (MLA)**와 DeepSeekMoE 아키텍처를 채택함.
• 추가적으로 Multi-Token Prediction (MTP) 훈련 목표를 통해 성능 향상 도모.
• 기본 설정은 DeepSeek-V2의 아키텍처를 계승.

2.1 Basic Architecture

• Transformer 프레임워크 기반 설계
• 효율적인 추론 및 훈련을 위해 MLA 및 DeepSeekMoE 채택
• 새로운 로드 밸런싱 전략(Auxiliary-Loss-Free) 적용

2.1.1 Multi-Head Latent Attention (MLA)

• DeepSeek-V2를 그대로 계승

• 주요 효과

  • 추론 시 필요한 캐시 메모리 대폭 절감
  • 훈련 중 메모리 사용 효율성 개선

2.1.2 DeepSeekMoE with Auxiliary-Loss-Free Load Balancing

• 대부분 DeepSeek-V2를 계승

• Auxiliary-Loss-Free Load Balancing

  • DeepSeek-V2 에서는 Softmax를 사용해서 선택될 전문가들의 확률을 구했음.
  • 그러나 DeepSeek-V3 에서는 Sigmoid + 정규화 방식으로 변환
  • 이를 통해서 Auxiliary Loss를 쓰지 않아도 안정적으로 전문가 사이의 로드 밸런싱 수행.

2.2 Multi-Token Prediction (MTP)

• 개념

  • Multi-Token Prediction (MTP)은 한 번에 여러 개의 미래 토큰을 예측하는 방식으로, 기존 단일 토큰 예측보다 훈련 신호를 밀집(dense)시키고 데이터 효율성을 개선하는 목표를 가짐
  • 모델이 미래 토큰을 예측하기 위한 사전 계획(pre-planning) 능력을 강화할 수 있음

• 기존 접근법과의 차이점

  • 기존 연구(Gloeckle et al., 2024)는 여러 추가 토큰을 병렬로 예측하는 방식( → 독립적인 Output Head 사용)을 제안했으나, DeepSeek-V3는 각 토큰을 순차적으로 예측하고 각 Depth에서 Causal Connection을 유지

• MTP 구조 및 동작 원리

  • 구성 요소

    • MTP는 여러 개의 Sequential Module로 구성됨

    • 각 Module은 다음과 같은 요소들을 공유

      • Embedding Layer: 입력 토큰에 대한 임베딩을 생성
      • Output Head: 최종 출력 값을 logits으로 변환 후 Softmax로 확률 분포 계산
      • Transformer Block: 이전 Depth의 출력과 새로운 입력을 결합하여 다음 Depth의 예측 수행
      • Projection Matrix: 출력 벡터 변환을 위한 행렬

• 입력 및 처리 과정

  1. 현재 토큰의 Last Hidden State Vector와 다음 토큰의 Embedding vecotr를 결합하여 입력으로 사용
  2. 결합된 입력이 Transformer Block을 거쳐 다음 Depth의 출력 h_{k, i} 생성
  3. Output Head가 해당 Depth에서 예측된 추가 토큰의 확률 분포 P_{k, i+k+1} 계산

• 수식

  • 입력 결합 및 정규화
  • Transformer Block 출력
  • 추가 토큰 예측 확률 계산

• 학습 목표 (MTP Training Objective Function)

  • 각 예측 Depth에 대해 Cross-Entropy Loss를 계산

• 최종 MTP Loss는 모든 Depth에 대해 평균을 구하고 가중치 lambda를 곱하여 계산

• 추론(Inference) 단계에서의 MTP

  • MTP Module은 훈련 단계에서만 사용되며, 추론 시에는 제거 가능
  • 추론 시에는 기본 모델만으로도 정상적인 작동이 보장됨
  • MTP Module을 활용해 Speculative Decoding을 수행하여 latency를 줄이는 것도 가능

• MTP의 주요 효과

  • 훈련 데이터 효율성 개선: 여러 토큰을 동시에 예측함으로써 모델이 더욱 밀집된 학습 신호를 받을 수 있음
  • 미래 예측 능력 강화: 각 Depth에서 연속적인 예측을 통해 모델이 더 나은 미래 토큰 예측을 위한 표현 준비(pre-planned representation) 능력을 획득
  • 추론 시 성능 향상: 훈련에서 다양한 예측 경험을 통해 추론 시에도 더 정확하고 신속한 토큰 생성이 가능

2.3 리뷰 및 질문 포인트

• Auxiliary loss에서는 어째서 Sigmoid 형태로 바꾼 것이 유효했을까?

  • Softmax는 본질적으로 하나의 확률을 기하급수적으로 크게 만들고, 나머지를 과소평가하는 특성을 지님
  • 그러므로 특정 전문가가 선택될 확률을 기하급수적으로 늘려서 라우팅 붕괴를 일으켰을 가능성 존재.
  • 이에 비해 Sigmoid는 전문가들을 각각 독립적으로 변환하기 때문에 이러한 문제에서 자유로웠을 것으로 보임.

• Speculative Decoding과 유사한 방식을 통해서 학습 효율성을 높인 부분이 인상적임 (MTP)

  • 구체적으로 얼마나 성공적인 영향을 끼쳤는지 Ablation Study에서 다뤄주었으면 좋겠음.

---

3 Infrastructures: TBD

• 인프라 관련된 부분이라 아직 완전히 이해 못함.
• 하지만 해당 논문에서 가장 핵심적인 부분으로 파악됨
• 추후 업데이트 예정

3.1 Compute Clusters

3.2 Training Framework

3.2.1 DualPipe and Computation-Communication Overlap

3.2.2 Efficient Implementation of Cross-Node All-to-All Communication

3.2.3 Extremely Memory Saving with Minimal Overhead

3.3 FP8 Training

3.3.1 Mixed Precision Framework

3.3.2 Improved Precision from Quantization and Multiplication

3.3.3 Low-Precision Storage and Communication

3.4 Inference and Deployment

3.4.1 Prefilling

3.4.2 Decoding

3.5 Suggestions on Hardware Design

3.5.1 Communication Hardware

3.5.2 Compute Hardware

---

4 Pre-Training

4.1 Data Construction

• DeepSeek-V3의 pre-training 데이터는 DeepSeek-V2와 비교하여 다음과 같은 최적화가 이루어짐:

  • 수학 및 프로그래밍 샘플 비중을 증가시킴.
  • 영어와 중국어 외의 다국어 데이터를 확장.
  • 데이터 처리 파이프라인을 개선하여 중복을 최소화하면서 데이터 다양성 유지.
  • 문서 통합을 위해 document packing 기법을 사용하였으나, cross-sample attention masking은 제외.

• Fill-in-Middle(FIM) 전략을 적용하여 모델이 중간 텍스트를 더 잘 예측할 수 있도록 데이터 구조를 구성함:

  • Prefix-Suffix-Middle(PSM) 구조를 사용: <|fim_begin|> prefix <|fim_hole|> suffix <|fim_end|> middle <|eos_token|>

• Tokenizer는 Byte-level BPE를 사용하며 128K 토큰으로 확장된 어휘를 제공

  • 다국어 압축 효율성을 위해 pretokenizer를 최적화함.
  • 줄 바꿈과 특수 문자를 결합하는 토큰을 도입했으나, token boundary bias를 완화하기 위해 일부 훈련 데이터에서 임의로 분리하여 다양한 사례에 노출.

4.2 Hyper-Parameters

Model Hyper-Parameters

• Transformer Layer: 61

• hidden dim: 7168

• Multi-head Latent Attention (MLA)

  • Attention Heads: 128, per-head dim: 128
  • KV cache dim: 512, Query cache dim: 1536
  • Decoupled key & query dim: 64

• Feed-Forward Networks (FFNs) 대신 4번째 레이어 부터는 Mixture of Experts (MoE) 적용

  • 1개의 shared expert, 256개의 routed experts로 구성.
  • 각 expert의 hidden dim: 2048
  • 각 토큰은 최대 4개의 노드에서 8개의 전문가를 선택.

• Multi-Token Prediction (MTP) depth: 1 → 1개의 추가적인 토큰을 예측

• 총 파라미터 수: 671B, 활성화되는 파라미터 수: 37B

Training Hyper-Parameters

• Optimizer: AdamW (beta_1 = 0.9, beta_2 = 0.95, weight decay = 0.1)

• 최대 시퀀스 길이: 4K token

• 총 학습 데이터: 14.8T token

• LR Shceduler:

  • 초기 2K 스텝 동안 0에서 2.2 × 10e-4까지 선형 증가.
  • 10T 토큰까지는 2.2 × 10e-4로 유지, 이후 4.3T 토큰에 걸쳐 cosine decay로 감소.
  • 마지막 500B 토큰에 대해 LR을 2단계로 설정: 333B 토큰 동안 2.2 × 10e-5, 이후 167B 토큰 동안 7.3 × 10e-6

• Gradient clipping norm: 1.0

• Batch size: 초기 3072에서 15360까지 점진적 증가 후 유지.

• Pipeline parallelism 및 expert 배치:

  • 각 layer는 8개 노드의 64개 GPU에 분산 배치.
  • Node-limited routing 설정: 각 토큰은 최대 4개의 노드에 전송.

• Auxiliary-loss-free balancing:

  • Bias update 속도: 초기 14.3T 토큰 동안 0.001, 이후 500B 토큰 동안 0.0
  • Balance loss 계수 α: 0.0001로 설정.
  • MTP 손실 가중치 lambda: 초기 10T 토큰 동안 0.3, 이후 4.8T 토큰 동안 0.1로 감소.

4.3 Long Context Extension

• DeepSeek-V3는 YaRN 기법을 사용하여 시퀀스 길이를 4K에서 128K로 확장

  • 두 단계로 확장

    • 1단계에서 32K
    • 2단계에서 128K로 증가.

  • 각 단계마다 1000 스텝의 추가 학습 수행.

  • YaRN은 decoupled shared key에만 적용되며, hyper-parameter는 DeepSeek-V2와 동일.

• 평가 결과: Needle In A Haystack(NIAH) 테스트에서 128K 길이의 context window에서 일관된 성능 유지.

4.4 Evaluations

Evaluation Benchmarks

• 주요 벤치마크:

  • Multi-subject multiple-choice: MMLU, MMLU-Redux, MMLU-Pro, MMMLU, C-Eval, CMMLU
  • Language understanding: HellaSwag, PIQA, ARC, BBH
  • Closed-book QA: TriviaQA, NaturalQuestions
  • Reading comprehension: RACE, DROP, C3, CMRC
  • Reference disambiguation: CLUEWSC, WinoGrande
  • Language modeling: Pile
  • Math: GSM8K, MATH, MGSM, CMath
  • Code: HumanEval, LiveCodeBench-Base, MBPP, CRUXEval
  • Standardized exams: AGIEval (영어 및 중국어 포함)

Evaluation Results

• vs DeepSeek-V2-Base

  • 모델 아키텍처의 개선, 모델 크기 및 학습 토큰의 증가, 데이터 품질 향상 덕분에 DeepSeek-V3-Base는 성능이 크게 향상.

• vs Qwen2.5 72B Base

  • 활성화된 파라미터가 절반에 불과함에도 불구하고 DeepSeek-V3-Base가 현저한 우위를 보여준다.

• vs LLaMA-3.1 405B Base

  • 활성화된 파라미터가 11배나 많은 가장 큰 오픈 소스 모델인 LLaMA-3.1과 비교해도, DeepSeek-V3-Base는 다국어, 코드, 수학 벤치마크에서 더 나은 성능을 보임.

4.5 Ablation Studies for MTP Strategy

• MTP 전략은 다양한 규모의 모델에서 성능 향상을 지속적으로 입증

  • 소규모(15.7B 파라미터)와 대규모(228.7B 파라미터) 모델에서 동일한 조건 하에 실험 수행.
  • MTP 모듈은 인퍼런스 시 제거되어 비용에 영향을 주지 않음.

4.6 Ablation Studies for Auxiliary-Loss-Free Balancing

• Auxiliary Loss 없는 Load Balancing 전략은 auxiliary loss를 사용한 모델보다 더 나은 성능을 보임

  • 소규모(15.7B 파라미터)와 대규모(228.7B 파라미터) 모델에서 비교 실험 수행.

---

5. Post-Training

5.1 Supervised Fine-Tuning (SFT)

• 데이터 생성과 도메인별 특화

  • DeepSeek-V3의 SFT 데이터셋은 다양한 도메인을 포괄하며, 약 150만 개의 샘플로 구성됨.

  • Reasoning 데이터(수학, 코드 경쟁 문제, 논리 퍼즐 등)는 내부 DeepSeek-R1 모델로 생성함.

    • R1 모델이 높은 정확성을 보이나 과잉 설명(overthinking), 형식 불량(poor formatting), 과도한 길이 등의 문제가 있어 이를 개선.
    • 최종 모델을 위한 Expert 모델을 훈련하여 데이터 생성에 사용함.

  • Non-Reasoning 데이터(창작, 롤플레잉, 간단한 질의응답 등)는 DeepSeek-V2.5로 생성하고, 인간 검수자를 통해 정확성을 검토함.

• 샘플 구조와 훈련 설정

  • 각 문제에 대해 두 가지 SFT 샘플을 생성:

    • <문제, 원본 응답> Template
    • <시스템 프롬프트, 문제, R1 응답> Template

  • 시스템 프롬프트는 응답의 검토와 반성을 유도하는 지침을 포함.

  • 훈련 후 Rejection Sampling을 통해 고품질 SFT 데이터를 선별.

• Hyper-Parameters

  • 2 epcohs 동안 학습
  • Cosine Decay LR Scheduler을 사용: initial 5 × 10e-6, 종료시 1 × 10e-6
  • 예제 간의 상호 간섭을 방지하기 위해 샘플 마스킹 전략을 적용함.

5.2 Reinforcement Learning (RL)

• Reward Model (RM)

  • Rule-Based RM: 수학 문제와 같이 명확한 검증 기준이 있는 질문에 사용. 예를 들어, 특정 형식의 답안 제공을 요구하여 정확성을 검증함.

  • Model-Based RM: 창의적 쓰기 등 명확한 정답이 없는 질문에 사용.

    • DeepSeek-V3 SFT 체크포인트에서 훈련되며, Chain-of-Thought 데이터를 활용해 보상 해킹 위험을 완화.

• Group Relative Policy Optimization (GRPO)

  • Critic 모델 대신 그룹 점수를 기준으로 정책 최적화를 수행.
  • 각 질문에 대해 그룹 내 응답의 보상을 평균하여 Advantage 값을 계산하고, 이를 통해 정책 모델을 개선.

• 도메인별 RL 적용

  • 다양한 도메인(코딩, 수학, 쓰기, 롤플레잉 등)에서 RL을 수행하여 인간 선호도에 맞춘 성능 향상을 달성.

5.3 Evaluations

• 평가 벤치마크: IFEval, FRAMES, LongBench v2, GPQA, SimpleQA, C-SimpleQA, SWE-Bench Verified, LiveCodeBench 등 다양한 벤치마크에서 평가.
• 비교 대상: DeepSeek-V2-0506, DeepSeek-V2.5-0905, Qwen2.5 72B Instruct, LLaMA-3.1 405B Instruct, Claude-Sonnet-3.5-1022, GPT-4o-0513 등과 비교 평가를 수행.
• 평가 결과: DeepSeek-V3는 Open-Source 모델 중 최고의 성능을 보이며, 일부 벤치마크에서는 GPT-4o 및 Claude-3.5와 경쟁할 수 있는 성과를 달성.

5.4 Open-Ended Evaluations

• AlpacaEval 2.0과 Arena-Hard와 같은 개방형 평가에서 GPT-4-Turbo-1106을 심판으로 사용.
• DeepSeek-V3는 Arena-Hard에서 86% 이상의 승률을 기록 → Claude-Sonnet-3.5-1022와 동등한 성과.
• AlpacaEval 2.0에서도 우수한 성과를 보이며, DeepSeek-V2.5-0905를 20% 이상 능가함.

5.5 DeepSeek-V3 as a Generative Reward Model

• DeepSeek-V3는 RewardBench에서 GPT-4o-0806 및 Claude-3.5-Sonnet-1022와 동등한 성능을 보임.
• 자체 투표(voting) 기법을 활용해 Self-Feedback을 제공하여 alignment 효과를 크게 향상시킴.
• 이 접근법은 모델이 다양한 시나리오에서 비구조적 정보를 보상으로 변환할 수 있게함.
• Self-Rewarding 외에도 일반적이고 확장 가능한 보상 기법을 지속적으로 탐색하려고 함.

5.5 Distillation from DeepSeek-R1

• DeepSeek-R1로부터의 데이터 증류가 LiveCodeBench와 MATH-500에서 성능을 크게 향상시킴.
• Distillatio이 응답 정확도를 개선하지만 응답 길이를 증가시키는 trade-off가 있음.
• 향후 다양한 도메인에서 CoT-Distillation 기술을 탐색할 계획.

5.6 Self-Rewarding

• 자가 보상(Self-Rewarding)을 통해 RL 최적화를 지원함.
• Constitutional AI 접근법을 사용하여 DeepSeek-V3가 자체 평가 결과를 보상 피드백으로 활용함.
• 이 방법은 정성적인 평가에서 성능을 크게 향상시키며, LLM이 다양한 시나리오에서 보상 기능을 수행하도록 함.

5.7 Multi-Token Prediction (MTP) Evaluation

• DeepSeek-V3는 MTP 기술을 통해 두 개의 토큰을 예측하며, 디코딩 속도를 1.8배 향상시킴.
• 추가로 예측된 두 번째 토큰의 수용률은 85%에서 90% 사이로 안정적으로 유지됨.

---

6. Conclusion, Limitations, and Future Directions

6.1 Conclusion

• DeepSeek-V3는 671B 매개변수와 37B 활성화 매개변수를 가진 대규모 MoE 언어 모델로, 14.8T 토큰으로 학습.

• MLA와 DeepSeekMoE 아키텍처 외에도 Auxiliary-Loss-Free 전략과 **Multi-Token Prediction (MTP)**을 도입하여 성능을 강화함.

• FP8 훈련과 엔지니어링 최적화를 통해 비용 효율적인 학습을 달성함.

• DeepSeek-R1에서 추론 능력을 Distillation하여 모델의 성능을 향상시킴.

• 다양한 평가 결과, DeepSeek-V3는 현재 가장 강력한 오픈소스 모델로 확인됨.

  • GPT-4o 및 Claude-3.5-Sonnet과 같은 폐쇄형 모델들과 비교해도 경쟁력 있는 성능을 보여줌.

• 전체 학습(사전 학습 + 컨텍스트 길이 확장 + 후속 학습)에 2.788M H800 GPU 시간이 소요됨.

6.2 Limitations

1. 배포 단위 크기 문제: 효율적인 추론을 위해 DeepSeek-V3의 권장 배포 단위가 커서 소규모 팀에 부담이 될 수 있음.
2. 추론 속도: DeepSeek-V2 대비 두 배 이상 향상된 속도를 달성했으나, 추가적인 개선 가능성이 있음.
3. 기대 요소: 이러한 제한 사항은 향후 하드웨어 발전에 따라 자연스럽게 개선될 가능성이 있음.

6.3 Future Directions

• 모델 아키텍처 개선: 훈련과 추론의 효율성을 높이기 위해 아키텍처 연구 및 개선을 지속하며, 무한 컨텍스트 길이 지원을 목표로 함.
• 데이터 품질 및 확장: 훈련 데이터의 양과 질을 지속적으로 개선하고, 새로운 학습 signal을 탐색하여 효과적인 학습을 할 예정.
• 추론 및 문제 해결 능력 향상: 모델의 깊이 있는 사고 및 문제 해결 능력을 강화하기 위해 추론 길이와 깊이를 확장하는 연구를 지속할 계획임.
• 평가 방법 개선: 특정 벤치마크에 최적화된 연구로 인해 모델 능력을 과대평가하는 문제를 방지하기 위해, 보다 포괄적이고 다차원적인 모델 평가 방식을 탐색할 예정임.