DeepSeek-V2 리뷰

1. Introduction

1.1 연구 배경 및 문제점

대형 언어 모델(LLM)의 급속한 발전은 인공지능 일반화(AGI) 가능성을 제시했으나, 대규모 파라미터로 인해 훈련 비용이 높고 추론 효율이 떨어짐.
이러한 문제는 모델의 확산과 실용적 활용을 방해하는 주요 제약으로 작용함.

1.2 DeepSeek-V2 개요

DeepSeek-V2는 경제적 훈련과 효율적 추론을 목표로 설계된 Mixture-of-Experts(MoE) 모델.
- 총 파라미터 수: 2360억 개.
- 활성화 파라미터 수: 각 토큰당 210억 개.
- 최대 컨텍스트 길이: 12만 8천 토큰 지원.

1.3 주요 기술적 혁신

Multi-head Latent Attention (MLA): Key-Value 캐시를 압축하여 추론 효율을 대폭 개선.
DeepSeekMoE: 세분화된 전문가 구조와 공유 전문가 격리로 높은 성능과 경제적 훈련 비용을 동시에 달성.
두 기술의 결합으로 훈련 비용 절감, 성능 향상, 추론 처리량 증가를 달성함.

1.4 사전 훈련 및 미세 조정

8.1조 개의 토큰으로 구성된 다언어 코퍼스에서 사전 훈련.
지도형 미세 조정(SFT)과 강화 학습(RL)을 통해 DeepSeek-V2 Chat 모델 제작.
- 다양한 분야(수학, 코드, 글쓰기, 추론, 안전성 등) 데이터를 활용한 대화 세션 구성.

1.5 평가 결과

활성화 파라미터 수가 적음에도 불구하고, 오픈소스 모델 중 최고 성능을 달성함.
- 훈련 비용: 42.5% 절감.
- key-value 캐시 크기: 93.3% 감소.
- Throughput: 5.76배 증가.
DeepSeek-V2 Chat (RL) 모델:
- 영어 및 중국어 대화 평가에서 탁월한 성적 기록.
- AlpacaEval, MT-Bench, AlignBench에서 상위권 성적.

1.6 오픈소스 지원

DeepSeek-V2-Lite 모델 공개:
- 총 157억 개의 파라미터, 각 토큰당 24억 개의 파라미터 활성화.
- 오픈소스 커뮤니티를 위한 추가 연구와 개발을 지원.

1.7 논문 구성

Chapter 2: DeepSeek-V2 모델 아키텍처에 대한 세부 설명.
Chapter 3: 사전 훈련 작업 소개, 데이터 구성, 하이퍼파라미터, 인프라, 장기 컨텍스트 확장 및 효율성 평가.
Chapter 4: 모델 정렬을 위한 지도형 미세 조정(SFT), 강화 학습(RL), 평가 결과 및 관련 논의.
Chapter 5: 결론, 모델의 현재 한계, 그리고 향후 연구 계획.

2. Architecture of DeepSeek-V2

2.1 개요

DeepSeek-V2는 기존 Transformer 구조를 기반으로 하면서 추론 효율성과 훈련 비용 절감을 목표로 하는 새로운 구조를 설계함.
Multi-Head Latent Attention (MLA):
- 기존 Multi-Head Attention(MHA)에서 발생하는 Key-Value(KV) 캐시 병목 문제를 해결하기 위해 고안됨.
- 저차원 키-밸류 압축을 통해 캐시 크기를 기존 MHA 대비 93.3% 줄이면서도 성능 손실을 방지함.
- RoPE와의 호환성을 위해 디커플링(decoupled) 전략을 적용하여 키와 쿼리에 추가적인 구조를 결합함.
- 이 방식으로 각 토큰에 대한 KV 캐시 크기를 크게 줄이고, 추론 시 속도와 메모리 효율성을 대폭 향상시킴.
DeepSeekMoE:
- 기존 GShard 등 전통적인 MoE 아키텍처와 비교하여 전문가 세분화(fine-grained expert segmentation) 및 공유 전문가 분리(shared expert isolation) 전략을 채택함.
- 각 토큰이 여러 전문가에게 효과적으로 라우팅되면서 다양한 지식 분배 및 획득이 가능하도록 설계됨.
- 훈련 중 전문가 병렬화를 통해 통신 병목을 줄이고 효율적인 로드 밸런싱을 보장하기 위한 여러 보조 손실(auxiliary losses)을 추가적으로 적용함.

2.2 Multi-Head Latent Attention: Boosting Inference Efficiency

2.2.1 설계 배경 및 목표

문제점: 기존 Multi-Head Attention (MHA) 메커니즘은 KV 캐시가 커서, 특히 긴 시퀀스를 처리할 때 추론 효율성이 저하됨.
기존 접근법: **Multi-Query Attention (MQA)**와 **Grouped-Query Attention (GQA)**은 KV 캐시 크기를 줄이기 위한 시도였으나 성능 저하 문제가 있음.
MLA의 목표: **저차원 압축(low-rank compression)**을 통해 캐시 크기를 줄이면서도 성능을 유지함으로써 추론 효율성을 개선.

2.2.2 MLA의 구조와 작동 원리

기본 구조
- MHA와 달리 MLA는 K와 V를 **압축 벡터(c_{KV})**로 통합하여 저장함.
- 저차원 압축을 위해 세 개의 주요 행렬이 사용됨:
  - W_DKV: K와 V를 압축하는 down projection 행렬.
  - W_UK: 압축된 벡터에서 키를 복원하는 up projection 행렬.
  - W_UV: 압축된 벡터에서 밸류를 복원하는 up projection 행렬.
수식 및 벡터 흐름
- 입력 벡터 **( h_t )**가 주어졌을 때:
  - 압축: c_{KV} = W_{DKV} * h_t
  - Key 복원: k_t = W_{UK} * c_{KV}
  - Value 복원: v_t = W_{UV} * c_{KV}
- 메모리 효율성
  - MHA는 각 토큰에 대해 2 * haed_num * hidden_dim * layer_num의 캐시가 필요하지만, MLA는 저차원 벡터 c_{kv}만 캐시하여 약 5 * hidden_dim * layer_num 정도의 메모리만 요구됨

2.2.3 RoPE 호환성 문제와 해결책: Decoupled Rotary Position Embedding

문제
- RoPE는 키와 쿼리에 위치 정보를 직접 결합하지만, 이는 MLA의 Up Projection 단계와 충돌하여 키를 매번 재계산해야 하는 문제를 초래함.
- 이로 인해 추론 시 비효율적인 재계산이 필요하게 됨.
해결책: Decoupled Rotary Position Embedding
- RoPE를 위한 추가 query와 key를 생성하여 기존 압축된 key와 concat 방식 사용
  
  효과:
  - RoPE가 별도의 공간에서 동작하므로 Up Projection과 독립적으로 작동 가능.
  - MLA와 RoPE를 동시에 사용

2.2.4 성능 및 효율성 비교

KV 캐시 크기 비교:
- MLA는 KV 캐시 크기를 기존 MHA 대비 약 93.3% 절감.
- 캐시 크기 기준으로 GQA의 2.25 그룹과 유사하지만 성능은 더 뛰어남.
추론 속도 개선:
- MLA는 저차원 벡터를 활용해 메모리 사용량과 연산량을 줄임.
- 이에 따라 시퀀스 길이 128K까지 효율적으로 처리 가능.

2.3 DeepSeekMoE: Training Strong Models at Economical Costs

2.3.1 Basic Architecture

DeepSeekMoE는 전문가(Expert)를 세분화하고 일부 전문가를 공유 전문가(Shared Experts)로 격리하여 효율성을 극대화함
- Fine-grained Expert Segmentation: 각 전문가를 작은 단위로 나누어 전문성을 높임
- Shared Expert Isolation: 토큰이 모든 라우팅 전문가 외에도 항상 몇 개의 공유 전문가에게 할당되어 중복 지식을 줄임
입력 벡터 u_t가 주어졌을 때, MoE 레이어의 출력 h_t'는 아래와 같이 계산됨:
- N_s: 공유 전문가 수, N_r: 라우팅 전문가 수
- g_i,t: 토큰 t가 전문가 i에 할당될 확률을 나타내는 게이트 값
- s_i,t: 전문가 선택을 위한 토큰-전문가 관련도
- 각 토큰은 K_r개의 상위 전문가에만 라우팅됨
- e_i: 전문가 네트워크를 대표하는 임베딩 값.

2.3.2 Device-Limited Routing

문제: Fine-grained Segmentation으로 인해 많은 전문가가 활성화되면, 여러 장치 간 통신 비용이 증가함
해결: 토큰이 라우팅되는 전문가를 최대 M개의 장치로 제한하는 장치 제한 라우팅을 도입
- 각 토큰에 대해 먼저 상위 M개의 장치를 선택하고, 그 장치 내에서 최상위 K_r 전문가를 선택함
- 실험 결과 M ≥ 3일 때 성능이 상위 라우팅과 거의 유사함

2.3.3 Auxiliary Loss for Load Balance

필요성: 특정 전문가 또는 장치에 토큰이 집중되면 라우팅 붕괴나 계산 효율 저하가 발생할 수 있음
DeepSeek-V2에서는 세 가지 보조 손실 (Auxiliary Loss for Load Balance)을 적용하여 균형을 유지함

Expert-Level Balance Loss 각 전문가가 선택되는 빈도와 친화도 점수를 기반으로 균형을 유지함
- f_i: 토큰이 전문가 i를 선택한 횟수의 평균
- P_i: 전문가 i의 평균 친화도 점수
Device-Level Balance Loss 전문가 그룹이 배치된 장치 간에 균형 있는 계산을 보장함
- D: 장치 수
- f_i': 장치 i가 수신한 토큰의 평균 빈도
- P_i': 해당 장치의 평균 친화도 점수
Communication Balance Loss 각 장치가 송수신하는 데이터 양을 균형 있게 조정하여 통신 병목을 완화함
- f_i'': 장치 i가 송수신한 토큰의 빈도
- P_i'': 해당 장치의 평균 친화도 점수

2.3.4 Token Dropping Strategy

목적: 불균형한 로드로 인한 성능 저하 방지 및 계산 자원의 낭비를 줄이기 위함
작동 방식
- 각 장치의 평균 계산 예산을 기준으로 토큰을 드롭
- 토큰 중에서 최저 친화도 점수를 가진 토큰을 우선적으로 제거함
- 전체 학습 시퀀스의 약 10% 토큰은 드롭되지 않도록 보장함
- 훈련과 추론 시 항상 일관성을 유지하면서 효율성을 요구에 따라 조정 가능함

2.4 리뷰 및 질문 포인트

이런 형태의 auxiliary loss를 사용한다는 것은 최적의 backward 경로를 강제로 변경한다는 의미인데, 성능 하락의 요인으로 작용하지는 않나?
- 아마 MoE는 auxiliary loss를 사용하지 않을 경우, 굉장히 불안정하게 학습되는 경향이 있는 것 같음.
MLA에서 Key와 Value를 저차원 벡터로 압축하는 이유는?
- 기존 Multi-head Attention(MHA)에서는 각 토큰마다 Key와 Value 벡터를 그대로 캐시에 저장해야 함.
- 이로 인해 토큰 수와 시퀀스 길이가 증가할수록 캐시 메모리 크기가 기하급수적으로 커짐.
- MLA는 Key와 Value를 하나의 저차원(latent) 벡터로 통합 압축하여, 메모리 사용량을 줄이고 더 큰 배치 및 긴 시퀀스를 효율적으로 처리할 수 있도록 설계됨.
MLA가 추가 파라미터(Up/Down-projection 행렬)를 요구하는데, 모델 크기가 커지면서 느려지는 효과는 없나?
- 무시할 수 있는 수준으로 작고, KV 캐시를 절약하며 얻는 이점이 훨 씬 큰 것으로 보임.
- MLA는 저차원 벡터로 통합 압축하여 캐시 크기를 대폭 줄임.
- 캐시 크기 감소로 메모리 I/O 병목이 줄어들어, GPU 메모리 대역폭과 접근 시간이 최적화됨.
- 결과적으로 연산량은 비슷하지만, 메모리 관리가 개선되어 추론 속도가 빨라지는 것으로 보임.
MLA와 RoPE가 호환되지 않는 이유는?
- RoPE는 위치별로 다른 변환을 요구
- MLA는 고정된 행렬 W_UK를 사용해 키를 복원.
- RoPE의 원리:
  - Key와 Query에 벡터 회전을 통해 위치 정보를 주입하여 각 토큰의 상대적 위치를 반영하는 방식.
  - k_t에 RoPE를 적용하면 W_UK가 위치 정보와 결합됨.
  - 문제는 벡터 회전이 행렬 곱셈이 교환 법칙을 따르지 않기 때문에, W_UK를 미리 query에 결합할 수 없음.
- 해결 방법:
  - Key와 Query에 별도의 위치 반영 벡터(q_R, k_R)를 추가하여 위치 정보를 처리.
    - 이를 위해서 회전 변환을 위한 파라미터 W_QR, W_KR을 사용
    - 여기서, 회전 변환에 대한 연산은 어텐션 연산보다 싸니까 파라미터가 추가되도 결과적으로 이득인듯.
  - 압축된 Key(k_t)와는 별개로 위치 정보를 처리하므로, W_UK와 W_UV를 사전 결합할 수 있음.
  - 그리고 최종적으로 위치가 반영된 벡터를 기존의 MLA 벡터와 concat한 다음, W_O로 merge 시키면 차원을 그대로 유지하면서 MLA와 RoPE를 사용할 수 있음.

3. Pre-Training

3.1 Data Construction

DeepSeek-V2는 DeepSeek 67B에서 사용된 데이터 처리 단계를 유지하되, 데이터 양과 품질을 동시에 개선함.
데이터 양을 확장하기 위해 인터넷 데이터를 최적화된 클리닝 프로세스를 통해 재정비하여 기존에 잘못 삭제된 데이터를 복구함.
중국어 데이터의 비중을 늘려 중국 인터넷에서 얻은 코퍼스를 효과적으로 활용함.
데이터 품질을 높이기 위해 다양한 고품질 데이터 소스를 추가하고, 개선된 품질 기반 필터링 알고리즘을 도입함.
- 비효율적이거나 불필요한 데이터를 제거하는 동시에 유용한 데이터를 보존.
- 특정 지역적 문화에서 비롯된 편향을 줄이기 위해 논란의 여지가 있는 내용을 필터링.
Byte-level Byte-Pair Encoding (BBPE) 알고리즘을 기반으로 한 100K 크기의 vocabulary를 사용하며, 최종 토큰 수는 8.1T로 설정됨.
- 중국어 토큰 수는 영어 토큰보다 약 12% 많음.

3.2 Hyper-Parameters

Model Hyper-Parameters

Transformer 구조: 60개의 Layer & 5120의 hidden dim으로 구성됨.
MLA에서는 128개의 attn head와 per-head dimension이 128로 설정됨.
- KV 압축 차원은 512, query 압축 차원은 1536으로 설정.
- Decoupled RoPE를 위한 query와 key의 per-head dimension은 64로 설정됨.
Feed-Forward Network(FFN) 구조는 DeepSeekMoE 아키텍처를 따르며, 첫 레이어를 제외한 모든 FFN을 MoE 레이어로 대체함.
- 각 MoE 레이어는 2개의 shared expert와 160개의 routed expert로 구성됨.
- 토큰당 활성화되는 전문가 수는 6개이며, 각 전문가의 hidden dim은 1536.
Compressed latent vector 및 routed expert의 intermediate hidden state에서 추가 RMS Norm과 스케일링 팩터를 적용해 안정적인 학습을 보장함.
총 파라미터 수는 236B이며, 활성화되는 파라미터 수는 21B.

Training Hyper-Parameters

AdamW 옵티마이저 사용(beta_1 = 0.9, beta_2 = 0.95, weight_decay = 0.1).
Warmup-and-step-decay LR Scheduler:
- 초기 2000 스텝 동안 최대 LR까지 선형적으로 증가.
- 60%와 90% 토큰 학습 시점에서 각각 LR을 31.6% 감소시킴.
- 최대 LR: 2.4 × 10e-4, Gradient clipping norm: 1.0.
batch size: 초기 2304에서 시작하여 225B 토큰 학습 동안 9216까지 점진적으로 증가.
sequence length: 최대 4K 토큰, 총 8.1T 토큰을 학습함.
병렬 처리:
- 모델 레이어는 pipeline parallelism으로 분산 배치.
- 각 레이어의 routed experts는 8개의 device에 균일하게 배치됨(D = 8).
- Device-limited routing: 각 토큰이 최대 3개의 디바이스로 전송됨(M = 3).
Load balance를 위한 balance losses 설정: alpha_1 = 0.003, alpha_2 = 0.05, alpha_3 = 0.02
학습 속도 향상을 위해 token-dropping strategy 사용, 평가 시에는 토큰 드롭을 하지 않음.

3.3 Infrastructures

DeepSeek-V2는 내부적으로 개발된 HAI-LLM 프레임워크를 기반으로 학습됨.
- 16-way zero-bubble pipeline parallelism, 8-way expert parallelism, ZeRO-1 data parallelism 활용.
- Tensor parallelism을 사용하지 않음으로써 통신 오버헤드를 줄임.
CUDA 커널 최적화를 통해 통신 및 라우팅 알고리즘의 성능을 향상.
- shared experts의 계산과 통신을 겹쳐(overlap) 효율성을 높임.
- FlashAttention-2를 기반으로 MLA 최적화.
NVIDIA H800 GPU 클러스터에서 실험 수행.
- 각 노드는 NVLink와 NVSwitch로 연결된 8개의 GPU를 포함.
- 노드 간 통신은 InfiniBand를 통해 이루어짐.

3.4 Long Context Extension

YaRN(Yet another RoPE Neuralization)을 적용하여 문맥 길이를 4K에서 128K로 확장.
- Decoupled RoPE에서 RoPE 정보를 포함하는 **공유 Key(k_R)**에 적용.
- 파라미터 설정: s = 40, alpha = 1, beta = 32, 최대 목표 문맥 길이 160K.
- Attention entropy 조정을 위해 스케일링 팩터 조정.
추가 학습: 시퀀스 길이 32K, 배치 크기 576 시퀀스로 1000 스텝 학습.
"Needle In A Haystack (NIAH)" 테스트에서 128K 문맥 길이에서도 우수한 성능을 보임.

3.5 Evaluation Benchmarks

DeepSeek-V2는 영어 및 중국어 평가를 위해 다양한 벤치마크에서 테스트됨.
- Multi-subject multiple-choice: MMLU, C-Eval, CMMLU
- Language understanding & reasoning: HellaSwag, PIQA, ARC, BBH
- Closed-book QA: TriviaQA, NaturalQuestions
- Reading comprehension: RACE, DROP, C3, CMRC
- Reference disambiguation: WinoGrande, CLUEWSC
- Language modeling: Pile
- Chinese understanding & culture: CHID, CCPM
- Math: GSM8K, MATH, CMath
- Code: HumanEval, MBPP, CRUXeval
- Standardized exams: AGIEval

3.6 Evaluation Results

DeepSeek-V2는 21B 활성화 파라미터만으로도 DeepSeek 67B를 대부분의 벤치마크에서 능가함.
주요 비교 결과:
1. Qwen1.5 72B와 비교:
  - 영어, 코드, 수학 벤치마크에서 우세.
  - 중국어 멀티플 초이스에서 다소 열세, 그러나 다른 중국어 벤치마크에서는 유사하거나 우세함.
2. Mixtral 8x22B와 비교:
  - TriviaQA, NaturalQuestions, HellaSwag에서 약간 열세.
  - 그러나 MMLU, 코드 및 수학 벤치마크에서는 대등한 성능.
  - 중국어 능력은 Mixtral보다 월등히 우수.
3. LLaMA3 70B와 비교:
  - 영어 데이터 양이 적음에도 불구하고 코드와 수학 벤치마크에서 유사한 성능.
  - 중국어 벤치마크에서는 압도적으로 우세.

3.7 Training and Inference Efficiency

Training Costs:
- DeepSeek-V2는 활성화 파라미터 수와 FLOPs가 적어 DeepSeek 67B 대비 **42.5%**의 학습 비용 절감.
  - DeepSeek 67B: 300.6K GPU hr / T-token
  - DeepSeek-V2: 172.8K GPU hr / T-token
Inference Efficiency:
- FP8 변환 및 KV cache quantization을 통해 효율성 향상.
- MLA 덕분에 KV 캐시 크기 감소로 더 큰 배치 크기 지원.
  - Prompt 처리 속도: 100K tokens/sec 이상
  - 생성 속도: 50K tokens/sec 이상
  - DeepSeek 67B 대비 5.76배 향상.

4. Alignment

4.1 Supervised Fine-Tuning (SFT)

데이터 구성: 150M
개선 내용:
- 환각 응답 감소 및 글쓰기 능력 향상
- 데이터 품질 개선을 통해 모델 성능 강화
train config:
- epochs: 2,
- LR: 5 × 10e-6
- 주요 벤치마크: 주로 생성 기반 평가(예: MMLU, ARC는 제외)
- 평가 메트릭: prompt-level loose accuracy
평가:
- LiveCodeBench: 2023년 9월 1일~2024년 4월 1일의 질문 사용
- 오픈엔디드 대화 벤치마크: MT-Bench, AlpacaEval 2.0, AlignBench
- 모델 비교: DeepSeek-V2 Chat (SFT) vs Qwen1.5 72B Chat, LLaMA-3-70B Instruct, Mistral-8x22B Instruct

4.2 Reinforcement Learning

알고리즘: Group Relative Policy Optimization (GRPO)
- 기존 정책에서 응답 그룹을 샘플링하여 새로운 정책 최적화
- Clipping과 KL Divergence 제약을 통해 정책의 과도한 변화 방지

변수들의 의미

theta:            새로운 정책의 파라미터.

pi_theta(o_i|q):  새로운 정책이 질문 q에 대해 응답 o_i를 선택할 확률
pi_old(o_i|q):    기존의 정책이 질문 q에 대해 응답 o_i를 선택할 확률

pi_theta/pi_old: 새로운 정책과 기존 정책 간 응답 선택 확률 비율

r_i:              응답 o_i에 대한 보상 (Reward)
A_i: Advantage -> 보상 r_i를 정규화 한 값 (응답 보상이 그룹 평균에 비해 얼마나 우수한지 평가)

G:                응답 그룹의 크기
P(Q):             질문 q의 분포

epsilon:          값이 일정 이상 튀는 것을 방지
D_KL:             현재 정책과 ref 정책의 분포간의 차이를 측정
beta:             분포간의 차이 D_KL에 얼마나 페널티를 강하게 줄지 결정

수식 해석
- 질문 q는 분포 P(Q)에서 샘플링되며, 응답 o_i는 정책 pi_old 로부터 샘플링
- Advantage를 늘리는 정책쪽으로 보상을 최대화 (pi_theta / pi_old * A_i)
- 그러나 현재 정책이 과거 정책에 비해 너무 급격하게 변하지 않게 하기 위해서 clipping
- 또한, ref 정책과 새로운 정책의 분포 차이가 너무 큰 것도 학습을 불안정하게 하므로 페널티 (-beta * D_KL)
- 이렇게 계산된 값들을 그룹별 평균내서 최종 보상을 계산

Training Strategy:
- 2 Stage Training:
  1. Reasoning Alignment: 코드 및 수학 관련 보상 모델 RM_reasoning 활용
  2. Human Preference Alignment: 다중 보상 모델 (helpful, safety, rule) 조합
보상 모델:
- 코드: 컴파일러 피드백 기반
- 수학: 정답 레이블 기반
최적화:
- GPU 메모리 및 속도 최적화를 위한 병렬 처리 및 모델 오프로드 전략
- vLLM 백엔드 사용으로 대규모 배치 처리 가속

4.3 Evaluation Results

표준 벤치마크 성능
- DeepSeek-V2 Chat (SFT) → GSM8K, MATH, HumanEval에서 큰 개선
- DeepSeek-V2 Chat (RL) → SFT 대비 수학 및 코드 성능 추가 향상
- 모델 간 비교
  - DeepSeek-V2 Chat (SFT) vs Qwen1.5 72B Chat: 영어, 코드, 수학에서 우위
  - DeepSeek-V2 Chat (RL) vs LLaMA-3-70B Instruct: Open-ended 평가에서 경쟁적 성과
Open-Ended 생성 평가:
- MT-Bench, AlpacaEval 2.0에서 DeepSeek-V2 Chat (RL)이 SFT 대비 우수한 성과
- AlignBench에서 DeepSeek-V2 Chat (RL)이 중국어 관련 이해와 응답에서 GPT-4 및 ERNIEBot을 능가.

4.4 Discussion

SFT 데이터 필요성:
- 기존 연구에서는 1만 개 미만의 SFT 데이터로 충분하다고 주장.
- 그러나, 실험 결과 IFEval 벤치마크에서 성능 저하 관찰.
- 데이터 양과 품질이 모델의 특정 능력 향상에 필수적임을 확인.
Alignment Tax:
- RL 기반 human preference alignment를 수행하면 open-ended generation 성능은 크게 개선됨.
- 반면, 일부 표준 벤치마크(BBH 등)에서는 성능 저하 현상 관찰
- 데이터 처리 및 훈련 전략 개선으로 성능 저하를 완화
온라인 vs 오프라인 RL:
- 온라인 RL이 오프라인 RL보다 더 나은 성과를 보임
- 온라인 RL 프레임워크 구축에 집중하며, 추가 분석은 향후 연구로 계획

5. Conclusion, Limitation, and Future Work

결론
- DeepSeek-V2는 128K 컨텍스트 길이를 지원하는 대규모 MoE 언어 모델로, 경제적 학습과 효율적 추론이 가능
- 기존 모델인 DeepSeek 67B와 비교하여 다음과 같은 성과 달성
  - 성능 대폭 향상
  - 학습 비용 42.5% 절감
  - KV 캐시 사용량 93.3% 감소
  - 최대 생성 처리량 5.76배 증가
  - 활성화된 파라미터가 21B임에도 최상위 오픈소스 모델로 평가됨.
한계
- 지식 업데이트 부족: 사전 학습 이후 지속적 지식 업데이트가 이루어지지 않음.
- Hallucination: 잘못된 조언이나 환각 정보가 생성될 가능성 존재.
- 언어 범위 제한: 중국어와 영어 외의 언어에서는 성능이 제한적일 수 있음.
향후 연구 개발 방향
- 장기 목표: 오픈소스 대형 모델에 지속 투자하여 **인공지능 일반화(AGI)**에 점진적으로 접근.
- MoE 모델 확장: 경제적 비용을 유지하면서 모델 확장 가능성을 탐색 중.
- GPT-4 수준 성능을 목표로 하는 차기 모델 개발 예정.
Alignment 개선
- 목표: 모델이 도움이 되며, 정직하고 안전한 응답을 제공하도록 지속적으로 개선.
- value alignment: 인간의 가치에 맞추고, 인간 감독 필요성을 최소화하는 방향 지향.
- 윤리적 고려와 책임 있는 개발을 통해 긍정적 사회적 영향을 목표로 함.
다중 모달리티 지원 계획
- 현재 DeepSeek-V2는 텍스트 모달리티만 지원.
- 향후 이미지, 음성 등 다양한 모달리티를 지원하여 모델 활용성을 확장할 계획.