tech · 2026-03-22
Attention Sink LLM의 장문 처리를 위한 Attention 메커니즘
1. Introduction
GPT-OSS는 Sliding Window Attention과 Attention Sink를 채용하여 높은 장문 처리 성능을 보임 (AA-LCR)
1.1 장문 시퀀스 처리에서 Attention의 역할
Transformer 기반 언어 모델에서 Self-Attention 메커니즘은 입력 시퀀스 내 토큰 간 의존성을 모델링하는 핵심 연산임.
1.2 Streaming 및 Long-Context 환경에서의 근본적 한계
- 확률 질량의 강제 분배: attention 확률 질량은 반드시 입력 시퀀스 어딘가에 할당되어야 함
- 초기 토큰 집중 현상: 초기 토큰에 attention이 과도하게 집중
- Window 기반 처리의 불안정성: Window 밖 토큰 제거 시 Attention 분포 붕괴
1.3 Attention Sink 문제의 정의
Attention Sink는 특정 토큰이 의미적 중요성과 무관하게 attention 확률 질량을 흡수하는 역할을 수행하는 현상.
2. Attention Sink의 기원과 구조적 원인
2.1 Window Attention 실패 현상
초기 토큰들이 Window 밖으로 제거되는 시점에서 Perplexity가 급증.
2.2 Softmax 정규화 제약과 Attention Mass 문제
softmax 정규화 구조는 Attention 확률 질량이 항상 실제 Key 토큰들에만 분배되도록 강제.
2.3 초기 토큰이 Sink가 되는 구조적 이유
- 전역 가시성: 모든 쿼리에 대해 항상 후보 key로 존재
- 학습 안정성: Sink 역할을 수행하기에 가장 안정적인 위치
- 의미 독립성: 의미적 중요도와 무관하게 확률 질량을 흡수 가능
3. StreamingLLM: 토큰 기반 Sink 접근
3.1 핵심 발견
- 하위 두 레이어를 제외한 모든 레이어와 헤드에서 초기 토큰에 attention이 집중
- 초기 4개 토큰을 줄바꿈 토큰으로 대체해도 동일한 Sink 효과
- 4개의 초기 토큰을 유지하면 Window Attention의 성능이 거의 완전히 복구
3.2 해결 전략
- Attention Sink 토큰 유지: 4개의 초기 토큰의 KV를 항상 캐시에 유지
- Rolling KV Cache: 최근 토큰들의 KV만 sliding window 방식으로 유지
- Positional Encoding 재조정
3.3 Sink Token 사전학습 제안
- Vanilla: 일반적인 Dense Attention
- Zero Sink: Softmax 분모에 1을 더해줌 → K, V가 0인 토큰을 더하는 효과
- Learnable Sink: 앞쪽에 Sink 전용 토큰 4개 추가
3.4 한계
- 위치 종속성, Cache 오버헤드, 일반화 제약, Value 경로 개입
4. 연산 내재적 Attention Sink 설계
4.1 설계 전환의 필요성
Sink 역할이 특정 토큰에 종속되지 않고, Attention 연산의 출력 구조를 왜곡하지 않는 설계 필요.
4.2 핵심 아이디어
- 각 Head마다 하나의 학습 가능한 Sink Logit 정의
- softmax 정규화 분모에 포함
- Sink에 해당하는 확률 질량은 Value 누적 과정에서 제외
4.3 Sink Token 접근과의 차별성
| 특성 | Sink Token 방식 | Learned Sink Logit 방식 |
|---|---|---|
| Sink 존재 형태 | 실제 토큰 객체 | 확률 공간의 슬롯 |
| Value 경로 개입 | 개입함 | 개입하지 않음 |
| Head별 제어 | 불가능 | 가능 |
| Sink 강도 조절 | 고정 | 학습 가능 |
5. 수학 Formulation
5.1 표준 Scaled Dot-Product Attention
softmax 정규화 조건: 모든 확률 합 = 1
5.2 Sink Logit을 포함한 확장된 Attention
s_h는 head h에 대한 학습가능한 Logit
5.3 Dummy Probability Mass 개념
Sink 확률 질량은 Value 누적 과정에 참여하지 않음.
5.4 Attention Output Attenuation 효과
표준 Attention 출력을 Sink 확률에 의해 연속적으로 감쇠(attenuate)시키는 효과.
6. Learned Sink Bias 구조
6.1 파라미터 특성
| 속성 | 설명 |
|---|---|
| 형태 | 스칼라 값 |
| 적용 단위 | Attention Head별 |
| 총 파라미터 수 | L x H (레이어 수 x 헤드 수) |
6.4 기능적 해석: Head-Level Soft Gate
7. 구현 및 학습 특성
7.1 Forward 연산에서의 Sink 처리
7.2 Self-Regularization 특성
7.3 Sink Bias 학습 특성
| Head 역할 | Sink Bias 수렴 값 | 설명 |
|---|---|---|
| 핵심 정보 전달 | 낮음 | Attention 적극 활용 |
| 간헐적 기여 | 중간 | 상황에 따라 활성화 |
| 중복/저기여 | 높음 | Soft Pruning 효과 |
7.4 Layer Depth에 따른 Sink 동작 특성
Early Layer: Sink Bias가 낮은 값으로 유지 Middle Layer: Head별 역할 분화가 뚜렷 Late Layer: Soft Pruning 현상 발생
8. 유사 개념과의 비교
8.1 Attention Mask / Dropout / Attention Sink
8.2 MoE Gate와의 비교
8.3 Vision Transformer Register와의 유사성
9. 시스템적 효과 및 실용적 의미
9.2 StreamingLLM 성능 비교
| 방식 | 시간 복잡도 | PPL (65K tokens) | 설명 |
|---|---|---|---|
| Dense Attention | O(T^2) | 5641 (실패) | 학습 길이 초과 시 실패 |
| Window Attention | O(TL) | 5158 (실패) | 초기 토큰 제거 시 붕괴 |
| Sliding Window + Recomputation | O(TL^2) | 5.43 | 높은 계산 비용 |
| StreamingLLM | O(TL) | 5.40 | 효율적이고 안정적 |
9.4 효율성 결과
StreamingLLM은 sliding window with recomputation 대비 최대 22.2배의 속도 향상.
10. 한계 및 향후 확장 가능성
10.1 Sink가 장기 기억을 제공하지 않는 한계
Attention Sink는 Memory Token, External Memory, KV Cache 확장과 같은 장기 기억 메커니즘을 대체하지 않으며 보조적 안정화 장치임.
11. 결론
11.1 재정의
Attention Sink는 softmax 기반 Attention 메커니즘의 구조적 제약에서 필연적으로 발생하는 현상.
11.2 접근 방식 비교
| 접근 방식 | 장점 | 한계 |
|---|---|---|
| StreamingLLM | 기존 모델에 즉시 적용 가능 | Cache 관리 복잡도 증가 |
| Sink Token 사전학습 | 단일 토큰으로 효과 집중 | 사전학습 필요, Value 경로 개입 |
| Learned Sink Bias | 일반화된 설계, Head별 제어 가능 | 구조 변경 필요 |
11.3 패러다임 변화
Attention은 항상 계산되지만, 항상 기여할 필요는 없음. softmax 정규화 구조 자체가 설계 확장의 대상이 될 수 있음.