Learning without training The implicit dynamics of in-context learning

1. Introduction

이 논문은 ICL 메커니즘을 Weight Space에서의 암묵적 학습 동역학으로 해석하는 새로운 분석틀을 제시함. 기존 연구들은 Transformer의 Self-Attention 구조에 특정 제약(예: 선형 Attention, 단일 헤드)을 가정해야만 ICL의 암묵적 학습을 설명할 수 있었으나, 여기서는 이러한 가정을 제거하고 보다 일반화된 형태로 문제를 다룸.

핵심 아이디어는 Transformer 블록을 Contextual Layer + Neural Network(MLP)의 조합으로 일반화한 Contextual Block 개념임. 이 구조를 통해 프롬프트로 주어진 컨텍스트가 모델의 입력 Representation을 넘어 MLP 첫 레이어의 Weight Space에 Rank-1 형태의 암묵적 업데이트를 유도한다는 사실을 도출함. 이는 프롬프트가 단순한 입력이 아니라, 모델 내부 파라미터를 실시간으로 저차원 재배치하는 역할을 수행함을 의미함.

Main Contribution

Contextual Block: Contextual Layer와 신경망을 결합하여 Transformer 블록을 일반화한 새로운 분석 단위 정의
Prompt = Low-Rank Weight Update: 컨텍스트가 존재하는 토큰 출력과, 컨텍스트 없이 Rank-1 업데이트가 적용된 가중치에서의 출력이 동등함을 수식으로 증명
명시적 업데이트 공식 제시: 컨텍스트에 의해 유도되는 암묵적 가중치 업데이트의 수식 제공
Implicit Learning Dynamics: 토큰 소비 과정이 신경망 Weight Space에서의 implicit gradient descent 해석될 수 있음을 제시

대규모 언어 모델은 특정 규모 이상에서 프롬프트 예시로부터 학습하는 In-Context Learning(ICL) 능력 발현
기존 논쟁:
- ICL이 실제 추론 시점 학습인지, 사전 학습 능력의 호출인지에 대한 논의
- 일부 연구: 프롬프트는 Bayesian Conditioning 역할, 무작위 라벨에서도 성능 유지 → 진정한 학습 아님
- 최근 연구: 대형 모델에서는 무작위 라벨도 새로운 학습 유도, 데이터 다양성이 ICL 발현에 중요
Regression 기반 연구:
- Transformer는 추론 시점에서 선형 함수, 의사결정 트리 등 새로운 함수를 ICL로 학습 가능
- Meta-Optimizer 가설: 추론 과정이 Gradient Descent와 유사한 암묵적 최적화로 해석
- Chain-of-Thought 프롬프트는 다단계 Gradient Descent 효과
기존 한계:
- 대부분 Linear Attention, 회귀 예시라는 제한적 가정에 의존
- 실제 LLM 환경과의 간극 및 Fine-tuning과의 dynamics 차이 지적
본 연구의 접근:
- ICL을 Weight Space 암묵적 업데이트로 해석
- 선형 Attention 및 제한된 프롬프트 가정 제거 → 실제 Transformer 블록에 가까운 일반화
- 암묵적 학습 동역학의 주체를 Self-Attention이 아닌 MLP 첫 레이어 Weight로 설정

2. Contextual Blocks

2.1 핵심 개념

Transformer의 Self-Attention 레이어를 일반화한 Contextual Layer 개념 도입
Contextual Layer와 Neural Network(MLP)를 합성한 Contextual Block 정의
컨텍스트가 모델 출력에 미치는 효과를 Low-Rank Weight Update로 수식화

2.1.1 Contextual Layer 정의

∆A(C) = A(C, x) − A(x)

수식
- A(C, x): Contextual Layer A가 컨텍스트 C와 Query x를 함께 입력받아 생성한 출력 벡터
- A(x): 동일한 Query x를 컨텍스트 없이 단독 입력했을 때의 출력 벡터
- ∆A(C): 두 출력의 차이로, 컨텍스트가 Query 표현에 끼친 변화량을 나타내는 벡터
직관적 해석
- **∆A(C)**는 Prompt가 모델 내부 표현을 얼마나 이동시켰는지를 나타내는 벡터
- **A(x)**와 **A(C, x)**의 차이를 계산하여 Prompt가 Query Embedding을 어느 방향으로 재배치했는지 파악
- 이 벡터는 Weight Update ∆W의 원천 신호로 작동하며, ICL에서 컨텍스트가 Feature Space에 남긴 직접적인 흔적
예시
```
Query: "Good morning"
Prompt C: "Translate English to French: Hello → Bonjour"
```
- 컨텍스트 없이 Query만 입력: A(x)는 일반적인 언어 모델 표현
- Prompt와 함께 입력: A(C, x)는 번역기 모드로 조정된 표현
- ∆A(C)는 Prompt가 Query Representation을 번역 태스크 방향으로 이동시킨 정도를 벡터로 나타냄
핵심 포인트
- ∆A(C)는 이후 Rank-1 Weight Update를 정의하는 데 사용되는 기본 벡터
- 컨텍스트가 Feature Space에서 남기는 변화를 수치적으로 포착하는 역할 수행

2.1.2 Contextual Block 정의

T_W = M_W ∘ A
M_W(z) = fθ(W z + b)

수식
- T_W: Contextual Block 전체를 나타내는 함수, Contextual Layer A와 Neural Network M_W의 합성
- A: 컨텍스트를 받아 Representation을 생성하는 Contextual Layer (Self-Attention을 포함하는 상위 개념)
- M_W: 첫 Linear Layer의 가중치 W와 바이어스 b를 갖는 Neural Network
- fθ: 첫 레이어 이후의 비선형 변환 전체를 포함하는 함수
직관적 해석
- Transformer 블록을 "Contextual Representation → Weight Space 투영" 구조로 단순화
- Contextual Layer A는 Prompt를 Feature Space로 변환, M_W는 이를 Weight Space에서 해석
- ICL의 핵심을 Self-Attention 세부 구조가 아닌 Contextual Feature + MLP 조합으로 일반화
예시
- A(C, x): 번역 Prompt와 Query를 입력받아 "번역기 모드"의 Query Representation 생성
- M_W: 이 Representation을 기반으로 실제 출력 토큰 분포를 결정하는 MLP
- T_W: 전체 Transformer Block이 Prompt에 반응해 Query를 처리하는 하나의 매핑 함수
핵심 포인트
- Contextual Block 정의는 Prompt가 Weight Update로 전환되는 수식적 틀 제공
- Transformer의 ICL을 Contextual Layer + Neural Network라는 더 일반적인 구조에서 설명

2.2 수식 전개

2.2.1 Contextual Block 출력과 Low-Rank 업데이트 관계

수식
- T_W(C, x): 전체 컨텍스트 C와 Query x를 입력했을 때의 Contextual Block 출력
- Y ⊂ C: 컨텍스트의 부분집합
- C \ Y: Y를 제외한 나머지 컨텍스트
- T_{W + ∆W(Y)}: 첫 레이어 가중치 W가 ∆W(Y)만큼 업데이트된 Contextual Block
- 수식은 컨텍스트 Y를 입력으로 넣은 효과가 Weight를 ∆W(Y)로 업데이트한 효과와 동일함을 나타냄
직관적 해석
- Prompt의 일부 Y는 단순히 입력으로 소비되는 대신 Weight Space에 Rank-1 형태로 전이될 수 있음
- ICL은 단순 입력 처리가 아니라, 컨텍스트를 Weight Update로 변환하는 과정으로 해석
- 남은 컨텍스트 (C \ Y)와 Query만으로도, 해당 업데이트가 적용되면 전체 Prompt와 동일한 출력을 생성
예시
```
C = ["Translate English to French:", "Hello → Bonjour"]
Y = ["Translate English to French:"]
C \ Y = ["Hello → Bonjour"]
```
- T_W(C, x): 전체 Prompt와 Query를 넣은 출력
- T_{W + ∆W(Y)}(C \ Y, x): 번역 태스크 전환이라는 Y의 효과가 Weight Update로 전이된 모델이 나머지 컨텍스트와 Query만으로 동일한 출력 생성
핵심 포인트
- In-Context Learning의 본질을 Prompt = Weight Update라는 수식적 형태로 명확히 표현
- 컨텍스트 일부를 Weight Space로 전환하는 것이 입력 자체와 등가라는 점을 수학적으로 증명

2.2.2 Low-Rank Weight Update 공식

수식
- ∆W(Y): 컨텍스트 Y가 유도하는 첫 레이어 가중치의 암묵적 업데이트
- W: MLP 첫 레이어의 기존 가중치 행렬
- ∆A(Y): 컨텍스트 Y가 Query Representation에 끼친 변화량 (A(C, x) − A(C \ Y, x))
- A(C \ Y, x): 남은 컨텍스트와 Query를 입력했을 때의 출력 벡터
- (W ∆A(Y)) A(C \ Y, x)^T: Column Vector × Row Vector 형태의 외적 구조로 Rank-1 업데이트 형성
직관적 해석
- ∆A(Y)는 컨텍스트 Y가 Feature Space에서 만든 변화 신호
- 이를 W와 곱해 Weight Space로 투영하고, A(C \ Y, x)^T를 통해 적용 방향을 설정
- 결과적으로 모델은 Prompt에 반응해 MLP 첫 레이어를 하나의 저차원 방향으로 미세 조정
- 업데이트가 Rank-1인 이유는 Prompt의 정보가 매우 압축된 형태로 Weight Space를 재배치하기 때문
핵심 포인트
- ∆W(Y)는 ICL의 빠르고 가역적인 적응 메커니즘을 설명하는 핵심 수식
- Prompt가 입력을 넘어서 Weight Space를 실시간으로 재배치한다는 사실을 수학적으로 표현
- Rank-1 구조는 ICL이 Full Fine-tuning이 아닌 저차원 Weight Update라는 점을 드러냄

2.2.3 Contextual Block 업데이트 대입

수식
- T_{W + ∆W(Y)}: ∆W(Y)가 적용된 Contextual Block
- A(C \ Y, x): 남은 컨텍스트와 Query를 입력한 Contextual Layer의 출력
- fθ: 첫 레이어 이후의 비선형 변환
- 식은 ∆W(Y)가 적용된 가중치를 사용해 Contextual Block의 출력을 표현한 형태
직관적 해석
- Weight 업데이트가 적용되면 모델은 Prompt Y의 효과를 Weight Space에서 내재화
- 남은 컨텍스트 C \ Y와 Query만으로도 전체 컨텍스트를 본 것과 동일한 출력을 생성할 준비 완료
- In-Context Learning의 Weight Space 투영 과정을 직접적으로 보여주는 시작점
핵심 포인트
- Prompt를 Weight Update로 전이하는 과정이 Contextual Block의 수식으로 직접 나타남
- 이후 단계에서 ∆W(Y) 항의 분리와 Rank-1 구조 해석으로 이어지는 기반 식

2.2.4 Prompt를 Weight Update로 전환하는 수학적 등가성

수식
- (2)~(4):
  - 좌항: 업데이트된 Weight W + ∆W(Y)를 가진 Contextual Block이 남은 컨텍스트 C \ Y와 Query x를 입력받아 생성한 최종 출력
  - 이는 Prompt의 일부 Y를 입력 대신 Weight Update로 전환했을 때 모델이 내는 응답을 의미
  - 우항:
    - Contextual Layer A는 남은 컨텍스트와 Query를 결합하여 A(C \ Y, x)라는 Feature Representation 생성
    - 이 Representation은 모델이 Prompt를 처리해 얻은 Query의 의미적 상태를 담고 있음
    - M_{W + ∆W(Y)}는 이 상태를 입력받아, 첫 Fully-Connected Layer의 가중치 W에 Prompt Y가 반영된 업데이트 ∆W(Y)를 적용하여 변환 수행
    - fθ는 이 두 항의 합을 입력으로 받아, 모델이 최종적으로 생성할 Representation이나 출력을 결정
    - 즉, 컨텍스트가 만든 Feature 변화가 업데이트된 Weight를 통해 모델의 내부 파라미터 공간에서 최종 응답으로 변환되는 전체 과정을 표현
- (5)~(7):
  - ∆W(Y)는 [2.2.2]에서 정의한 Rank-1 정의식으로 주어짐: 좌항 → 우항 전개
  - A(C \ Y, x)^T A(C \ Y, x) = ||A(C \ Y, x)||² 관계 사용
    - 벡터의 자기 외적은 L2-norm의 제곱이므로 분자와 분모가 상쇄
    - 따라서 ∆W(Y) A(C \ Y, x) = W ∆A(Y) 로 단순화됨
  - 직관적 해석
    - ∆A(Y): 컨텍스트 Y가 만든 Feature Space 상의 변화
    - W ∆A(Y): 이 변화가 첫 레이어의 Weight Space로 직접 투영된 결과
    - 이 단계는 Prompt가 Feature Representation을 얼마나 움직였는가를 Weight가 어느 방향으로 업데이트되는가와 1:1로 연결하는 수식적 근거
    - ICL의 핵심을 "Prompt → Feature 변화 → Weight 업데이트 → 최종 출력"이라는 흐름으로 연결.

2.2.5 컨텍스트가 Weight로 전이되는 일반성

위 수식은 어떤 형태의 Contextual Layer라도 Prompt 정보를 첫 번째 신경망 레이어의 가중치로 전이
Self-Attention, RNN, Local Attention 등 다양한 구조에서 적용 가능
즉, Layer의 구조에 따라 Weight Update의 유용성이 달라질 수 있음
Prompt는 입력이 아닌 Weight Space 조정 신호로 작동
ICL 품질은 Layer가 Prompt를 얼마나 효과적으로 Rank-1 업데이트로 변환하느냐에 따라 결정

2.2.6 전체 컨텍스트를 단일 Weight 업데이트로 전환

수식
- ∆A = A(C, x) − A(x): 전체 컨텍스트 C가 Query Representation에 끼친 변화
- ∆W(C): 전체 Prompt 정보를 모델의 Weight Space에 투영한 Rank-1 업데이트
- T_W(C, x): 전체 컨텍스트를 입력한 Contextual Block 출력
- T_{W + ∆W(C)}(x): 업데이트된 Weight만으로 동일한 출력 생성
직관적 해석
- 전체 Prompt의 정보가 단일 Rank-1 Weight Update ∆W(C)로 모델에 전이 가능
- In-Context Learning은 프롬프트를 입력으로 소비하는 대신 Weight를 실시간으로 미세 조정하는 암묵적 Fine-tuning으로 작동
- 모든 컨텍스트의 효과를 Weight Space에 압축하여 모델의 파라미터 공간에서 재현

3 The implicit learning dynamics of ICL

3.1 Context 순차 추가와 Weight Update Sequence

수식 (10~13)

Context를 Token 단위로 추가할 때마다 ∆W가 누적되어 Weight가 점진적으로 변화하는 구조
Prompt가 점진적 Fine-tuning과 동일한 효과를 낸다는 수학적 틀 제공

직관적 해석

각 Token은 독립적인 Rank-1 업데이트를 유도
Context 전체는 이러한 저차원 업데이트의 합으로 표현
Prompt를 읽는 과정이 Weight Space 위에서 학습 궤적을 따라가는 과정으로 해석

수식 (14)

전체 Prompt를 처리한 후의 모델 상태를 Fine-tuned Weight와 등가로 보는 관점
Context 소비 = 암묵적 Weight Adaptation의 완료 상태

3.2 Online Gradient Descent로의 변환

수식 (15):

Token-by-Token 업데이트가 Online SGD Step과 동일한 구조를 가짐
h = 1 / ||A(x)||²로 정의 → Context 표현의 크기에 따라 조절되는 learning rate

직관적 해석

Prompt 소비 = Weight Space에서의 학습 스텝
Token은 데이터 포인트, Wi 업데이트는 확률적 Gradient Descent 단계로 대응
In-Context Learning이 실제 학습 동역학과 동일한 수학적 형태를 따른다는 근거

3.3 Loss 정의와 Trace의 역할

수식 (16):

∇W trace(AᵀW) = A 성질을 이용하여 ∆ᵢ를 Gradient로 연결
Trace는 두 행렬의 Frobenius inner product와 동일, 방향성을 가진 Loss를 정의하는 가장 단순한 선택

직관적 해석

Prompt Token 추가 → 출력 변화 → ∆ᵢ로 측정 → Gradient 방향으로 전환
Trace를 사용함으로써 Context 효과를 최소화해야 하는 최적화 문제로 재구성
Weight Space 적응을 Loss Minimization 관점에서 이해할 수 있는 틀 제공

3.4 ∆W 업데이트의 Rank-1 구조

수식 (17~19):

Token 추가 시 Marginal Update를 분리하여 Context Token의 개별 기여도 분석 (17)
Column Vector × Row Vector 외적 구조 → 항상 Rank-1 업데이트 (18)
h = 1 / ||A(x)||² → Gradient Norm이 Context 길이에 따라 점진적으로 감소하는 패턴 (19)

직관적 해석

Prompt 정보는 Weight Space를 한 방향으로 이동시키는 압축된 신호
Context 추가 시 Feature 변화 ∆A(Y)가 Weight 업데이트 방향으로 투영
빠른 적응과 가역성을 설명하는 핵심 구조

3.5 Gradient Dynamics의 수렴 패턴

수식 (20):

Prompt 길이가 길어질수록 ∆ᵢ → 0, Gradient Norm → 0으로 수렴
Online Gradient Descent의 전형적 수렴 패턴을 재현

직관적 해석

Prompt를 읽는 과정이 Loss Surface 상에서 수렴 경로를 그리는 학습 동역학
Full Context 도달 시 암묵적 Fine-tuned Weight 상태로 안정화
In-Context Learning의 적응 과정을 최적화 관점에서 설명

3.6 요약

Context Token 추가 → Representation 변화 ∆A → Rank-1 Weight Update ∆W → Wi 시퀀스 형성 → Online GD Dynamics → 수렴
Prompt = Weight Update라는 등가성을 명확히 수식으로 정립

4 Experiments

4.1 Setup과 실험 목적

실험 설계의 핵심

Theorem 2.2 (1~7 수식)의 결과(= ∆W(C)를 통한 Weight Update 등가성)를 실제 Transformer 모델에서 검증
기존에검증한 Transformer는 ICL로 선형 함수를 학습할 수 있다는 결과를 기반으로, Prompt의 효과가 실제로 ∆W 업데이트로 전환되는지를 테스트

데이터와 모델

입력: (x₁, h(x₁), ..., xN, h(xN), xquery) 형태의 In-Context Prompt
함수 클래스: h(x) = ⟨w, x⟩ 형태의 선형 함수
x, xquery, w ~ N(0, I_d)
모델: 단일 Transformer 블록 기반, 출력은 Query Token의 마지막 차원

실험 목표

y(xquery | Prompt) ≈ y(xquery | Weight W + ∆W(C)) 검증
Prompt 없이 Weight를 업데이트한 모델과 Prompt를 넣은 모델의 출력이 일치하는지 확인

4.2 Verifying Theorem 2.2 (수식 8 검증)

검증 가설

왼쪽: In-Context Prompt를 그대로 입력한 모델의 출력
오른쪽: Prompt 없이 Weight만 ∆W로 업데이트한 모델의 출력

결과 해석

Validation Loss 비교 시 두 경우의 값이 거의 완벽히 일치
Prompt의 효과가 실제로 ∆W 업데이트로 전환될 수 있다는 것을 실험적으로 입증
ICL은 단순히 Representation Space에서의 변화가 아니라, Weight Space 업데이트와 등가인 메커니즘이라는 것을 실제 모델에서 확인

4.3 Convergence of ∆W (수식 10–13 기반)

실험 아이디어

Proposition 3.1에서 제시한 Online Gradient Descent Dynamics를 검증
Context Token이 순차적으로 추가될 때 ∆W(i)가 점진적으로 수렴하는지 측정

실험 관찰

∆W(i+1) − ∆W(i)의 L2 Norm을 계산
Context 길이가 늘어날수록 Gradient Norm이 감소 → ∆W가 안정화

결과 해석

Prompt를 읽는 과정이 Gradient Descent 수렴 패턴을 그대로 재현
Context 소비 → Weight Space 적응 → 암묵적 Fine-tuned Weight 도달

4.4 Comparison with Fine-tuning

실험 설정

Pretrained Transformer를 준비하고, 새로운 선형 함수 test로 Fine-tuning 진행
Fine-tuning은 MLP 첫 레이어만 업데이트, SGD 스텝 단위로 데이터 추가
동일한 Context에 대해 ∆W 업데이트만 적용한 경우와 Loss 비교

결과 해석

Fine-tuning의 Gradient Descent Loss와 ∆W 기반 Loss가 매우 유사한 최소화 경향
Prompt 기반 ∆W 업데이트가 실제 SGD Fine-tuning과 동등한 효과를 발휘
ICL은 단순 Conditioning이 아니라, SGD 기반 Fine-tuning과 동일한 Weight Space 적응을 Prompt만으로 수행
∆W의 Rank-1 업데이트가 빠르고 가역적인 학습 메커니즘임을 실험적으로 뒷받침

5 Conclusion

5.1 핵심

ICL을 Weight Space 상의 Implicit Learning Dynamics으로 해석
Self-Attention의 세부 구조에 의존하지 않고, Contextual Layer + MLP 조합만으로 ICL 메커니즘 설명
Prompt의 효과를 Rank-1 Weight Update로 수식화하여 Prompt = Weight Update라는 등가성을 정립
Token-by-Token 처리 과정을 Online Gradient Descent와 동일한 형태로 재구성
ICL이 실제 Fine-tuning과 동일한 Weight Adaptation을 수행한다는 실험적 근거 확보

5.2 Contribution

Transformer 내부의 특정 Attention 구조에 한정되지 않고 RNN, Local Attention 등 다양한 Contextual Layer로 확장 가능한 일반화된 틀 제시
ICL이 Feature Space의 변화 → Weight Space 업데이트라는 연결고리를 통해 작동한다는 해석 제공
LLM의 빠른 Generalization과 추론 시점 적응력에 대한 새로운 이론적 기반 마련

5.3 Limitation

단순화된 가정에 단일 Transformer Block 수준의 분석에 국한
- ∆W 공식은 마지막 Query Token의 출력에 대해서만 유효
- 전체 시퀀스 생성 과정의 메커니즘은 포착하지 못함
실제 모델 Weight를 직접 업데이트하는 것이 아니라 수학적 등가성으로 해석한 구조
Multi-layer Transformer에서 Rank-1 업데이트가 유지되는지에 대한 추가 분석 필요

1. Introduction

1.1 Related Work

2. Contextual Blocks

2.1 핵심 개념

2.1.1 Contextual Layer 정의

2.1.2 Contextual Block 정의

2.2 수식 전개

2.2.1 Contextual Block 출력과 Low-Rank 업데이트 관계

2.2.2 Low-Rank Weight Update 공식

2.2.3 Contextual Block 업데이트 대입

2.2.4 Prompt를 Weight Update로 전환하는 수학적 등가성

2.2.5 컨텍스트가 Weight로 전이되는 일반성

2.2.6 전체 컨텍스트를 단일 Weight 업데이트로 전환

3 The implicit learning dynamics of ICL

3.1 Context 순차 추가와 Weight Update Sequence

3.2 Online Gradient Descent로의 변환

3.3 Loss 정의와 Trace의 역할

3.4 ∆W 업데이트의 Rank-1 구조

3.5 Gradient Dynamics의 수렴 패턴

3.6 요약

4 Experiments

4.1 Setup과 실험 목적

4.2 Verifying Theorem 2.2 (수식 8 검증)

4.3 Convergence of ∆W (수식 10–13 기반)

4.4 Comparison with Fine-tuning

5 Conclusion

5.1 핵심

5.2 Contribution

5.3 Limitation