Improving Text Embeddings with Large Language Models, Wang et al., ACL 2024

Motivation

기존 임베딩 모델은 복잡한 학습 파이프라인과 대규모 레이블 데이터에 의존하며, 다양한 도메인과 low-resource 언어 지원에 한계가 있음.
이 연구는 synthetic data 생성과 LLM을 활용하여 더 효율적이고 다목적 임베딩 모델을 구축하고자 함.

작동방식

Synthetic Data Generation 단계
- LLM을 사용해 다양한 task에 필요한 데이터를 생성함.
- 두 가지 task 유형:
  - Asymmetric Task: 쿼리와 문서가 다른 의미를 지니지만 관련된 정보를 담음.
```
Query: "How to use Power BI?"
Positive: "Power BI is a powerful tool for data analysis."
Hard Negative: "Excel is a spreadsheet tool."
```
  - Symmetric Task: 쿼리와 문서가 동일한 의미를 전달.
```
Query 1: "What is the capital of France?"
Query 2: "Where is Paris located?"
```
Training: InfoNCE Loss와 In-batch Negatives 사용
- InfoNCE Loss: 쿼리와 positive 예시 간의 유사도를 극대화하고, negative sample과의 유사도를 최소화함.
- In-batch negatives: 동일 배치 내 다른 샘플들을 negative sample로 활용하여 학습 효율을 극대화.
```
Query 1: "What is the capital of France?"
Positive: "Paris is the capital of France."
Query 2: "What is the capital of Germany?"
```
  - Query 1의 positive 예시가 Query 2의 부정 예시로 사용됨.
LoRA (Low-Rank Adaptation) 적용
- LoRA는 대규모 가중치를 업데이트하지 않고 저차원 행렬만 학습해 메모리 사용량을 줄임.
RoPE (Rotary Position Embedding) 확장
- RoPE는 회전 변환을 통해 긴 문서에서도 위치 정보를 유지하며, 최대 32k tokens까지 처리할 수 있도록 지원함.
Fine-tuning과 Same-tower Negatives 활용
- Same-tower negatives: 동일 인코더에서 생성된 유사한 문장을 부정 예시로 사용해 정밀한 학습을 수행함.
Inference 및 임베딩 활용
- 학습된 임베딩은 다중 언어 지원과 긴 문서 처리에 적합하며, 다양한 NLP task에 활용 가능함.

기대 효과 및 활용 결과

Few-shot 및 zero-shot task에서도 강력한 성능을 보임.
다중 언어와 긴 문서 처리에 유용하며, 실시간 검색 시스템에서도 높은 성능을 제공함.

성능 비교 (구체적인 수치 제시)

Model	BEIR	MTEB
OpenAI text-embedding-3-large	55.4	64.6
E5-mistral-7B + full data	56.9 (+1.5)	66.6 (+2.0)
w/ synthetic data only	59.0 (+2.1)	63.1 (-3.5)

장단점

장점
- LoRA와 RoPE 기법을 통해 학습 속도와 메모리 효율을 극대화함.
- 긴 문서와 다양한 언어를 처리할 수 있는 확장성을 제공함.
- Few-shot과 zero-shot 학습에서도 뛰어난 성능을 발휘함.
단점
- Low-resource 언어에 대한 성능이 상대적으로 낮음.
- RoPE 확장으로 인해 짧은 문서에서의 성능이 일부 저하될 수 있음.

대체재 및 비교

BERT 임베딩 모델: 복잡한 학습 과정과 데이터 의존도가 높음.
OpenAI text-embedding-3-large: 상업적 사용에 최적화되었으나 투명성이 부족함.

한계 및 Future Work

Low-resource 언어에 대한 추가 연구가 필요함.
모델 경량화와 긴 문서 처리 성능을 개선하기 위한 연구가 필요함.
Open-source LLM을 활용한 synthetic data 최적화를 탐색할 계획임.

기타 디테일

사용된 데이터셋: MS-MARCO, MIRACL, SQuAD 등.
코드 및 데이터: GitHub에 공개 예정.