Gecko Versatile Text Embeddings Distilled from Large Language Models, Lee et al., arXiv 2024

Motivation

기존 텍스트 임베딩 모델은 특정 task에 최적화되거나 대규모 학습 데이터에 의존함.
다목적 임베딩 모델을 위해서는 여러 도메인과 다양한 task를 학습해야 하지만, 데이터 수집과 레이블링에 큰 비용이 발생함.
Gecko는 LLM을 활용해 데이터를 증류하고, 다양한 task에 적합한 다목적 임베딩을 개발하여 데이터 비용을 줄이고 성능을 유지하고자 함.

작동방식

Pre-finetuning 단계
- Community QA 데이터셋과 웹 크롤링 데이터를 활용해 초기 임베딩을 학습함.
- Contrastive learning을 사용해 query-positive/negative 쌍을 학습하며, 질문과 관련된 임베딩이 가까워지도록 만듦.
```
Query: "Who wrote The Great Gatsby?"
Positive: "F. Scott Fitzgerald wrote The Great Gatsby."
Negative: "Moby Dick was written by Herman Melville."
```
- Mean pooling을 사용해 각 문장의 임베딩 벡터를 생성함.
FRet 데이터셋 생성 과정
- LLM을 사용해 다양한 task와 쿼리를 생성함.
  - 입력 문장에 대한 질문을 생성함.
  - Retriever를 사용해 관련된 문서를 검색하고, 여러 ranking 결과를 Reciprocal Rank Fusion (RRF) 방식으로 결합하여 최적의 문서를 선택함.
  - RRF 작동 방식:
```
RRF Score(d) = sum (1 / (k + rank_d_i))
```
    - 여러 시스템에서 반환한 문서의 순위를 결합해 높은 순위의 문서에 더 큰 가중치를 부여함.
Fine-tuning 단계와 Same-tower Negatives 활용
- FRet와 학문적 데이터셋(NQ, HotpotQA 등)을 결합해 최종 모델을 학습함.
- Same-tower negatives를 사용해, 동일 인코더에서 나온 유사 질문/문서를 hard negative sample로 활용함
```
Query 1: "What is the capital of France?"
Query 2: "What is the capital of Germany?"
```
  - Query 1의 학습 과정에서 Query 2의 임베딩을 negative로 사용해 질문 간 미세한 차이를 구분하도록 학습함.
Inference 및 임베딩 활용
- 256차원 임베딩은 메모리 효율성이 뛰어나고, 768차원 임베딩은 고성능 환경에서 사용됨.
- 다양한 NLP task와 실시간 검색 시스템에 활용 가능함.

기대 효과 및 활용 결과

256차원 임베딩에서도 기존 대형 모델과 유사한 성능을 보임.
Zero-shot 학습에서도 뛰어난 성능을 발휘하며, 다언어 지원 기능을 통해 다양한 task에 활용 가능함.
Prompt engineering과 knowledge selection을 최적화하는 데 유용하게 활용됨.

성능 비교

Model	Retrieval	Classification	STS	Summary	평균 성능
text-embedding-3-large	55.44	81.73	85.72	29.92	64.59
Gecko-1B-256	52.44	84.93 (+3.20)	87.25 (+1.53)	32.36 (+2.44)	64.37
Gecko-1B-768	55.70	85.06 (+3.33)	87.61 (+1.89)	32.63 (+2.71)	66.31

장단점

장점
- 256차원 임베딩으로도 기존 대형 모델과 유사한 성능을 제공함.
- 다양한 도메인과 환경에서 일관된 성능을 보임.
- Zero-shot 성능이 뛰어나고, 다언어 지원 기능을 통해 확장 가능함.
단점
- 웹 데이터 편향 문제가 발생할 수 있음.
- 다언어 데이터셋의 확장이 필요함.

한계 및 Future Work

웹 데이터 편향 문제를 해결하기 위한 추가 연구가 필요함.
다양한 언어와 도메인에서의 성능 검증이 요구됨.
더 작은 모델 크기로 동일한 성능을 목표로 하는 연구가 가능함.

기타 디테일

사용된 데이터셋: Natural Questions, HotpotQA, SNLI 등.
코드 및 데이터: GitHub에 공개 예정.