Promptagator Few-shot Dense Retrieval From 8 Examples, Dai et al., ICLR 2023

Motivation

기존 dense retrieval 모델들은 MS MARCO와 같은 대규모 QA 데이터셋 의존도가 높아 다양한 검색 과제에 적응하기 어려웠음. Promptagator는 few-shot learning과 LLM을 활용해 최소한의 예시로도 task-specific retriever를 학습함으로써, 데이터 의존도를 줄이고 비용 효율성을 극대화함.

작동방식

Prompt-based Query Generation
- FLAN LLM을 활용해 주어진 문서에 대해 최대 8개의 synthetic query를 생성.
- 각 쿼리는 target task와 유사한 분포를 가지도록 설계되며, greedy decoding을 사용해 생성.
Consistency Filtering
- Round-trip consistency를 통해 생성된 쿼리가 해당 문서를 검색할 수 있는지 확인.
- 초기 dual encoder로 상위 K개 문서 내에 원본 문서가 포함된 경우에만 쿼리를 유지.
Retriever와 Re-ranker 학습
- T5-base dual encoder로 retriever를 학습하며, filtering된 데이터를 사용해 fine-tuning을 수행.
- Promptagator++는 cross-attention 기반 re-ranker로 추가적인 성능 향상을 목표로 함.
Evaluation 및 최종 Re-ranking
- Pyserini로 BM25 기반 초기 검색을 수행하고, Promptagator re-ranker로 재정렬하여 최종 성능 평가.

기대 효과 및 활용 결과

MS MARCO 같은 대규모 데이터 없이도 task-specific retriever를 생성 가능.
Few-shot 환경에서도 기존의 대규모 학습 모델과 비슷하거나 더 나은 성과를 달성함.
다양한 도메인에 빠르게 적응할 수 있으며, 검색 비용을 크게 줄일 수 있음.

성능 비교

Dataset	BM25	ColBERT v2	SPLADE v2	Promptagator Zero-shot	Promptagator Few-shot
ArguAna	31.5	46.3	47.9	53.8	59.4
Touche-2020	36.7	26.3	27.2	26.6	34.5
SciFact	66.5	69.3	69.3	76.2	77.0
SciDocs	15.8	15.4	15.8	16.3	18.4

장단점

장점:
- MS MARCO 같은 대규모 데이터셋 없이도 성능 향상 가능.
- Round-trip consistency filtering으로 데이터 품질 향상.
- Re-ranker를 통해 성능을 추가적으로 개선할 수 있음.
단점:
- 일부 데이터셋에서는 성능 개선이 제한적일 수 있음.
- Prompt 및 데이터 생성 과정에서 시간과 계산 비용이 발생할 수 있음.

한계 및 Future Work

Data Quality Issue: 생성된 쿼리의 품질이 모델 성능에 큰 영향을 미침.
Prompt Sensitivity: 프롬프트의 민감도를 분석하고, 더 안정적인 프롬프트 설계가 필요함.
LLM의 효율적 활용: LLM의 활용을 최적화할 방안 연구 필요.
Real-time Search: 실시간 검색을 위해 적응형 데이터 생성 전략 개발 필요.

기타 디테일

데이터셋: BEIR 벤치마크 사용.
리소스: TPU v3-8에서 학습 수행.
코드 공개: GitHub에 코드 제공 예정.