Pre-training with Large Language Model-based Document Expansion for Dense Passage Retrieval, Ma et al., arXiv 2023

작동방식

1. LLM 기반 쿼리 생성

   • tk-Instruct와 Alpaca 모델을 사용해 문서에 적합한 질문을 생성.

     • Zero-shot: Alpaca 7B와 13B 모델을 사용.
     • Few-shot: tk-Instruct에 예제를 제공해 안정적인 질문을 생성.

2. Bottlenecked Query Generation

   • BERT-base 인코더로 문서를 임베딩하고, Transformer 디코더로 확장된 질문을 생성.
   • 인코더의 CLS 토큰과 질문을 연결해 cross-entropy loss로 학습.

3. Contrastive Learning

   • 문서와 질문을 각각 임베딩하고, positive/negative 예시와 비교해 contrastive loss로 학습.

     • Positive example: 문서와 관련 있는 질문 쌍.
     • Negative example: 무작위로 선택된 질문과 문서.

4. Curriculum Learning

   • 초기에는 랜덤 샘플링된 문서 구간으로 coarse-grained 학습.

   • 이후 확장된 쿼리를 활용해 fine-grained 학습 수행.

     • 전체 MS MARCO 데이터 중 0.4M 문서만 사용해 학습 비용을 줄임.

---

기대 효과 및 활용 결과

• 다양한 도메인에 Zero-shot 성능 향상.
• 실시간 추론 대신 사전 학습으로 추론 비용 절감.
• 여러 특수 도메인에서 적용 가능성을 극대화함.

---

성능 비교

Model	MS MARCO (MRR@10)	TREC-DL 19 (nDCG@10)	TREC-DL 20 (nDCG@10)
BM25	18.7	51.2	47.7
Baseline	38.8	71.1	68.4
tk-Instruct 3B	39.6 (+0.8)	72.9 (+1.8)	71.1 (+2.7)
Alpaca 7B	40.0 (+1.2)	72.9 (+1.8)	71.3 (+2.9)
Alpaca 13B	39.6 (+0.8)	72.6 (+1.5)	72.3 (+3.9)

---

장단점

• 장점:

  • 실시간 추론 없이도 성능을 개선해 비용 절감 가능.
  • 다양한 도메인에서 Zero-shot 성능을 극대화.
  • Contrastive Learning과 Bottlenecked Query Generation 결합으로 효율적 학습 가능.

• 단점:

  • 초기 사전 학습에 고비용이 요구됨.
  • 특정 도메인에서는 성능 개선이 제한적일 수 있음.

---

한계 및 Future Work

• 데이터 분포 차이 문제: 기존 데이터와 확장된 쿼리 간 분포 차이로 성능이 저하될 가능성 있음. 도메인 적응 연구 필요.
• LLM 추론 비용 문제: 더 작은 모델 사용 또는 프롬프트 최적화를 통해 비용 절감 필요.
• Dense Retriever 통합 과제: Bottlenecked 구조를 Dense Retriever에 통합하는 연구 필요.
• 실시간 데이터 생성의 어려움: 실시간 검색을 위해 적응형 데이터 생성 전략이 필요함.

---

기타 디테일

• 데이터셋: MS MARCO, TREC-DL 사용.
• 리소스: Tesla A100 GPU 8대를 사용해 19시간 동안 학습.
• 코드 공개: GitHub에 코드와 데이터셋 제공.