Hanjun Cho

papers · 2026-03-22

InPars-v2 Large Language Models as Efficient Dataset Generators for Information Retrieval, Jeronymo et al., arXiv 2023

#llm#bm25

Motivation

기존 InPars와 Promptagator는 Proprietary LLM(GPT-3 등)을 사용해 고품질 데이터를 생성했으나, 비용과 접근성에 한계가 있었음.
본 연구는 **오픈 소스 LLM(GPT-J)**을 사용해 데이터 생성 비용을 줄이고, 정보 검색 모델의 성능을 극대화하는 것을 목표로 함.

작동방식

  1. Synthetic Query Generation

    • GPT-J(6B)를 사용해 100,000개의 문서에 대해 쿼리를 생성.
    • MS MARCO의 3-shot 예제를 프롬프트로 사용해 greedy decoding으로 쿼리를 생성.

  2. Re-ranking and Filtering

    • monoT5-3B re-ranker로 생성된 쿼리-문서 쌍을 평가하고 상위 10,000개만 선택.
    • Positive and negative examples를 포함한 학습 데이터 구성.

  3. Re-ranker Training

    • MS MARCO로 1 epoch 동안 학습한 후, 생성된 synthetic data로 추가 fine-tuning 수행.

  4. Evaluation and Final Re-ranking

    • Pyserini로 BM25 초기 검색을 수행하고, 학습된 re-ranker로 상위 문서를 재정렬.

기대 효과 및 활용 결과

  • 오픈 소스 LLM을 사용해 비용 절감과 접근성을 개선.
  • BEIR 벤치마크에서 다양한 도메인에 걸쳐 SOTA 성과 달성.
  • Zero-shot retrieval 성능을 극대화해 여러 도메인에 걸쳐 높은 적응력을 보임.

성능 비교

Dataset BM25 MS MARCO + InPars-v1 MS MARCO + InPars-v2
TREC-Covid 0.594 0.846 0.846
Robust 0.407 0.610 0.632
FiQA 0.236 0.492 0.509
DBPedia 0.318 0.494 0.498
SciDocs 0.149 0.206 0.208
SciFact 0.678 0.774 0.774
NFCorpus 0.321 0.385 0.385
Natural Questions 0.305 0.625 0.638
FEVER 0.651 0.852 0.872

장단점

  • 장점:

    • 오픈 소스 LLM을 사용해 비용 절감.
    • BEIR 벤치마크에서 SOTA 성능 달성.
    • Synthetic data 생성과 filtering으로 효율적인 학습 가능.

  • 단점:

    • 일부 데이터셋에서는 성능 개선이 제한적일 수 있음.
    • 고성능 re-ranker 사용으로 훈련 시간이 길어질 수 있음.

한계 및 Future Work

  • Data Distribution Gap: 생성된 쿼리와 실제 쿼리 간 분포 차이로 성능 저하 가능.
  • Re-ranker Integration: Dense retriever와 monoT5 re-ranker 간 통합 연구 필요.
  • Real-time Search: 실시간 정보 검색을 위해 적응형 데이터 생성 전략이 필요함.

기타 디테일