Hanjun Cho

papers · 2026-03-22

InPars Data Augmentation for Information Retrieval using Large Language Models, Bonifacio et al., arXiv 2022

#llm#bm25

Motivation

  • Information Retrieval(IR) 분야에서 대규모 사전 학습된 언어 모델(LLM)과 MS MARCO 데이터셋의 활용으로 성과가 있었음.
  • 그러나 특정 IR 태스크나 도메인에 MS MARCO와 같은 기존 데이터셋을 그대로 적용하면 성능이 충분히 개선되지 않는 한계가 있음.
  • 고품질 IR 데이터셋을 구축하는 것은 비용과 시간이 많이 소요되며, 특히 도메인 특화 데이터 확보가 어려움.
  • LLM을 검색에 직접 사용하면 계산 비용이 높아 대규모 모델의 활용이 제한됨.
  • 효과적인 데이터 생성을 통해 학습 성능을 개선할 필요가 있음. 이에 따라 few-shot 학습을 활용한 합성 데이터 생성 방법이 중요한 해결책으로 제시됨.

작동방식

  • 합성 데이터 생성 과정:

    • 주어진 문서와 쿼리-문서 쌍을 프롬프트(prompt)로 활용해 LLM이 문서와 관련된 질문을 생성.
    • 생성된 질문과 문서를 positive training example로 구성해 학습 데이터로 사용.

  • 데이터 샘플링 및 생성 절차:

    • 무작위로 100,000개의 문서를 샘플링하고, 각 문서에 적합한 질문을 생성.
    • 문서에 제목이 있는 경우 포함해 학습 정확도를 높임.
    • 문서 길이가 300자 미만이면 폐기하고 새로운 문서를 샘플링.
    • 상위 10,000개의 질문-문서 쌍을 최종 선택해 학습에 활용.

  • 데이터 품질 평가 및 필터링:

    • 생성된 질문의 품질은 문서와의 관련성에 따라 평가되며, 가장 높은 관련성을 가진 쌍만 선택.
    • BM25 기반으로 초기 후보 문서 1000개를 검색한 후, monoT5 모델로 최종 재정렬.

  • 학습 및 최적화 과정:

    • Google TPU v3-8을 활용해 빠른 학습을 수행하고, 양성 및 음성 예시를 동일한 비율로 배치 구성.
    • 156단계(약 1 epoch)로 학습을 완료해 효율성을 극대화함.

  • 사용된 프롬프트 템플릿:

    • Vanilla 프롬프트: 단순한 질문 생성에 활용.
    • GBQ 프롬프트: 나쁜 질문을 제시하고 이를 개선한 좋은 질문을 생성하도록 유도.

  • 예시:

    • Document: "Caffeine intake during pregnancy is unclear, but it is recommended to stay below 200mg per day."

      • 좋은 질문: "How much caffeine is ok for a pregnant woman to have?"
      • 나쁜 질문: "Is a little caffeine ok during pregnancy?"

기대 효과 및 활용 결과

  • IR 태스크에서 학습 데이터 생성 비용 절감.
  • BM25와 같은 기존 검색 모델에 비해 더 높은 정확도를 제공.
  • 합성 데이터와 supervised 데이터를 함께 사용하면 Zero-shot 성능이 크게 향상됨.
  • 다양한 도메인에 유연하게 적용 가능해 검색 성능을 최적화할 수 있는 잠재력이 있음.

성능 비교 (구체적인 수치 제시)

Model MS MARCO (MRR@10) TREC-DL (nDCG@10) Robust04 (nDCG@20) NQ (nDCG@10) TREC-COVID (nDCG@10)
BM25 0.1874 0.4876 0.4240 0.3290 0.6880
OpenAI Curie 0.3296 0.5422 0.5053 0.4171 0.7251
InPars (monoT5-3B) 0.2967 0.6612 0.5181 0.5133 0.7835
InPars (fine-tuned 3B) 0.3894 0.7439 0.6227 0.6297 0.8471

장단점

  • 장점:

    • 대규모 LLM 활용으로 데이터 생성 비용을 절감할 수 있음.
    • 다양한 도메인에서 Zero-shot 성능을 향상시킴.
    • BM25와 같은 비신경망 기반 검색에도 쉽게 적용 가능함.

  • 단점:

    • 대규모 모델 사용에 따른 초기 생성 비용이 발생.
    • 기존 데이터셋과의 분포 차이로 성능 저하 가능성이 존재.

한계 및 Future Work

  • 데이터 분포 차이 문제:
    합성된 질문과 기존 데이터셋 간 분포 차이로 인해 성능 저하가 발생할 수 있음. 향후 연구에서는 다중 도메인 적응 실험을 통해 분포 차이를 해결하고, 다양한 도메인에 걸쳐 모델의 일반화를 강화할 필요가 있음.
  • LLM 사용에 따른 비용 문제:
    대규모 모델을 사용해 데이터를 생성하는 것은 초기 비용이 크다는 한계가 있음. 비용을 절감하기 위해 모델 경량화나 프롬프트 최적화를 통해 효율성을 높이는 연구가 필요함.
  • Negative Sample 활용의 한계:
    나쁜 질문을 활용한 GBQ 프롬프트가 모든 태스크에 효과적인지 검증이 부족함. 다양한 negative sample을 도입해 모델의 학습 안정성과 성능을 개선하는 연구가 필요함.
  • Dense retriever와의 통합 과제:
    InPars 방식은 cross-encoder에 최적화되어 있으나, Dense retriever와의 통합에는 추가적인 연구가 필요함. 향후 연구에서는 Dense retriever에 적합한 데이터 전처리 기법을 개발해 성능을 극대화할 필요가 있음.
  • 스케일 문제 및 데이터 다양성 확보:
    대규모 데이터셋에서 성능 개선이 한계에 도달할 수 있음. 의료, 법률, 금융과 같은 특수 도메인에 대한 테스트를 통해 모델의 범용성을 검증해야 함.
  • 실시간 데이터 생성의 어려움:
    현재는 오프라인에서 미리 생성된 데이터를 사용하지만, 실시간 정보 검색에는 한계가 있음. 실시간 데이터 생성과 적응형 검색 시스템을 개발하는 연구가 필요함.

기타 디테일

  • Google TPU v3-8을 사용해 모델을 학습함.
  • Pyserini를 사용해 BM25 기반 인덱스를 구축함.
  • 코드와 데이터셋은 GitHub에서 공개됨: InPars Repository