Query2doc Query Expansion with Large Language Models, Wang et al., arXiv 2023

1. Introduction

• 문제 정의: 짧고 모호한 쿼리는 쿼리와 문서 간의 어휘적 간극(lexical gap) 때문에 검색 성능을 저하시킴.

• 주요 기여: query2doc이라는 새로운 방법을 제안하며, LLMs를 활용하여 pseudo-documents를 생성하고 이를 쿼리에 결합해 sparse와 dense retrieval 성능을 개선함.

  • BM25의 성능을 별도의 fine-tuning 없이 3-15%까지 향상.

2. Methodology

2.1 Pseudo-document Generation

• query2doc은 LLM을 통해 주어진 쿼리로부터 pseudo-documents를 생성하고, 이를 통해 쿼리를 확장함.

3.1 Model Scale의 중요성

• GPT-4: TREC DL 2019에서 nDCG@10 점수 66.2로 BM25보다 15% 향상.

3.2 효율성 문제

• BM25 단독 사용: 쿼리당 16ms.
• query2doc 사용 시: LLM 호출로 인해 >2000ms의 지연 발생.

4. Conclusion

• LLM을 사용한 query expansion은 실시간 응답 시스템에서 효율성이 떨어짐.
• Latency 개선을 위한 연구가 필요함.