Questions Are All You Need to Train a Dense Passage Retriever, Sachan et al., ACL 2023

Autoencoding-based Retriever Training (ART) 기법을 통해 questions만으로 dense retriever를 학습할 수 있음.
기존에는 question-passage pairs와 hard negatives가 필요했으나, 이 연구에서는 question reconstruction 확률을 학습 신호로 사용해 label 없이도 학습을 가능하게 함.
이 접근법은 다양한 도메인에서 generalization 성능을 확보하면서도 비용 효율적인 retriever 모델을 구축함.

Motivation

기존 dense retriever 모델은 labeled question-passage pairs와 hard negatives에 의존함.
이러한 데이터는 수집과 레이블링에 많은 비용과 시간이 필요함.
low-resource 도메인에서는 labeled 데이터 부족으로 인해 성능이 제한됨.
이 연구는 questions만을 활용해 retriever를 학습하여, 데이터 비용을 절감하면서도 높은 성능을 유지하고자 함.

작동방식

Dual Encoder 구조 사용
- 질문과 패시지를 각각 인코딩하기 위해 dual encoder 구조를 사용함.
  - Question과 passage는 각각 독립적인 인코더에서 embedding으로 변환됨.
  - 두 embedding의 내적을 통해 question과 passage 간 유사도를 계산함.
```
Question: "Where is the Bowling Hall of Fame located?"
Passage: "The Bowling Hall of Fame is located in Arlington."
Similarity score 계산 → 0.85
```
Top-K Passage Retrieval
- 학습 중 question embedding을 생성하고, 미리 계산된 passage embeddings와 inner product 연산을 통해 가장 유사한 K개의 passages를 선택함.
- 이 단계는 retriever가 적절한 후보 passage들을 찾는 역할을 함.
Question Reconstruction 확률 계산
- 선택된 passages를 기반으로 original question을 재구성하고, 재구성된 질문의 확률을 계산함.
- 이때 T5-XL과 같은 PLM을 사용하여, teacher-forcing 방식으로 질문을 생성함.
  - Example:
```
Input passage: "The Bowling Hall of Fame is located in Arlington."
Generated question: "Where is the Bowling Hall of Fame located?"
Reconstruction probability = 0.92
```
KL Divergence 최소화
- PLM이 계산한 **Soft-Label (reconstruction probability)**과 retriever가 선택한 passages의 similarity score 간의 차이를 최소화하도록 학습함.
- KL Divergence를 사용해 이 두 확률 분포 간 차이를 줄여 나감.
Passage Embedding 주기적 업데이트
- Retriever encoder의 파라미터가 학습되는 동안, 모든 passage embedding을 주기적으로 재계산함.
- 이는 retriever가 매 학습 단계에서 최신의 embedding을 활용할 수 있도록 보장함.

기대 효과 및 활용 결과

Labeled 데이터 없이도 fully-supervised 수준의 성능을 달성할 수 있음.
Generalization 성능이 뛰어나 다양한 도메인과 환경에서 효과적으로 동작함.
실시간 검색 시스템에 적용할 수 있을 정도로 빠른 성능을 제공함.

성능 비교

Benchmark	DPR	ART (T0 3B)
NQ-Open Top-20	79.1	81.6 (+2.5)
TriviaQA Top-100	85.9	87.5 (+1.6)
WebQ Top-20	68.8	75.7 (+6.9)
SQuAD-Open Top-100	85.5	85.0 (-0.5)

장단점

장점
- Label 없이도 고성능을 달성할 수 있음.
- Generalization 성능이 뛰어나 다양한 도메인에 효과적으로 적용됨.
- 기존 retriever 학습 대비 비용과 시간 절감이 가능함.
단점
- PLM 사용으로 인한 연산 비용이 큼.
- Passage embedding의 주기적 업데이트가 필요함.

대체재 및 비교

DPR: Labeled question-passage pairs를 사용해 학습하며 높은 성능을 보이지만, 데이터 수집 비용이 높음.
BM25: 단순하지만, 단어 기반으로 작동하여 정확도가 낮음.
Spider: Contrastive learning을 사용하지만, 특정 도메인에만 최적화됨.

한계 및 Future Work

Low-resource 언어에서의 성능 평가가 필요함.
이미지와 코드 검색과 같은 크로스 모달리티 확장 가능성 연구가 필요함.
Fine-tuning 데이터를 활용한 추가 성능 향상 연구가 요구됨.

기타 디테일

리소스: 8 A100 GPU 사용.
데이터셋: NQ-Open, TriviaQA, SQuAD-Open 사용.
코드 및 데이터: [GitHub 링크 제공 예정].