CONVERSER Few-shot Conversational Dense Retrieval with Synthetic Data Generation, Huang et al., ACL 2023

Few-shot 대화 생성
- In-context learning을 사용해 LLaMA-13B 같은 LLM에 6개의 대화 예제를 제공함.
```
예제 1: "What is the capital of France?" -> "Paris."
예제 2: "Who is the president of the USA?" -> "Joe Biden."
```
- 이 예제들은 모델이 질의 생성 방식을 학습하도록 돕기 위해 사용됨.
랜덤 패시지 샘플링 및 초기 질의 생성
- 문서 집합에서 **Passage(p)**를 무작위로 샘플링하여 첫 번째 질의를 생성함.
```
문서: "Palazzo Primoli is in Rome, Italy."
첫 번째 생성된 질의: "What is the name of the building located in Rome?"
```

Two-Stage Generation

1단계: 첫 번째 질의는 문맥과 무관하게 생성함.
```
Q1: "What is the primary focus of this document?"
```

2단계: 이전 질의와 응답을 바탕으로 후속 질의를 생성함.

Q1: "What is the name of the building located in Rome?"
A1: "Palazzo Primoli."
Q2: "Who was the previous owner of the Palazzo?"

Passage Switching 적용

대화 도중 문서의 패시지를 변경할 수 있도록 passage switching 기법을 사용함.

이전 패시지: "Palazzo Primoli is located in Rome."
새로운 패시지: "Museo Napoleonico is in the same building."

Consistency Filtering
- Round-trip consistency를 사용해 쿼리와 패시지 간 일관성을 검증함.
```
Q: "What is the capital of Italy?" -> A: "Rome."
```
- BM25 기반 필터를 사용해 생성된 쿼리가 상위 K개 문서에 포함되지 않으면 제거함.
Dense Retrieval 모델 학습 및 평가
- 생성된 query-document pairs를 사용해 Dense Retriever(DPR) 모델을 학습함.
- 다양한 벤치마크 데이터셋에서 성능을 평가함.

장점
- Few-shot 예제만으로도 fully-supervised 모델에 근접한 성능을 달성할 수 있음.
- Passage switching과 consistency filtering을 통해 문맥 일관성을 유지함.
- 다양한 데이터셋에 손쉽게 확장 가능함.
단점
- Few-shot 학습 특성상 도메인 간 성능 편차가 발생할 수 있음.
- 일관성 검증에 추가적인 비용이 발생함.