Hanjun Cho

papers · 2026-03-22

AugTriever Unsupervised Dense Retrieval by Scalable Data Augmentation, Meng et al., arXiv 2023

#bm25

Motivation

기존 dense retriever는 대규모 human-annotated 데이터에 의존하며, 이는 높은 비용과 도메인 일반화에 한계를 초래함. Self-supervised 모델들은 noisy pseudo pairs로 인해 성능 저하를 겪는 경우가 많음. AugTriever는 고품질의 pseudo query-document pair를 생성함으로써 이러한 문제를 해결하고자 함.

작동방식

  1. Query Extraction (QEXT)

    • 목적: 문서 내 중요한 정보를 포함한 salient span을 추출하여 pseudo queries로 변환.

    • QEXT의 세 가지 방식:

      1. QEXT-SELF:

        • Pre-trained dense retriever가 문서 내 여러 span의 중요도를 예측함.
        • 문서에서 가장 중요도가 높은 span을 선택하여 pseudo query로 사용.

      2. QEXT-BM25:

        • BM25 스코어를 사용하여 문서 내 여러 span의 lexical relevance를 측정함.
        • span 간의 유사도를 계산한 뒤, 가장 연관성이 높은 span을 query로 선택.

      3. QEXT-PLM:

        • Pre-trained Language Model을 사용하여 문서 내 중요한 문구나 키워드를 예측함.
        • 해당 예측된 span을 query로 변환해 pseudo query를 생성.

  2. Transferred Query Generation (TQGEN)

    • 목적: 다양한 NLP task(예: summarization, keyphrase generation)에서 쿼리를 생성하여 pseudo query의 다양성을 보장.

    • 세부 과정:

      • Extractive summarization을 통해 문서의 핵심 부분을 뽑아내어 쿼리로 사용.
      • Abstractive summarization 기법으로 문서 전체를 요약한 문장을 쿼리로 생성.
      • Keyphrase extraction을 활용해 문서의 주요 개념을 쿼리로 변환.

    • 결과: 여러 source에서 생성된 쿼리를 혼합하여 다양한 형태의 pseudo query를 생성하고, task-specific diversity를 극대화함.

  3. Hybrid Strategy

    • 목적: RANDOMCROP, QEXT, TQGEN의 결합을 통해 다양한 도메인에 강건한 retriever를 구축.

    • 구체적 방법:

      • RANDOMCROP: 문서의 임의의 구간을 추출하여 pseudo query로 변환.
      • QEXT 및 TQGEN과의 결합: 각 방식으로 생성된 다양한 쿼리를 통합하여 학습 데이터 구성.

    • MoCo 활용:

      • MoCo(Momentum Contrast) 프레임워크를 사용해 noisy query에 강건한 retriever를 학습함.
      • 학습 중 encoder가 positive/negative example을 비교하며 학습.

  4. Training Configuration

    • 모델 초기화:

      • BERT-base를 사용한 bi-encoder 구조로 모델 초기화.
      • 두 인코더는 쿼리와 문서를 각각 임베딩.

    • 학습 과정:

      • Contrastive learning을 사용해 쿼리-문서 임베딩 간 유사도를 극대화.
      • Positive example: 쿼리와 일치하는 문서의 임베딩 쌍.
      • Negative example: 쿼리와 무관한 문서의 임베딩 쌍.
      • 배치마다 여러 쌍을 학습해 다양한 임베딩 쌍의 비교를 수행.

    • 데이터셋:

      • AUGQ-WIKI: Wikipedia에서 추출한 문서로 구성된 데이터셋.
      • AUGQ-CC: CommonCrawl에서 수집된 문서로 구성된 데이터셋.

    • 훈련 설정:

      • 최대 200k step 동안 학습하며, 학습에는 16개의 A100 GPU가 사용됨.
      • 48시간 내로 학습을 완료.

기대 효과 및 활용 결과

  • Annotation-free training으로 비용 절감과 접근성 향상.
  • 다양한 도메인에 적응 가능한 강력한 dense retriever 구축.
  • BEIR와 ODQA 벤치마크에서 기존 supervised 모델과 유사하거나 더 나은 성과를 달성.
  • 실시간 검색 및 대규모 검색 시스템에도 적용 가능.

성능 비교

Model BEIR14 ODQA MS MARCO
BM25 43.0 70.7 22.8
Contriever 45.2 73.1 41.3
AugTriever Hybrid-TQGen++ 45.8 (+0.6) 76.2 (+3.1) 40.9 (-0.4)

장단점

  • 장점:

    • Human-annotated 데이터 없이도 높은 성능을 달성.
    • 다양한 augmentation 전략으로 도메인 적응력 향상.
    • MoCo를 활용해 noisy data에도 강건함.

  • 단점:

    • Salient span 추출의 정확도에 따라 성능 편차가 발생할 수 있음.
    • 대규모 데이터셋 처리 시 시간과 계산 비용이 발생.

한계 및 Future Work

  • Pseudo Query의 품질 문제: 생성된 쿼리가 실제 쿼리와 유사하지 않을 수 있음.
  • Domain-specific Query Generation: 다양한 도메인에 최적화된 쿼리 생성 연구 필요.

기타 디테일