Document Ranking with a Pretrained Sequence-to-Sequence Model, Nogueira et al., EMNLP 2020 (Findings)

Motivation

: 전통적인 문서 랭킹 모델들은 주로 BERT와 같은 encoder-only 모델을 사용하며, 이 모델들은 대규모 데이터가 없을 경우 성능 저하가 발생함. 또한, 단순한 classification 접근법은 사전 학습된 모델의 잠재 지식을 충분히 활용하지 못함. 이를 해결하기 위해, sequence-to-sequence 아키텍처를 사용하여 모델의 데이터 효율성과 학습 잠재력을 극대화할 필요가 있음.

작동방식

1. 모델 구성 및 기본 아이디어:

   • T5(Text-to-Text Transfer Transformer) 모델은 모든 자연어 처리 작업을 text-to-text 형식으로 통합하여 처리.

   • 문서 랭킹 작업은 쿼리와 문서를 입력 템플릿에 포함하여 모델에 전달:

     Query: [Q] Document: [D] Relevant:
     

     • [Q]: 쿼리 텍스트, [D]: 문서 텍스트.

2. 데이터 준비:

   • MS MARCO 데이터셋을 사용해 (쿼리, 문서, 관련성 레이블) 쌍으로 모델 학습을 진행.
   • 학습 데이터를 구성할 때 positive 문서(관련 있음)와 negative 문서(관련 없음)를 포함하여 모델이 "true" 또는 "false" 타겟 토큰을 예측하도록 설정.

3. 훈련 과정:

   • 단계 1: T5 모델은 주어진 쿼리와 문서를 결합하여 입력으로 받음.
   • 단계 2: 모델은 입력 텍스트를 인코딩한 후, 디코더는 관련성을 나타내는 "true" 또는 "false" 타겟 토큰을 생성.
   • 단계 3: 로짓(logits)을 소프트맥스 함수에 전달하여 각 타겟 토큰의 확률을 계산.
   • 단계 4: 계산된 확률이 문서의 relevance score로 해석됨.

4. 추론 과정:

   • 단계 1: 입력 쿼리와 각 후보 문서 쌍을 동일한 형식으로 모델에 전달.
   • 단계 2: 디코더는 "true" 타겟 토큰에 대한 소프트맥스 확률을 산출하여 각 문서의 관련성 점수를 계산.
   • 단계 3: 관련성 점수가 높은 문서 순으로 문서들을 정렬하여 최종 랭킹을 구성.

5. 예시:

   • 쿼리: "What is the capital of France?"
   • 문서 A: "Paris is the capital of France."
   • 문서 B: "France is known for its culture and history."
   • 모델은 문서 A를 "true"로 평가해 높은 점수를 부여하고, 문서 B는 "false"로 평가하여 낮은 점수를 부여.

6. 로짓 정규화 및 후처리:

   • 각 타겟 토큰에 대해 계산된 로짓을 소프트맥스 함수를 통해 정규화.
   • 모델이 생성한 확률을 사용해 문서의 최종 랭킹 점수를 산출하고, 점수가 높은 순으로 문서를 배열.

기대 효과 및 활용 결과

: MS MARCO와 TREC Robust04 등 다양한 데이터셋에서 T5 모델은 기존의 BERT 모델을 뛰어넘는 성능을 보여줌. 특히 zero-shot transfer 환경에서 encoder-only 모델보다 높은 성능을 달성함.

장단점

• 장점:

  • 데이터가 적은 환경에서도 뛰어난 성능 발휘.
  • 사전 학습된 sequence-to-sequence 모델의 잠재 지식을 활용하여 효율적인 문서 평가 가능.

• 단점:

  • T5-3B와 같은 대규모 모델은 계산 자원이 많이 소요됨.
  • 훈련 및 추론 시 복잡성과 속도 문제 발생 가능.

대체재 및 비교

: 기존 BERT 기반 모델(BERT-large, CEDR 등)과 비교할 때, T5 모델은 특히 zero-shot transfer 상황에서 더 나은 성능을 보임. 이는 encoder-only 모델의 한계를 보완할 수 있는 중요한 대안으로 평가됨.

한계 및 Future work

: 대규모 T5 모델의 높은 계산 비용은 여전히 한계로 작용. 향후 연구에서는 다른 sequence-to-sequence 모델(BART, Pegasus 등)의 성능을 탐색하고, 효율적인 학습 및 추론 방법을 모색할 필요가 있음.