Hanjun Cho

papers · 2026-03-22

Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval, Thakur et al., arXiv 2023

#llm#rag

Motivation

  • 기존 dense retrieval 모델은 영어 중심으로 설계되었으며, 다국어 환경에서 성능이 저하됨.
  • 다국어 데이터 부족 문제로 인해 저자원 언어에서 성능 편차가 발생함.
  • 인간 주도 데이터 생성은 비용과 시간이 많이 소요되며, 언어별 전문가가 필요함.
  • 기존의 synthetic data generation은 영어에 집중되어 있고, 다국어 확장성이 부족함.
  • 이 연구는 LLM을 사용해 다국어 데이터를 자동 생성하고, 저자원 언어에서도 높은 검색 성능을 달성하고자 함.

작동방식

  1. SWIM-IR 데이터셋 생성

    • 33개 언어에서 총 28M query-passage pairs를 생성함.
    • 다국어 위키피디아와 기타 텍스트 코퍼스에서 패시지를 추출함.
    • 각 패시지에 대해 요약과 질의를 생성함.

  2. SAP (Summarize-then-Ask Prompting) 기법 적용

    • Stage 1: 요약 생성

      • LLM이 주어진 패시지에서 핵심 정보를 추출해 요약을 생성함.

        패시지: "Comoros has 850,000 residents, with 34% living in urban areas."
요약: "Comoros has 850,000 residents, 34% in urban areas."

    • Stage 2: 질의 생성

      • 생성된 요약을 바탕으로 다국어 질의를 생성함.

        질의 (Bengali): "২০০১ সালে কমোরোর জনসংখ্যার কত শতাংশ শহরে বাস করত?"
(번역: "What percentage of Comoros' population lived in urban areas in 2001?")

  3. 데이터 필터링 및 검증

    • Google Cloud Natural Language API를 사용해 민감한 콘텐츠를 필터링함.
    • 무작위 샘플을 인간 평가자가 검증하며, 질의의 유창성, 적절성, 일관성을 평가함.

  4. SWIM-X 모델 학습 및 평가

    • mT5를 백본으로 사용해 SWIM-X 모델을 구축하고 학습함.

    • 학습된 모델을 세 가지 벤치마크에서 평가함:

      • XOR-Retrieve, MIRACL, XTREME-UP

기대 효과 및 활용 결과

  • 저자원 언어에서도 경쟁력 있는 성능을 보장함.
  • 인간 주도 레이블링 없이도 다양한 도메인과 언어에 대해 고성능 retrieval이 가능함.
  • 실시간 검색 시스템에 적용할 수 있는 확장성을 보임.

성능 비교 (구체적인 수치 제시)

Benchmark mContriever-X (Supervised) SWIM-X (Synthetic)
XOR-Retrieve R@5kt 59.6 66.7 (+7.1)
MIRACL nDCG@10 55.4 46.4 (-9.0)
XTREME-UP MRR@10 13.5 25.2 (+11.7)

장단점

  • 장점

    • 인간 주도의 레이블링 없이도 fully-supervised 수준의 성능을 달성함.
    • 다양한 언어와 도메인에 대해 확장성이 뛰어남.
    • SAP 기법을 통해 효율적인 다국어 질의 생성이 가능함.

  • 단점

    • 일부 저자원 언어에서 코드 전환 현상이 발생해 성능 저하 가능성 있음.
    • 짧거나 불완전한 패시지로 인해 부정확한 질의가 생성될 수 있음.

대체재 및 비교

  • mContriever-X: 인간 주도 데이터로 학습된 모델로 높은 성능을 보이지만 비용이 높음.
  • mDPR-EN: 영어 데이터에 특화되었으나 다국어 성능은 부족함.
  • Google MT + DPR: Google Translate를 사용하지만 번역 품질 문제 발생 가능성 있음.

한계 및 Future Work

  • Instruction-tuned LLM을 활용한 성능 향상 연구가 필요함.
  • 실시간 검색 시스템에 맞춘 latency 최적화가 요구됨.
  • 언어 간 성능 편차 문제를 해결하기 위한 추가 연구 필요.
  • 다국어 환경에서 일관성 평가 기법의 개선이 필요함.

기타 디테일

  • 리소스: 2 NVIDIA V100 GPU 사용.
  • 데이터셋: XOR-Retrieve, MIRACL, XTREME-UP 사용.
  • 코드 및 데이터: [GitHub 링크 제공 예정].