Papers

Improving Text Embeddings with Large Language Models, Wang et al., ACL 2024

On the Theoretical Limitations of Embedding-Based Retrieval

모든 i, 모든 j,k에 대해

Multi-Stage Document Ranking with BERT, Nogueira et al., arXiv 2019

BERT 기반의 multi-stage document ranking architecture를 통해 효율적이며 정확한 검색 시스템을 설계할 수 있음. monoBERT와 duoBERT를 사용하여 각각 pointwise 및 pairwise classification 방식으로 document ranking 문제를 해결함

Graph RAG에서 HyDE를 사용하는 이유 추정

"검색 성능을 높이기 위해서 HyDE를 Graph RAG에서 썼다."

AugTriever Unsupervised Dense Retrieval by Scalable Data Augmentation, Meng et al., arXiv 2023

기존 dense retriever는 대규모 human-annotated 데이터에 의존하며, 이는 높은 비용과 도메인 일반화에 한계를 초래함. Self-supervised 모델들은 noisy pseudo pairs로 인해 성능 저하를 겪는 경우가 많음. AugTriever는 고품질의 pseudo query-document…

CONVERSER Few-shot Conversational Dense Retrieval with Synthetic Data Generation, Huang et al., ACL 2023

Document Ranking with a Pretrained Sequence-to-Sequence Model, Nogueira et al., EMNLP 2020 (Findings)

전통적인 문서 랭킹 모델들은 주로 BERT와 같은 encoder-only 모델을 사용하며, 이 모델들은 대규모 데이터가 없을 경우 성능 저하가 발생함. 또한, 단순한 classification 접근법은 사전 학습된 모델의 잠재 지식을 충분히 활용하지 못함. 이를 해결하기 위해, sequence-to-sequence 아키…

Gecko Versatile Text Embeddings Distilled from Large Language Models, Lee et al., arXiv 2024

DeepSeek-V2 리뷰

효과:

LLaMA의 5가지 특징

Source: On Layer Normalization in the Transformer Architecture