Papers

DeepSeek-LLM 리뷰

본 논문은 LLM의 스케일링 동작을 심층적으로 연구하여 두 가지 주요 모델 구성(7B 및 67B)에 이를 적용함.

Pre-training with Large Language Model-based Document Expansion for Dense Passage Retrieval, Ma et al., arXiv 2023

DeepSeek-R1 리뷰

‌

Soft Prompt Tuning for Augmenting Dense Retrieval with Large Language Models, Peng et al., arXiv 2023

GRAG Graph Retrieval-Augmented Generation

Naive RAG는 query와 유사한 개별 문서를 검색하는 방식으로 설계되었으며, 문서 간 연결 구조를 고려하지 않음. 반면, 현실 세계의 문서들은 일반적으로 독립적이지 않고, textual graph 형태로 상호 연결됨. 대표적인 예로는:

M3-Embedding Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation

M3-Embedding은 자연어 처리를 위한 다중 기능(multifunctional), 다국어(multilingual), 다중 수준 입력 처리(multi-granular) 기능을 갖춘 텍스트 임베딩 모델. 본 연구에서는 기존 embedding 모델의 한계를 극복하고, 다양한 검색(retrieval) 기능을 통합하는 새로…

Learning without training The implicit dynamics of in-context learning

이 논문은 ICL 메커니즘을 Weight Space에서의 암묵적 학습 동역학으로 해석하는 새로운 분석틀을 제시함. 기존 연구들은 Transformer의 Self-Attention 구조에 특정 제약(예: 선형 Attention, 단일 헤드)을 가정해야만 ICL의 암묵적 학습을 설명할 수 있었으나, 여기서는 이러한 가정을…

Promptagator Few-shot Dense Retrieval From 8 Examples, Dai et al., ICLR 2023

기존 dense retrieval 모델들은 MS MARCO와 같은 대규모 QA 데이터셋 의존도가 높아 다양한 검색 과제에 적응하기 어려웠음. Promptagator는 few-shot learning과 LLM을 활용해 최소한의 예시로도 task-specific retriever를 학습함으로써, 데이터 의존도를 줄이고 비용…