Graph Retrieval-Augmented Generation - A Survey

1. Introduction

1.1 Background and Motivation

• LLM들은 의료, 법률, 금융, 교육 등 다양한 분야에 빠르게 확산되고 있으며, 전문 영역의 질문 응답, 상담, 분석 등에서 실용적인 가치를 입증 중임.

• 특히 Transformer 기반 아키텍처는 풍부한 문맥 이해와 자연스러운 텍스트 생성을 가능케 함.

• 그러나 사전학습 기반의 LLM에는 다음과 같은 본질적 한계가 존재:

  • 도메인 특화 정보 부족: 전문 지식이나 최신 정보가 포함되지 않아 제한된 정보 기반으로 답변 생성
  • 실시간 정보 미반영: 훈련 시점 이후 발생한 정보 반영 불가능
  • 폐쇄형 지식 범위: 훈련 데이터 외의 외부 독점 지식 기반 질의 대응 불가

• 이로 인해 Hallucination 문제 발생 가능성 증가:

  • 정답처럼 보이나 사실과 다른 내용을 생성하는 오류
  • 신뢰성과 일관성 저해

• 이를 해결하기 위한 방법으로 Retrieval-Augmented Generation (RAG)이 등장:

  • 외부 지식 소스를 질의 기반으로 검색하여 LLM의 입력으로 삽입
  • 검색된 텍스트를 프롬프트에 포함함으로써 LLM이 더 풍부하고 정확한 출력을 생성하도록 유도
  • 정보 정확성, 문맥성, 응답 다양성 측면에서 상당한 성능 개선을 보여줌

1.2 Limitations of Traditional RAG

• 텍스트 기반 RAG의 구조적 한계:

  • 대부분의 RAG 시스템은 단순한 문서 또는 passage 단위의 검색과 나열에 의존

• 구조적 관계 정보 누락:

  • 인물 간 관계, 인과관계, 계층 구조 등 explicit relation이 반영되지 않음
  • 예: 인용 네트워크, 개념 상호 연결성 등은 단순 텍스트 연결로는 표현 어려움

• 중복 정보 과다:

  • 유사한 문장이 프롬프트에 반복 삽입되면 입력 토큰이 낭비되고, LLM이 혼동 가능
  • 특히 long-context task에서 context budget을 초과하며 정보 손실 우려

• 전역 문맥 파악의 어려움:

  • 예: Query-Focused Summarization(QFS)와 같이 전체 문서 내 핵심 관계를 요약하는 태스크에서 RAG는 비구조적 연결만 제공함
  • 질의의 의도에 따라 전역 정보 흐름을 요약하거나 통합하는 능력이 부족

1.3 Overview of GraphRAG

• 이러한 한계를 극복하기 위해 GraphRAG이 제안됨.

• GraphRAG은 Text-Attributed Graph (TAG) 형태의 구조화된 외부 지식을 활용하여, 질의에 따라 정교한 그래프 기반 retrieval 및 generation을 수행함.

• 주요 특징:

  • 질의에 따라 노드, 트리플, 경로, 서브그래프 등 다양한 그래프 요소를 선택적으로 검색 가능
  • 텍스트 간 명시적 연결성과 관계 정보 반영 → 의미적 연결성 강화
  • 그래프 기반 표현은 중복 제거 및 관계 요약에 강점 → 프롬프트 압축 효과
  • 구조적 정보 활용을 통해 전역 문맥 구성이 가능 → QFS와 같은 복합 reasoning task에 유리

1.4 Contributions of This Survey

• 본 서베이는 GraphRAG이라는 새로운 패러다임에 대해 최초로 포괄적이고 공식적인 정리를 시도

• 다음과 같은 주요 기여를 제공:

  • GraphRAG 프레임워크의 세 가지 핵심 구성요소 정의 및 분석

    • Graph-Based Indexing (G-Indexing)
    • Graph-Guided Retrieval (G-Retrieval)
    • Graph-Enhanced Generation (G-Generation)

  • 각 구성요소별 기술 스택, 설계 전략, 학습 방식 분류

    • 예: 노드 임베딩 기반 retrieval vs subgraph ranking 기반 retrieval
    • Generator 설계 방식 및 fine-tuning 전략

  • 다양한 GraphRAG 시스템들을 위 세 단계에 따라 일관된 기준으로 분류 및 비교

  • 학습 전략에 따른 Retriever/Generator의 성능 차이 분석

  • 실제 적용 사례 및 산업 활용 가능성 조명 (예: QA, Summarization, Recommendation)

  • GraphRAG 연구의 한계점과 향후 발전 방향 제시

1.5 Organization of the Paper

• Section 2: 기존 기술(RAG, LLMs on Graphs, KBQA 등)과 GraphRAG의 차별점 비교
• Section 3: GraphRAG 이해를 위한 사전 지식 및 구성요소 정의
• Section 4: GraphRAG 전체 프로세스의 수학적 정의 및 개요
• Section 5: Graph-Based Indexing 기법 정리
• Section 6: Graph-Guided Retrieval 기술 분류 및 접근법
• Section 7: Graph-Enhanced Generation 모델 구성 및 변형
• Section 8: Retriever 및 Generator 학습 전략 비교
• Section 9: 응용 태스크, 벤치마크, 평가 지표 및 산업 사례
• Section 10: GraphRAG의 주요 한계점 및 오픈된 연구 과제
• Section 11: 전체 요약 및 결론

---

2. Comparison with Related Techniques and Surveys

Graph Retrieval-Augmented Generation (GraphRAG)을 중심으로, 세 가지 주요 관련 영역과 비교 분석을 수행함:

• 텍스트 중심의 Retrieval-Augmented Generation (RAG)
• Graph 상에서의 Large Language Models (LLMs on Graphs)
• Knowledge Base Question Answering (KBQA)

2.1 RAG

• 기본 개념:

  • RAG는 Large Language Models (LLMs)에 외부 지식을 통합하여 성능을 향상시키는 프레임워크
  • 검색 기반 정보 보강을 통해 사실성(factuality)과 신뢰성(credibility)을 제고함
  • 주로 텍스트 코퍼스를 대상으로 수행되며, 도메인 지식 및 실시간 정보의 통합에 적합함

• 기존 서베이와의 관계:

  • 최근 2년간 다양한 RAG 서베이 출간됨:

    • Fan et al. [34], Gao et al. [45]: RAG를 retrieval, generation, augmentation 관점에서 분류
    • Zhao et al. [202]: 다양한 modality의 데이터베이스에 적용된 RAG 정리
    • Yu et al. [195]: RAG의 평가 방법론 체계적으로 정리

  • 위 연구들은 텍스트 기반 RAG를 체계화하고 기술적 분류 기준 및 향후 방향을 제시함

• GraphRAG과의 차이점:

  • GraphRAG은 전통적 RAG의 하위 개념으로 분류될 수 있음
  • 하지만 텍스트 대신 **관계형 지식(graph data)**을 검색 대상으로 삼으며, 텍스트 간 관계성 구조를 보강 지식으로 도입함
  • 원시 텍스트(raw text)는 그래프 구성 단계에서 요약(summarization) 및 **필터링(filtering)**을 통해 압축 표현됨

2.2 LLMs on Graphs

• 기본 개념:

  • LLMs는 우수한 자연어 이해 및 생성 능력을 통해 다양한 텍스트 기반 태스크를 혁신적으로 개선함
  • 하지만 대부분의 LLM은 non-euclidean 데이터인 그래프 구조를 직접 처리하는 데에 한계가 존재
  • 이를 보완하기 위해 Graph Neural Networks (GNNs)와의 통합 연구가 활발히 진행됨

• 주요 연구:

  • Zhu et al. [204]의 ENGINE: LLM과 GNN을 병렬 구조(side structure)로 결합해 그래프 표현 향상
  • 그 외에도 노드 분류, 엣지 예측, 그래프 분류 등에서 LLM + GNN 기반 구조 다수 제안됨

• GraphRAG과의 차이점:

  • 기존 "LLMs on Graphs"는 그래프 데이터를 LLM이 이해하거나 임베딩하기 위한 모델 아키텍처 수준의 통합을 다룸
  • 반면 GraphRAG은 외부 그래프 기반 데이터베이스로부터 질의에 맞는 요소를 검색하고 이를 활용해 텍스트 생성을 수행함
  • 즉, 모델 구조 수준이 아닌 retrieval & generation workflow 수준의 통합이 핵심

2.3 KBQA

• 기본 개념:

  • Knowledge Base Question Answering (KBQA)는 structured knowledge base를 기반으로 자연어 질의에 응답하는 태스크
  • 사실 검증, 문서 검색 강화, 개체 이해 등 다양한 목적에 활용됨

• 접근 방식 분류:

  • IR 기반 방법 (Information Retrieval-based):

    • 질의와 관련된 triple 또는 노드를 KG에서 검색하여 텍스트 생성 과정에 활용

  • SP 기반 방법 (Semantic Parsing-based):

    • 질의를 논리형식(Logical Form, LF)으로 변환하고 이를 KG에 질의하여 정답을 획득

• GraphRAG과의 차이점 및 연관성:

  • GraphRAG은 IR 기반 KBQA와 유사한 retrieval 과정을 포함함

    • 단, KBQA는 질의 → triple/answer mapping에 초점
    • GraphRAG은 질의 → graph 요소 검색 → 응답 생성을 포괄적으로 처리

  • 즉, KBQA는 GraphRAG의 하위 적용 시나리오 중 하나이며, GraphRAG은 QA 외에도 summarization, recommendation, dialog 등 다양한 태스크에 일반화 가능

---

3. Preliminaries

GraphRAG의 전체 구조를 이해하기 위해 기초 개념 3가지

1. Text-Attributed Graphs (TAGs): GraphRAG에서 통일된 데이터 표현 방식
2. Graph Neural Networks (GNNs): 그래프 기반 표현 학습의 핵심 모델군
3. Language Models (LMs): 텍스트 생성 및 이해의 중심 기술로, GraphRAG의 Retrieval 및 Generation 단계에서 모두 활용됨

3.1 Text-Attributed Graphs (TAGs)

정의 및 구조:

• GraphRAG에서 사용되는 모든 그래프는 **Text-Attributed Graph (TAG)**의 형식으로 통일적으로 표현됨

• TAG는 다음과 같은 요소들로 구성됨:

  • V: 노드들의 집합 (nodes)
  • E ⊆ V × V: 엣지들의 집합 (edges)
  • A ∈ {0,1}^{|V|×|V|}: 인접 행렬 (adjacency matrix), 연결 구조를 이진 행렬로 표현
  • {xᵥ}_{v∈V}: 각 노드에 부여된 텍스트 속성 (e.g., 문장, 설명)
  • {eᵢⱼ}_{(i,j)∈E}: 각 엣지에 부여된 텍스트 속성 (e.g., 관계 이름, 설명)

예시:

• Knowledge Graph (KG)는 TAG의 대표적 사례:

  • 노드: 실세계 개체 (entities)
  • 엣지: 개체 간 관계 (relations)
  • 텍스트 속성: 개체 및 관계 이름 (예: "Barack Obama", "born in", "Hawaii")

GraphRAG에서의 활용 맥락:

• TAG 형식은 그래프 구조를 언어 기반 모델과 연결할 수 있는 중간 표현 계층 역할
• 자연어 질의를 그래프와 정렬시키기 위한 필수 기반
• 특히 노드/엣지에 부여된 텍스트 속성을 활용하여 language model 기반 검색 및 응답 생성이 가능함

3.2 Graph Neural Networks

정의 및 역할:

• GNN은 그래프 구조 데이터를 효과적으로 학습하기 위해 설계된 딥러닝 프레임워크
• GraphRAG에서는 GNN을 사용하여 그래프의 노드 또는 서브그래프를 벡터로 표현하고, retrieval 및 generation 단계에서 활용

기본 작동 방식:

• GNN은 message passing 구조 기반으로 각 노드의 표현을 이웃 노드 및 엣지 정보를 바탕으로 갱신함

• l번째 레이어에서 노드 i의 표현은 다음과 같이 정의함:

  • h_i^(l): l번째 레이어에서 노드 i의 벡터 표현
  • N(i): 노드 i의 이웃 노드 집합
  • e_{i,j}^(l-1): 노드 i와 j 사이의 엣지 특성
  • MSG: 메시지 생성 함수 (노드 간 관계를 반영)
  • AGG: 메시지 집계 함수 (mean, sum, max 등 permutation-invariant 방식)
  • UPD: 노드 상태 갱신 함수 (MLP, GRU 등으로 구현 가능)

그래프 수준 표현 추출:

• 전체 그래프의 표현은 readout 함수를 통해 노드 표현들을 집계하여 구성함:

  • READOUT: mean, sum, max pooling 등 전역 집계 함수
  • L: GNN의 마지막 레이어 인덱스

GraphRAG에서의 활용:

• GNN은 retrieval 단계에서 노드 또는 서브그래프를 임베딩하는 데 사용
• 구조적 관계를 반영한 벡터 표현을 생성함으로써 semantic similarity 기반 검색의 정확도 향상에 기여
• generation 단계에서는 검색된 하위 그래프의 구조를 유지하며 LLM 입력 구성 가능

3.3 Language Models

정의 및 분류:

• Language Models (LMs)은 자연어의 패턴을 학습하고 이해 및 생성을 수행하는 딥러닝 모델

• 크게 두 가지 유형으로 분류됨:

  1. Discriminative Language Models
  2. Generative Language Models

Discriminative Language Models

• 조건부 확률 P(y|x)를 학습하여 입력 텍스트에 대한 분류나 판단을 수행
• 대표 모델:BERT, RoBERTa, Sentence-BERT
• 주요 활용: 문서 분류, 감성 분석, 유사 문장 판단, 리트리버(Retriever) 구성

Generative Language Models

• 텍스트의 joint 확률 P(x, y)를 모델링하여 자연어 생성을 수행

• 대표 모델: GPT-4, Claude, Gemini

• 주요 특징:

  • 대규모 데이터와 파라미터를 기반으로 사전 학습됨
  • In-context learning 능력을 갖추며, 다양한 태스크에 zero-shot/one-shot/generalization 성능을 보임

GraphRAG 맥락에서의 사용:

• 초기 GraphRAG 연구는 주로 discriminative LM (e.g., Sentence-BERT)을 활용하여 그래프 노드 간 유사도 기반 검색에 집중
• 이후 generative LLM (e.g., GPT-4, Qwen2)의 부상과 함께, retrieved graph structure를 프롬프트에 통합하여 고정밀 응답 생성을 목표로 발전
• 특히 hallucination 완화와 사실 기반 응답의 중요성이 부각되면서, LLM 기반 generation에서의 GraphRAG의 필요성이 강화됨

Summary

• LM은 GraphRAG의 핵심 구성 요소 중 하나로, retrieval과 generation 양측에서 모두 사용됨
• Discriminative LM은 구조화된 그래프 요소 선택을 위한 similarity 판단에 활용
• Generative LLM은 그래프 기반 입력을 받아 자연어 응답 생성을 담당하며, 정보 밀도와 정확도 측면에서 핵심적인 역할 수행

---

4 Overview of GraphRAG

GraphRAG는 외부의 구조화된 지식 그래프를 활용하여, 언어 모델의 문맥 이해력을 향상시키고 보다 정확하고 정보에 기반한 응답 생성을 목표로 함. 이 시스템은 대규모 그래프 데이터베이스에서 질의와 관련된 핵심 정보를 효율적으로 추출한 후, 해당 정보를 바탕으로 자연어 응답을 생성하는 방식으로 작동함. 전체 과정은 질의 q, 전역 그래프 G, 그리고 후보 응답 집합 A를 기반으로 하는 조건부 생성 문제로 정의됨.

4.1 Problem Formulation and Probabilistic Modeling

GraphRAG의 목표는 주어진 질의 q와 그래프 G에 대해 가장 적합한 응답 a*를 확률적으로 도출하는 것임. 이 문제는 다음과 같이 정식화할 수 있음:

• 최적 응답 선택을 위한 조건부 확률 최댓값 계산

• 전체 그래프에 대해 조건부 분포를 추정하는 대신, 효율성을 위해 적절한 하위 그래프 G*를 선택하고 이에 대해 생성 확률을 계산

• 후보 하위 그래프의 수가 지수적으로 증가하기 때문에, 실제 구현에서는 근사 기법을 통해 최적 하위 그래프 하나만 선택하여 처리함

Retriever와 Generator는 각각의 확률 모델 pθ(G|q, G)와 pϕ(a|q, G)로 분리되어 구성되며, 전체 확률은 이 두 요소의 곱으로 근사함. 이 분해 방식은 효율적인 서브그래프 선택과 텍스트 생성 단계의 독립적인 최적화를 가능하게 함.

4.2 Graph-Based Indexing (G-Indexing)

Graph-Based Indexing 단계는 GraphRAG의 첫 번째 구성 요소로, downstream task에 적합한 그래프 데이터베이스를 구축하고 인덱싱 구조를 설정하는 과정임. 이 그래프는 다음과 같은 다양한 소스로부터 구성될 수 있음:

• 공공 지식 그래프 (예: Wikidata, ConceptNet 등)
• 기존의 구조화된 그래프 데이터
• 원시 텍스트 혹은 비정형 데이터로부터 생성된 그래프

이 인덱싱 과정에서는 노드 및 엣지 속성의 정규화, 연결 노드 간의 포인터 생성, 탐색 및 검색 최적화를 위한 자료구조 구성 등이 포함됨. 인덱싱의 정교함은 이후 검색 성능과 응답의 정밀도에 직접적인 영향을 미침.

4.3 Graph-Guided Retrieval (G-Retrieval)

G-Retrieval 단계는 사용자 질의에 따라 그래프 내에서 관련성 높은 서브그래프를 식별하여 추출하는 과정임. 이 과정은 다음과 같은 수식으로 정의됨:

• 질의 q와 전체 그래프 G를 기반으로 가장 적절한 서브그래프 G*를 선택
• 유사도 함수 Sim(q, G')를 활용하여 후보 서브그래프들의 점수를 산출하고, 그 중 최적의 서브그래프를 선택
• 계산 효율성을 위해 후보 집합을 사전에 축소하는 함수 R(G)를 도입하여 탐색 범위를 제한

이 단계에서는 엔티티, 트리플, 경로, 서브그래프 등 다양한 단위의 그래프 요소를 선택 대상으로 활용할 수 있으며, semantic retrieval 또는 hybrid retrieval 기법이 적용될 수 있음.

4.4 Graph-Enhanced Generation (G-Generation)

G-Generation 단계는 앞서 추출한 서브그래프 G*와 질의 q를 바탕으로 자연어 응답을 생성하는 과정임. 이 단계는 다음과 같은 수식으로 정의됨:

• 서브그래프 기반 생성 확률을 최대화하는 응답 a* 선택
• Generator는 입력 질의 q와 서브그래프 G*, 그리고 필요 시 프롬프트 템플릿을 함께 입력받아 응답을 생성
• 입력된 그래프는 함수 F(q, G*)를 통해 언어 모델이 이해할 수 있는 형태로 변환됨 (예: 엔티티 목록, 문장화된 트리플, 또는 플랫 텍스트 시퀀스)

G-Generation은 단순 응답 생성 외에도, 요약, 보고서 작성, 대화 응답 생성 등 다양한 downstream task에 활용 가능함. GraphRAG의 구조적 이점을 살려, 일반적인 텍스트 기반 RAG보다 더 높은 정합성과 정확도를 확보할 수 있음.

---

5 Graph-Based Indexing

GraphRAG의 핵심 구성 요소 중 하나는 그래프 데이터베이스의 구성과 인덱싱 방식임.
그래프의 품질은 검색 결과의 정확도, 응답 속도, 그리고 multi-hop reasoning 수행 능력에 직접적인 영향을 미침.
이 섹션에서는 GraphRAG에 사용되는 그래프 데이터의 종류와 그 인덱싱 방식들을 체계적으로 분류하고 정리함.

5.1 Graph Data

GraphRAG 시스템은 다양한 형태의 그래프 데이터를 검색 및 응답 생성에 활용함.
이러한 그래프는 주로 지식의 출처 또는 생성 방식에 따라 두 가지로 분류할 수 있음:

• Open Knowledge Graphs
• Self-Constructed Graph Data

5.1.1 Open Knowledge Graphs

Open Knowledge Graphs는 공개된 외부 저장소나 데이터베이스에서 수집된 그래프를 의미함.
이들은 사전에 구축되어 있어, 그래프를 새롭게 만들 필요 없이 빠르게 적용 가능하며 유지보수 비용이 적음.
해당 그래프들은 범용성과 도메인 특화 여부에 따라 다음 두 가지로 세분화됨.

1. General Knowledge Graphs

범용 지식을 담고 있는 그래프로, 대규모 커뮤니티 참여로 지속적으로 업데이트되며 구조화된 세계 지식을 제공함.

• Wikidata: Wikipedia 및 관련 프로젝트의 structured data를 포함하는 공개 지식베이스
• Freebase: 사용자 참여 기반으로 구축된 대규모 그래프 데이터베이스
• DBpedia: Wikipedia infobox를 기반으로 수백만 개 entity 정보를 구조화하여 저장
• YAGO: Wikipedia, WordNet, GeoNames 등의 정보를 결합하여 구축된 지식 그래프

추가로, Commonsense Knowledge Graphs도 일반 지식 그래프의 하위 유형으로 포함됨.
이들은 개념 간 의미 관계나 사건 간 인과 관계 등 추상적 상식을 모델링함.

• ConceptNet: 단어 또는 구를 노드로, 의미적 관계를 엣지로 표현한 의미망
• ATOMIC: 사건 간 인과 관계를 중심으로 구성된 지식 그래프

2. Domain Knowledge Graphs

특정 전문 분야의 정보를 다루는 그래프로, LLM의 도메인 적응력을 높이는 데 핵심적인 역할을 수행함.

• CMeKG: 의료 도메인에서 질병, 증상, 치료법, 약물 간의 관계를 포함한 중국어 의료 지식 그래프
• CPubMed-KG: PubMed 기반의 바이오메디컬 문헌을 바탕으로 구축된 지식 그래프
• Wiki-Movies: 영화 관련 Wikipedia 문서를 기반으로 영화, 배우, 감독 등의 정보를 구조화함

추가로 다양한 도메인을 포함한 벤치마크 또는 그래프 QA용 데이터셋도 존재함:

• GR-Bench: 학술, 전자상거래, 문학, 헬스케어, 법률 도메인의 그래프를 포함
• GraphQA: ExplaGraphs와 SceneGraphs를 변환하여 WebQSP에서 2-hop reasoning이 필요한 질문을 구성

5.1.2 Self-Constructed Graph Data

자체 구축형 그래프는 외부에서 제공되지 않는 정보나 회사 고유 지식, 문서 집합을 기반으로 사용자가 직접 구축하는 그래프를 의미함.
주로 downstream task에서 그래프 구조가 본래 존재하지 않을 경우, 문서 간 관계나 엔티티 간 관계를 추론하여 그래프를 생성함.

대표적인 예시는 다음과 같음:

• 문서 간 관계 그래프 구성:

  • Munikoti et al. [124]: 문서 간 co-citation, co-topic, co-venue 관계를 기반으로 heterogeneous document graph 구성
  • Li et al. [96], Wang et al. [172]: 키워드 공유 여부를 통해 passage 간의 관계 생성

• 엔티티 기반 그래프 구성:

  • Delile et al. [26], Edge et al. [32], Gutiérrez et al. [51], Li et al. [89]: NER 및 언어 모델을 통해 문서 내 엔티티와 관계를 추출하여 Knowledge Graph 생성

• 태스크 특화 그래프 설계:

  • Peng and Yang [133]: 특허 내 문구를 기반으로 Patent-Phrase Graph 구성. 문구와 특허 간 연결은 포함 관계, 특허 간 연결은 인용 관계로 구성
  • Xu et al. [183]: 고객센터 이슈를 트리 형태로 모델링하여 intra-issue, inter-issue 관계를 유지한 Knowledge Graph 설계

Self-Constructed Graph는 태스크의 구조적 특성을 반영하고, 맞춤형 검색 및 reasoning을 가능하게 함.

5.2 Indexing

Graph-Based Indexing은 그래프 데이터베이스에서의 질의 처리 효율성과 속도를 결정짓는 핵심 요소로 작용함. 인덱싱 방식은 검색 전략과 granularity에 직접적인 영향을 미치며, 그래프 기반 검색 시스템의 전체적인 성능과 응답 지연을 좌우함. 주요 인덱싱 방식은 크게 네 가지로 분류됨: Graph Indexing, Text Indexing, Vector Indexing, Hybrid Indexing.

5.2.1 Graph Indexing

Graph Indexing은 그래프의 구조적 특성을 그대로 보존하는 방식으로, 가장 일반적으로 사용되는 인덱싱 방법임. 노드와 연결된 엣지(edge), 인접 노드(neighbor node)를 모두 저장함으로써 구조 탐색이 용이해짐.
이러한 구조 덕분에 Breadth-First Search (BFS), Shortest Path Algorithm 등의 전통적인 그래프 탐색 알고리즘을 그대로 적용할 수 있음.
해당 방식은 특히 subgraph retrieval 또는 multi-hop reasoning이 요구되는 태스크에 적합함.

참고 문헌: [73], [75], [112], [113], [154], [158], [189]

5.2.2 Text Indexing

Text Indexing은 그래프 데이터를 텍스트 형식으로 변환하여 저장하고, 이후 이를 텍스트 기반 검색 기법으로 처리하는 방식임. 텍스트 코퍼스를 구성한 후, Sparse Retrieval 또는 Dense Retrieval을 적용할 수 있음.

대표적인 변환 방식은 다음과 같음:

• Template-based Triple Verbalization: 각 triple을 미리 정의된 템플릿을 사용해 자연어 문장으로 변환 (e.g., Li et al. [90], Huang et al. [63])
• Entity-centric Passage 생성: 동일 head entity를 공유하는 여러 triple을 하나의 passage로 구성 (e.g., Yu et al. [193])
• Subgraph Summarization: Subgraph 단위로 community를 검출하고, 각 community에 대해 LLM 기반 요약문을 생성 (e.g., Edge et al. [32])

Text Indexing은 사람이 읽기 쉬운 표현으로 지식을 표현할 수 있어, LLM과의 연계성도 우수함.

5.2.3 Vector Indexing

Vector Indexing은 그래프의 노드 또는 서브그래프를 벡터 형태로 임베딩하고, 효율적인 벡터 검색 엔진을 통해 질의를 처리하는 방식임. 이 방식은 고차원에서의 근접 탐색(nearest neighbor search)을 빠르게 수행할 수 있음.

• Entity Linking 또는 Triple Matching 시 query embedding과 노드 임베딩 간 유사도 계산을 통해 직접 대응 가능
• Locality Sensitive Hashing (LSH) [66] 등의 ANN 기법을 이용한 빠른 검색 지원
• G-Retriever [55]: 각 노드/엣지의 텍스트를 언어 모델로 임베딩
• GRAG [58]: k-hop ego network 전체를 그래프 임베딩으로 변환하여 구조 보존 강화

Vector Indexing은 특히 검색 속도와 확장성 측면에서 뛰어난 장점을 가짐.

5.2.4 Hybrid Indexing

Graph, Text, Vector 인덱싱 방식 각각의 장점을 결합하여, 실제 응용에서는 혼합형 인덱싱 전략을 채택하는 경우가 많음.

• Graph Indexing → 구조적 정보 접근 용이
• Text Indexing → LLM 기반 검색에 적합
• Vector Indexing → 빠른 근접 탐색 수행

예시:

• HybridRAG [144]: Vector + Graph 인덱스를 동시에 활용하여 정보 탐색 성능 향상
• EWEK-QA [24]: Knowledge Graph와 Textual Description을 함께 사용하여 상호보완적 정보 탐색 수행

Hybrid Indexing은 도메인 특화 시스템이나 복합 reasoning 태스크에서 특히 효과적인 인덱싱 전략으로 평가됨.

---

6 Graph-Guided Retrieval

GraphRAG에서의 Retrieval 단계는 외부 그래프 데이터베이스로부터 적절한 서브그래프를 추출함으로써 생성 결과의 품질과 관련성을 좌우하는 핵심 절차임.
단순한 키워드 매칭이나 벡터 검색만으로는 해결할 수 없는 복합적인 정보 추출이 요구되며, 이 과정에서 그래프 기반 구조 탐색 기법이 동원됨.

Graph 데이터를 검색하는 과정에서는 다음과 같은 두 가지 주요 도전 과제가 존재함:

• Explosive Candidate Subgraphs

  • 전체 그래프의 규모가 커질수록 검색 대상이 되는 subgraph의 수가 지수적으로 증가함.
  • 이로 인해 단순한 전수 탐색이 비현실적이 되며, 효율적인 검색을 위해 다양한 heuristic search algorithm이 필요해짐.
  • 특히, multi-hop 경로, node 간 연결 강도, query와의 의미적 연관성 등을 고려한 guided graph traversal 전략이 필수적임.

• Insufficient Similarity Measurement

  • 일반적인 텍스트-문서 간 유사도 계산과는 달리, 그래프 검색에서는 query와 subgraph 간의 복합적 유사도를 측정해야 함.
  • 여기에는 query의 문장적 의미뿐 아니라, subgraph의 구조적 특성 및 관계성도 함께 고려되어야 함.
  • 이를 위해서는 textual semantic similarity와 structural proximity를 모두 포착할 수 있는 복합 모델 또는 hybrid metric이 요구됨.

이러한 문제들을 해결하기 위해 GraphRAG에서는 다양한 Graph-aware retrieval 기법들이 제안됨.

---

6.1 Retriever

GraphRAG에서는 다양한 유형의 Retriever가 존재하며, 각기 다른 그래프 기반 검색 과제를 해결하는 데 고유한 강점을 가짐. 모델의 기반 구조에 따라 Retriever를 세 가지 유형으로 분류함:

• Non-parametric Retriever
• LM-based Retriever
• GNN-based Retriever.

6.1.1 Non-parametric Retriever

비모수 기반의 Retriever는 heuristic 규칙이나 전통적인 graph traversal 알고리즘에 기반하여, 학습 없이도 빠른 속도의 검색이 가능함.
주요 특징은 다음과 같음:

• Yasunaga et al. [189], Taunk et al. [158]은 질문-선택지 쌍에 포함된 topic entity들을 중심으로 𝑘-hop path를 탐색함.
• G-Retriever [55]는 전통적인 PCST (Prize-Collecting Steiner Tree) 알고리즘을 개선하여 edge price 개념을 도입하고 관련 subgraph 추출 성능을 향상시킴.
• Delile et al. [26], Mavromatis and Karypis [119]는 쿼리에서 언급된 entity를 먼저 추출하고, 해당 entity 사이의 **최단 경로(shortest path)**를 기반으로 검색 수행함.
• 대부분의 방식이 entity linking과 같은 전처리를 선행하여, 그래프 상의 적절한 node를 먼저 식별한 후 검색을 수행함.

6.1.2 LM-based Retriever

대형 언어 모델(Language Model, LM)은 자연어 이해 능력에 강점을 가지므로, 다양한 질의 형태를 효과적으로 처리할 수 있는 Retriever로 활용됨.
LM 기반 Retriever는 주로 Discriminative 모델과 Generative 모델로 분류 가능하며, 다음과 같은 방식으로 사용됨:

• **Subgraph Retriever [196]**는 RoBERTa를 학습시켜 topic entity를 기준으로 경로를 확장하는 sequential decision 기반 retrieval을 수행함.
• **KG-GPT [80]**는 LLM을 사용해 특정 entity에 대한 top-K 관련 관계를 생성함.
• **Wold et al. [176]**은 fine-tuned GPT-2를 활용하여 **추론 경로(reasoning path)**를 생성함.
• **StructGPT [67]**는 사전에 정의된 함수를 LLM이 자동 호출하도록 하여, 관련 정보를 검색 및 조합함으로써 후속 reasoning을 지원함.

6.1.3 GNN-based Retriever

GNN(Graph Neural Network)은 복잡한 그래프 구조를 모델링하고 학습하는 데 최적화되어 있음.
GNN 기반 Retriever는 주로 그래프를 임베딩하고, query와의 유사도에 따라 node 또는 path를 스코어링하여 검색을 수행함. 주요 사례는 다음과 같음:

• **GNN-RAG [119]**는 그래프 전체를 임베딩한 후 각 entity에 점수를 부여하고, 일정 threshold 이상인 entity만 선택하여 검색함.
• **EtD [99]**는 iterative 방식으로 검색을 수행하며, 각 반복마다 LLaMA2 [160]로 연결된 edge를 선택한 후, GNN을 통해 새로 확장된 노드의 임베딩을 계산하여 다음 round에 반영함.

6.1.4 Discussion

Retrieval 성능은 속도와 정확도 간의 trade-off를 수반함:

• Non-parametric Retriever는 계산 효율성과 단순성이 뛰어나지만, downstream task에 최적화되어 있지 않아 정확도 측면에서 한계를 가짐.
• 반면, LM 기반이나 GNN 기반 Retriever는 학습 기반으로 정확도는 높지만 계산 비용이 큼.
• 이러한 상보적 특성을 고려하여, 많은 연구에서는 hybrid retrieval 전략을 도입하여 속도와 정확도를 동시에 향상시키고자 함.

예시로는 다음과 같은 multi-stage retrieval 방식이 있음:

• **RoG [112]**는 먼저 LLM으로 planning path를 생성하고, 그에 따라 KG에서 해당 경로를 만족하는 path를 추출함.
• **GenTKGQA [44]**는 LLM을 이용해 query로부터 핵심 관계 및 제약을 추론하고, 이에 맞춰 triplet을 추출함.

---

6.2 Retrieval Paradigm

GraphRAG에서는 서로 다른 retrieval paradigm들이 검색된 정보의 관련성과 깊이를 향상시키는 데 핵심적인 역할을 수행함. 주요 paradigm으로 3가지 방식이 존재:

• Once Retrieval
• Iterative Retrieval
• Multi-Stage Retrieval

각각의 방식은 질의 응답에서의 정확도 및 시간 복잡도에 다양한 영향을 미침.

6.2.1 Once Retrieval

Once Retrieval은 한 번의 검색 단계로 관련 정보를 모두 수집하는 방식으로, 구현이 단순하고 응답 시간이 짧음.

• 임베딩 유사도 기반으로 정보를 검색하는 접근 방식이 존재함 [51, 58, 90].
• 정의된 규칙이나 패턴 기반 추출 방식은 구조화된 정보(triplets, paths, subgraphs 등)를 직접적으로 그래프 DB로부터 추출함.

주요 예시는 다음과 같음:

• G-Retriever [55]: 확장된 PCST 알고리즘을 통해 가장 관련성 높은 subgraph를 검색함.
• KagNet [97]: 모든 topic entity 쌍 사이의 경로 중, 길이가 𝑘 이하인 경로를 검색함.
• Yasunaga et al. [189], Taunk et al. [158]: 모든 topic entity와 그 2-hop 이웃을 포함하는 subgraph를 추출함.

또한, 아래와 같은 병렬적으로 독립 수행 가능한 방식도 포함됨:

• Luo et al. [112], Cheng et al. [20]: LLM으로 다중 reasoning path를 생성한 후, 각 경로에 대해 BFS 기반 검색 수행.
• KG-GPT [80]: 쿼리를 여러 sub-query로 분해한 후, 각 sub-query에 대해 단일 검색 수행.

6.2.2 Iterative Retrieval

Iterative Retrieval은 이전 검색 결과를 기반으로 반복적으로 검색을 수행함으로써 점진적으로 정보의 깊이를 확보하는 방식.
해당 paradigm은 Non-Adaptive Retrieval과 Adaptive Retrieval로 구분됨.

(1) Non-Adaptive Retrieval

• 고정된 검색 단계 수를 설정하거나 사전에 정의된 기준(시간, threshold 등)에 따라 종료 시점을 결정함.
• PullNet [151]: 총 𝑇회 반복 수행하며, 각 단계에서 일부 entity를 선택하고 이를 확장함.
• KGP [172]: 유사도 기반 seed node를 선택하고, LLM을 활용해 이웃 node들의 context를 요약/업데이트하여 다음 단계로 활용함.

(2) Adaptive Retrieval

• 모델이 스스로 검색 종료 시점을 판단함.
• [50, 182]: hop 수 예측을 위한 LM을 사용하여 종료 여부를 결정함.
• ToG [113, 154]: reasoning path를 탐색하다가, LLM이 "답변 가능" 판단을 하면 종료함.
• [196]: path 확장 중 virtual relation “[END]”가 등장하면 검색 종료.
• [67, 69, 75, 155, 170]: LLM을 agent로 활용하여 필요 정보 검색, 도구 호출, 종료 시점 판단까지 모두 수행함.

6.2.3 Multi-Stage Retrieval

Multi-Stage Retrieval은 검색을 여러 단계로 분할하여 수행하며, 각 단계마다 retriever 종류가 달라질 수 있음.
다양한 retrieval 기법을 결합해 query의 여러 측면을 보완적으로 처리함.

대표적인 방식은 다음과 같음:

• Wang et al. [171]: non-parametric retriever로 n-hop 경로 검색 후, pruning을 거쳐 1-hop 이웃 추가 탐색.

• OpenCSR [53]:

  • 1단계: topic entity의 1-hop 이웃을 모두 검색
  • 2단계: 이들 이웃 node들과 다른 node들과의 유사도를 비교하여 top-𝑘 node 선택

• GNN-RAG [119]:

  • 1단계: GNN으로 top-𝑘 정답 후보 node 검색
  • 2단계: query entity와 answer entity 간의 모든 최단 경로를 검색함.

6.2.4 Discussion

• Once Retrieval은 연산 비용이 적고 빠르므로 실시간 응답이 필요한 상황에 적합함.
• 반면 Iterative Retrieval은 특히 LLM을 활용할 경우 연산량이 많아지며 시간이 오래 걸리지만, 정보의 정확도는 높아짐.
• Multi-Stage Retrieval은 다양한 방식의 조합으로 정확도와 커버리지를 동시에 달성 가능함.
• 따라서 retrieval paradigm 선택 시에는 정확도와 시간 복잡도 간의 trade-off를 고려하여, 사용 목적에 맞는 방식을 채택해야 함.

---

6.3 Retrieval Granularity

GraphRAG에서는 과제 유형과 인덱싱 방식에 따라 서로 다른 단위의 graph 정보를 retrieval 단위로 정의하며, 이를 retrieval granularity라 지칭함. 대표적인 granularity로는 node, triplet, path, subgraph 네 가지가 있으며, 각 granularity는 특정 task 환경에 적합한 장단점을 가짐.

6.3.1 Nodes

Node 단위 retrieval은 graph 내의 개별 노드(일반적으로 entity)를 직접적으로 추출함으로써 세부적인 정보 접근에 유리함. Knowledge Graph(KG)에서는 node가 entity를 의미하며, Text-Attributed Graph에서는 node가 attribute가 포함된 문장이나 설명일 수 있음.

Node 단위 retrieval을 통해 해당 entity의 속성, 주변 관계, 문맥적 배경 등 세부 정보를 상세히 추출할 수 있음. 예시로, Munikoti et al. [124], Li et al. [96], Wang et al. [172]는 document-level passage를 graph로 구성하고 passage-level node를 retrieval 대상으로 정의함. Liu et al. [99], Sun et al. [151], Gutiérrez et al. [51]은 Knowledge Graph로부터 entity를 직접 추출하여 활용함.

6.3.2 Triplets

Triplet 단위 retrieval은 subject-predicate-object 형태의 구조화된 관계 데이터를 추출함. 이 방식은 entity 간의 명시적 관계를 구조적으로 표현함으로써 관계 해석 및 reasoning task에 적합함.

예를 들어 Yang et al. [185]은 질의와 관련된 topic entity를 포함하는 triplet을 retrieval함. Huang et al. [63], Li et al. [90, 95]는 사전 정의된 템플릿을 사용하여 triplet을 자연어 문장으로 변환한 후 text retriever를 통해 retrieval을 수행함.

Triplet 기반 retrieval은 관계 해석에 강점이 있으나 문맥 정보가 부족하여 간접 관계나 reasoning chain을 포착하는 데 한계가 존재함. 이에 따라 Wang et al. [164]은 질의 기반의 논리 chain을 생성한 후, 각 단계에 해당하는 관련 triplet을 retrieval하는 방법을 제안함.

6.3.3 Paths

Path 단위 retrieval은 entity 간의 관계 연쇄를 기반으로 하여 문맥과 reasoning 구조를 보다 풍부하게 포착할 수 있음. 복잡한 그래프 구조 내에서 간접적 연결과 논리 흐름을 반영할 수 있기 때문에 multi-hop reasoning task에 특히 유리함.

그러나 graph 크기가 커질수록 가능한 path 수가 지수적으로 증가하므로 계산 비용이 큼. 이를 완화하기 위해 Wang et al. [171], Lo and Lim [108]은 질의 내의 entity 쌍 간 n-hop path를 rule 기반으로 탐색함. HyKGE [73]는 path, co-ancestor chain, co-occurrence chain의 세 가지 path 유형을 정의하고 이에 기반한 rule 기반 탐색을 수행함.

LLM 또는 agent를 이용하여 path를 동적으로 탐색하는 방식도 존재함. 예를 들어, ToG [113, 154]는 LLM에게 beam search를 수행하게 하여 복수의 reasoning path를 찾아냄. Luo et al. [112], Wu et al. [182], Guo et al. [50]은 LLM이 생성한 reasoning plan에 따라 해당 path를 추출함. GNN-RAG [119]는 질의 내 entity를 식별한 후, 이들 간의 일정 길이 조건을 만족하는 path를 모두 추출함.

6.3.4 Subgraphs

Subgraph 단위 retrieval은 전체적인 관계 맥락을 포괄적으로 포함함으로써 복잡한 구조나 패턴을 이해하는 데 유리함. Node, triplet, path보다 더 넓은 범위의 정보를 포함하며, semantic relation의 전반적 구조를 반영함.

일반적으로 subgraph는 topic entity를 중심으로 2-hop 이내의 neighbor를 포함한 node set을 정의하고, head-tail 모두 이 node set에 포함된 edge만 추출하여 생성됨. Yasunaga et al. [189], Feng et al. [40], Taunk et al. [158]이 해당 방식의 예시임.

Embedding 기반 방식도 존재함. Hu et al. [58]은 graph DB로부터 k-hop ego network를 모두 embedding한 후, 질의 embedding과의 유사도를 기반으로 relevant subgraph를 retrieval함. Wen et al. [175], Li et al. [89]는 Path Evidence 및 Neighbor Evidence 기반의 subgraph를 rule 기반으로 구성함. OpenCSR [53]은 seed node로 시작하여 점차 주변 노드를 확장함으로써 subgraph를 구성함.

또한 Zhang et al. [196]처럼 path를 먼저 retrieval한 후 동일 entity를 병합하여 최종 subgraph를 구성하는 방식도 존재함.

6.3.5 Hybrid Granularities

실제 응용에서는 단일 granularity보다 여러 granularity를 복합적으로 사용하는 방식이 더 효과적일 수 있음. 이를 hybrid granularity라고 하며, LLM agent가 상황에 따라 적절한 granularity(node, triplet, path, subgraph)를 선택하여 retrieval을 수행하도록 구성됨.

Jin et al. [75], Jiang et al. [67, 69], Wang et al. [170], Sun et al. [155] 등은 LLM 기반 agent가 적절한 granularity를 동적으로 선택하여 retrieval하는 방식을 제안함.

6.3.6 Discussion

• 현실적인 과제에서는 retrieval 단위 간 경계가 명확하지 않음. 예를 들어, subgraph는 여러 path로 구성되며, path는 다시 여러 triplet으로 구성됨.
• Granularity 선택 시 retrieval 효율성과 정보 포괄성 간의 trade-off가 존재함. 단순한 질의나 고속 응답이 중요한 경우에는 node나 triplet과 같은 세밀한 granularity가 유리하며, 복잡한 reasoning이 필요한 경우에는 path 또는 subgraph granularity 또는 hybrid granularity가 적합함.
• GraphRAG은 granularity를 유연하게 선택 및 결합함으로써 다양한 도메인의 retrieval 요구에 효과적으로 대응할 수 있음.

---

6.4 Retrieval Enhancement

GraphRAG 시스템의 검색 품질을 향상시키기 위해, 사용자 질의(query)와 검색된 지식(graph knowledge)을 보강하는 다양한 기법이 제안됨. 검색 강화 기법은 크게 두가지 범주가 존재:

• Query Enhancement: 사용자 질의를 보강하는 사전 처리(preprocessing) 기법
• Knowledge Enhancement: 검색된 그래프 지식을 보강하거나 정제하는 사후 처리(postprocessing) 기법

6.4.1 Query Enhancement

Query Enhancement는 짧고 정보량이 제한된 원본 질의를 보완하여 보다 풍부한 정보를 검색 시스템에 제공하는 방식임. 대표적으로 다음 두 가지 방식이 있음:

• Query Expansion
• Query Decomposition

(1) Query Expansion

Query Expansion은 원본 질의에 의미적으로 관련된 용어나 개념을 추가하여 검색 성능을 향상시키는 방법임. 특히 짧은 질의로 인해 검색 품질이 저하되는 문제를 해결하기 위해 사용됨.

• Luo et al. [112]: LLM을 활용하여 Knowledge Graph 기반 relation path를 생성하고 이를 확장 질의로 사용
• Cheng et al. [20]: SPARQL을 활용하여 Wikidata에서 질의 엔티티의 모든 alias를 수집하여 질의에 포함
• Huang et al. [63]: 의미적으로 유사한 질의를 먼저 생성하고, 이를 기반으로 원 질의의 단어 가중치를 재조정하여 검색 성능 향상
• HyKGE [73]: LLM이 생성한 질문의 가설(hypothesis)을 원래 질의에 추가하여 retriever에 입력
• Golden-Retriever [2]: 질의 내 전문 용어(jargon)를 인식하고, 해당 용어의 설명을 검색하여 질의에 보강

(2) Query Decomposition

Query Decomposition은 복잡한 질의를 보다 단순하고 세분화된 하위 질의로 분해하여, 각 하위 질의가 특정 관계 또는 정보 요소에 집중하도록 설계함.

• [22, 80]: 원 질의를 관계 단위의 서브 센텐스로 분해하고, 각 하위 문장에 대해 적절한 triplet을 검색하여 결합

---

6.4.2 Knowledge Enhancement

Knowledge Enhancement는 검색 결과로 도출된 그래프 기반 정보를 후처리하여 보다 정제되고 의미 있는 정보를 사용자에게 제공하는 방식임. 다음 두 가지 방식으로 나뉨:

• Knowledge Merging
• Knowledge Pruning

(1) Knowledge Merging

Knowledge Merging은 서로 다른 출처나 경로에서 검색된 정보를 통합하여 보다 완전하고 일관성 있는 정보 집합을 생성함. 특히 input length 제약이 있는 LLM 기반 시스템에서는 중복 제거와 정보 압축에 효과적임.

• KnowledgeNavigator [50]: triple 단위로 subgraph를 압축 및 통합하여 reasoning 효율 향상
• Subgraph Retrieval [196]: 각 topic entity에서 검색된 top-k 경로를 하나의 subgraph로 통합하고, 동일 entity를 병합하여 최종 subgraph 구성
• Wen et al. [175], Li et al. [89]: 관계 단위로 subgraph를 병합하며, 동일 관계를 갖는 head/tail entity들을 각각 별도 집합으로 정리하여 relation path로 구성

(2) Knowledge Pruning

Knowledge Pruning은 검색된 정보 중 불필요하거나 덜 관련 있는 요소를 제거하여 정보의 품질과 밀접도를 높이는 방식임. 크게 세 가지 접근 방식이 존재함:

• (a) (Re)-ranking 기반 방법

  • Li et al. [90]: 질의와 선택지를 triplet에 결합한 후, cross-encoder 기반 사전학습 모델로 re-rank 수행
  • Jiang et al. [73]: FlagEmbedding을 이용하여 bge_reranker_large 결과에 대해 top-k 문서 재정렬
  • Cheng et al. [20]: 관계 및 개념 유사도를 기준으로 subgraph 유사도 기반 재정렬
  • Taunk et al. [158]: 2-hop neighbor를 클러스터링 후, 질의와 가장 관련성 낮은 클러스터 제거
  • Yasunaga et al. [189]: KG entity node와 질의 간의 유사도(score)를 기반으로 subgraph pruning 수행
  • Wang et al. [171], Jiang et al. [70], Gutiérrez et al. [51], Luo et al. [110]: Personalized PageRank 기반으로 후보 정보의 순위를 매겨 필터링
  • Liu et al. [101]: PLM을 학습시켜 질의와 검색 정보 간 유사도 점수를 부여하고 이를 기반으로 경로 재정렬
  • G-G-E [43]: subgraph를 여러 개의 소형 subgraph로 나눈 후, 질의와 유사도가 낮은 부분 제거 후 나머지를 통합

• (b) 새로운 reranking 지표 제안 방식

  • Munikoti et al. [124]: 검색된 텍스트 조각의 영향도와 최신성(recency)을 함께 고려한 새로운 지표 제안
  • KagNet [97]: 검색된 path를 triplet으로 분해한 후, KGE 기반 confidence score로 재정렬

• (c) LLM 기반 pruning 방식

  • Wang et al. [171], Kim et al. [80]: LLM을 활용하여 무관한 그래프 정보를 식별하고 pruning 수행

---

7 Graph-Enhanced Generation

그래프 기반 정보의 효과적인 활용을 위해, GraphRAG는 retrieval 이후 생성 단계에서 쿼리와 그래프 데이터를 통합하여 보다 정밀하고 일관된 응답 생성을 목표로 설정함. 이때 적절한 generator 선택과 그래프 데이터의 변환, query-context fusion 기법의 도입이 핵심 구성 요소로 작용함. 또한 query와 graph 사이의 상호작용을 증강하거나 생성 과정을 보완하는 다양한 enhancement 기법이 병행 적용됨.

7.1 Generators

downstream task의 유형에 따라 generator 선택 방식이 달라지며, discriminative task에는 GNN이나 encoder-only LM이 주로 사용되고, text를 생성해야 하는 generative task에는 encoder-decoder 또는 decoder-only LM이 요구됨.

7.1.1 GNNs

GNN은 그래프 구조에서의 관계성과 노드 특징을 포괄적으로 학습할 수 있는 표현 능력을 보유함. Multi-Layer Perceptron (MLP)을 통해 downstream task 예측값으로 연결 가능하며, 주로 GCN, GAT, GraphSAGE, Graph Transformer 등 전통적 GNN이 적용됨.
예시:

• HamQA: 쿼리-그래프 간 계층적 구조를 반영하는 hyperbolic GNN 구성
• Sun et al.: PageRank 기반 가중합을 통해 중심 노드의 message-passing 강화
• Mavromatis and Karypis: query를 다중 instruction 벡터로 변환하고 BFS 기반 reasoning 구조를 모사하여 KG-aware 정보로 instruction 갱신 수행

7.1.2 LMs

LM은 텍스트 이해 및 생성에서 강력한 성능을 보여주며, graph 데이터를 LM 입력으로 넣기 위해서는 구조적 정보를 보존하는 특정 포맷으로 변환 필요.

• Encoder-only LM (BERT, RoBERTa 등): 주로 discriminative task에 활용됨. 입력 인코딩 후 MLP를 통해 답변 공간으로 매핑
• Encoder-decoder/Decoder-only LM (T5, GPT-4, LLaMA 등): discriminative 및 generative task 모두 대응 가능. 텍스트 기반 reasoning 및 응답 생성에 적합함

7.1.3 Hybrid Models

GNN의 구조적 표현 능력과 LM의 텍스트 처리 능력을 통합한 hybrid model이 주목받고 있으며, 접근 방식은 크게 cascaded paradigm과 parallel paradigm으로 구분됨.

1) Cascaded Paradigm

GNN이 graph 데이터를 먼저 처리한 후 그 결과를 LM의 입력으로 전달하는 순차적 구조. GNN의 출력이 LM의 embedding 입력 전단에 prefix 형태로 결합되며, downstream task 성능 향상을 위해 GNN encoder가 공동 학습됨.
예시:

• Prompt tuning 기법 기반의 GNN → LM 접합 구조
• GNN의 triple encoding 결과를 LM prefix embedding으로 삽입

2) Parallel Paradigm

GNN과 LM이 동시에 입력을 받아 각각의 representation을 독립적으로 생성한 후, 이들을 attention 또는 concat 방식으로 결합하여 최종 응답을 생성하는 구조.
예시:

• Jiang et al.: GNN과 LM의 예측값을 weighted summation으로 통합
• Lin et al., Pahuja et al.: GNN과 LM representation 간 attention 결합
• Yasunaga et al., Munikoti et al.: representation 직접 concat
• Zhang et al.: GreaseLM Layer를 통해 각 layer마다 textual + graph representation을 통합
• ENGINE: G-Ladders 구조로 GNN과 LM을 side network 형태로 결합하여 노드 표현력 강화

Discussion

Hybrid model은 구조 정보와 텍스트 정보를 모두 통합하여 다양한 downstream task에서 유의미한 성능 향상을 보일 수 있음. 다만, 두 modality 간 정보를 효과적으로 융합하는 구조 설계가 여전히 주요한 기술적 과제로 남아 있음.

---

7.2 Graph Formats

GNN을 generator로 사용하는 경우 그래프 데이터를 직접 인코딩하는 방식이 가능하나, LM을 generator로 활용하는 경우 그래프 데이터의 non-Euclidean 특성으로 인해 텍스트 데이터와의 직접 결합이 어렵다는 문제가 존재함. 이러한 구조적 제약을 극복하기 위해 graph translator를 활용하여 그래프 데이터를 LM과 호환 가능한 형식으로 변환하는 방식이 요구됨. 해당 변환은 LM이 구조화된 그래프 정보를 효과적으로 이해하고 생성 결과에 활용할 수 있게 해주는 중간 역할을 수행함. 대표적인 2가지 graph format:

• graph languages
• graph embeddings

7.2.1 Graph Languages

Graph language란 그래프 데이터의 구조를 명확하게 기술하기 위한 형식화된 서술 체계로, 정해진 문법과 의미론을 바탕으로 노드와 엣지, 그리고 그들 간의 연결 관계를 표기함. 이러한 형식은 텍스트로 구성되어 있어 LM이 이해 가능하며, graph architecture 정의, 속성 기입, 연산 및 질의 수행 등의 다양한 기능을 지원함.

대표적인 5가지 graph language 유형:

1) Adjacency / Edge Table

• adjacency table은 각 노드의 인접 노드 목록을 나열하는 방식으로, 희소 그래프에서 연결 정보를 간결하게 표현함.
• edge table은 모든 엣지를 열거함으로써 선형 처리에 용이한 구조를 제공함.
• 예: KG-GPT [80]는 subgraph의 triple을 linearize하여 LLM 입력으로 사용함.
• 두 방식 모두 직관적이고 짧은 형식으로, 간단한 그래프 변환에 적합함.

2) Natural Language

• 사용자 질의가 자연어로 구성된다는 점과 LLM의 자연어 이해 능력을 고려할 때, 그래프 데이터를 자연어로 설명하는 방식이 효과적으로 작용함.

• edge type에 따른 템플릿을 사전 정의하고, 해당 템플릿에 endpoint를 삽입하는 방식이 일반적임.

• 예:

  • Ye et al. [190]: 중심 노드의 1-hop 및 2-hop 이웃을 자연어로 기술함.
  • Edge et al. [32]: 각 그래프 커뮤니티를 보고서 형태로 요약 생성.
  • Wu et al. [182], Guo et al. [50]: edge table을 재구성하여 자연어 문장으로 변환.
  • Jin et al., Jiang et al., Wang et al., Sun et al.: 그래프 정보를 dialogue prompt 형태로 구성.

3) Code-Like Forms

• 그래프의 2D 구조를 자연어로 표현하기에는 한계가 있으므로, LM의 코드 해석 능력을 활용하여 GML, GraphML과 같은 정형화된 그래프 언어를 적용함.
• Guo et al. [49]: GML, GraphML을 기반으로 그래프 구조 기술.
• 노드/엣지의 명확한 서술과 구조적 명세를 제공하는 표준 언어로서 활용됨.

4) Syntax Tree

• 그래프를 syntax tree 형태로 변환하여 topological 순서를 유지하면서 계층 구조를 표현함.
• GRAPHTEXT [201]: 중심 노드의 ego-network를 그래프-구문 트리 형태로 변환하고, 계층 구조와 노드 속성을 통합함.
• 해당 구조를 traversal함으로써 노드 시퀀스를 획득 가능하며, topological order와 hierarchy를 동시에 반영함.

5) Node Sequence

• 노드들의 순차열로 그래프를 표현하는 방식으로, 사전에 정의된 규칙에 따라 변환됨.

• 예:

  • Luo et al. [112], Sun et al. [154]: path 정보를 노드 시퀀스로 변환하여 LLM 입력으로 사용.
  • LLaGA [18]: 중앙 노드를 중심으로 상세 이웃 정보(Neighborhood Detail Template), hop-field 기반 요약 정보(Hop-Field Overview Template)를 각각 시퀀스로 표현.
  • GNN-RAG [119]: reasoning path를 node sequence 형태로 prompt에 포함시킴.

Discussion

좋은 graph language의 조건은 아래 세 가지로 요약됨:

• Completeness: 그래프의 핵심 구조 정보를 빠짐없이 담는 것
• Conciseness: 입력 길이를 줄여 LLM의 처리 한계 및 중간 정보 손실 현상("lost in the middle") 방지
• Comprehensibility: LLM이 구조적 의미를 쉽게 해석 가능하도록 표현되는 것

각 표현 방식은 구조 보존 수준, 표현 길이, 이해 용이성 등의 trade-off가 존재하며, downstream task 성능에 영향을 미침.

7.2.2 Graph Embeddings

앞서 소개한 graph language 방식은 구조를 보존하면서도 텍스트 시퀀스로 변환하기 때문에 문맥 길이가 과도해지고, LLM 입력 한계를 초과할 위험이 존재함. 또한 현재의 LLM은 graph language만으로 그래프 구조를 충분히 이해하기 어려움.

이를 해결하기 위해, GNN 기반 graph encoder를 활용하여 graph를 embedding 벡터로 변환한 후 텍스트 표현과 통합하는 방식이 제안됨.

주요 접근 방식

• Prompt Tuning 기반 통합

  • textual prompt embedding과 graph embedding을 통합하는 연구가 다수 진행됨.

• FiD (Fusion-in-Decoder) 활용

  • 그래프 데이터를 text로 변환 후, LM-based encoder로 인코딩하여 decoder에 입력함.
  • 예: [29], [37], [193] 등

• 제약 사항

  • closed-source 모델(GPT-4 등)에서는 embedding 입력이 제한됨
  • embedding은 그래프 구조를 요약하되, 구체적인 entity name이나 정확한 fact를 유지하기 어려움

장단점 비교

방식	장점	단점
Graph Language	구조 해석 용이, 노드 및 엣지 정보 보존	입력 길이 과다, LLM 처리 한계
Graph Embedding	압축적 표현, 처리 효율성	정보 손실, entity-level 정밀도 저하

---

7.3 Generation Enhancement

GraphRAG에서 생성 단계는 단순히 질의와 추출된 그래프 데이터를 결합하여 응답을 생성하는 데 그치지 않고, 생성 품질을 높이기 위한 다양한 보강 기법들을 포함함. 이러한 기법들은 적용 시점에 따라 사전(pre-generation), 생성 중(mid-generation), 생성 후(post-generation) 보강으로 분류됨.

7.3.1 Pre-Generation Enhancement

생성 이전 단계에서 입력 데이터를 사전 처리하거나 표현을 개선함으로써 생성기의 입력 품질을 높이려는 접근 방식. Retrieval 단계와 경계가 모호하지만, 본 논문에서는 원본 그래프에서 지식을 추출하고 병합, 가지치기(pruning)하는 단계까지를 Retrieval로 보고, 이후 처리를 Pre-Generation Enhancement로 구분함.

• 자연어 재작성 방식: Wu et al.은 추출된 그래프 데이터를 자연어로 재작성하여 표현의 자연스러움과 의미적 밀도를 증가시킴.
• 질의 재작성 방식: DALK는 추출된 그래프 데이터를 바탕으로 원래 질의를 재작성함.
• 추론 계획 기반 생성: Cheng et al.은 LLM을 활용해 추론 계획을 먼저 생성하고, 해당 계획에 따라 응답을 생성함.
• 질의 관련 표현 학습: Taunk, Yasunaga 등은 QA 쌍에서 명사나 QA 자체를 노드로 삽입해 GNN이 질의 관련 표현을 학습하도록 유도함.
• Instruction 분해: Mavromatis 등은 질의를 복수의 벡터(instruction)로 분해하여 GNN 메시지 패싱에 조건으로 활용함.
• 외부 지식 결합: PullNet은 엔티티 관련 문서를, MVP-Tuning은 연관 질문을 검색하여 보강 정보로 활용함.

7.3.2 Mid-Generation Enhancement

생성 과정 중간에 적용되는 기법으로, 중간 결과나 문맥 단서를 기반으로 생성 전략을 조정함.

• 제약 디코딩: TIARA는 논리 형식 생성을 제약 디코딩(constrained decoding)으로 통제하여 오류를 줄임. 패턴 항목을 생성 중일 경우, 다음 토큰 생성을 KB 내 존재하는 옵션으로 제한함.
• 다단계 추론 유도: MindMap은 최종 응답뿐만 아니라 추론 과정을 함께 생성하도록 LLM 프롬프트를 조정함.

7.3.3 Post-Generation Enhancement

초기 응답 생성 이후 후처리를 통해 응답 품질을 향상시키는 방식. 여러 응답을 통합하거나 검증하는 기법 포함.

• 요약 기반 통합: Edge et al.은 그래프 커뮤니티별 요약 → 응답 생성 → 점수화 → 상위 응답 통합 → 최종 응답 생성 절차를 수행함.
• 질의 분할 및 통합: Wang, Kim은 질의를 복수의 하위질문으로 분할하고, 각각에 대해 응답을 생성한 후 최종적으로 통합함.
• 모델 간 출력 통합: Lin, Jiang은 GNN과 LLM의 출력을 조합하여 시너지 효과를 도출함.
• 이중 생성 경로 선택: UniOQA는 CQL 쿼리 실행 기반 응답과 triple 기반 직접 응답 생성 중에서 동적 선택을 수행함.
• 규칙 기반 + 학습 기반 스코어링: EmbedKGQA는 그래프 구조 기반 rule score와 학습된 scoring function을 조합하여 정답 엔티티를 선택함.
• 내부지식 + 외부지식 결합: Li 등은 추출된 그래프 데이터 기반 응답과 LLM의 내재 지식 기반 응답을 결합함.
• 응답 검증기 활용: KALMV는 정답 여부를 판별하는 verifier를 학습시켜, 오류 발생 시 Retrieval 문제인지 Generation 문제인지 추가 판단함.

---

8. Training

GraphRAG에서 retriever와 generator는 독립적으로 또는 공동으로 학습되며, 학습 방식은 크게 Training-Free와 Training-Based 접근으로 나뉨. Training-Free 방식은 GPT-4와 같은 closed-source LLM을 활용할 때 주로 사용되며, 명시적인 학습 없이 정교하게 설계된 prompt에 의존함. 이 방식은 빠르게 적용 가능하나 downstream task에 최적화되지 않아 성능이 제한될 수 있음. 반면, Training-Based 방식은 supervised signal을 통해 모델을 학습하거나 미세조정하여, task-specific한 성능 향상을 도모함. Retriever와 generator를 joint training하는 방식은 두 모듈의 상호 보완적인 능력을 결합하여 성능을 극대화하기 위한 전략임.

8.1 Training Strategies of Retriever

8.1.1 Training-Free

Training-Free retriever는 크게 두 가지 유형으로 구분됨. 첫 번째는 non-parametric retriever로, 학습된 파라미터가 없고 전통적인 그래프 검색 알고리즘이나 규칙 기반 방식에 의존함. 두 번째는 pretrained language model을 활용한 방식으로, 다시 두 가지 하위 유형으로 나뉨.

• 첫 번째는 query와 graph element 간의 의미적 유사도를 계산하기 위해 pretrained embedding model을 활용하는 방식. 이 경우, query를 embedding vector로 인코딩한 뒤, 그래프의 노드나 트리플의 벡터와 similarity 기반 매칭 수행 [90].
• 두 번째는 generative LLM을 retriever로 사용하는 방식. 이 경우, candidate graph element (예: entity, triple, path, subgraph 등)를 prompt에 포함시켜 입력한 뒤, LLM의 의미적 추론 능력을 이용해 적절한 요소를 선택함. 해당 방식은 explicit training 없이도 strong semantic matching을 달성할 수 있음 [32, 75, 80, 119, 154, 164, 171].

8.1.2 Training-Based

Training-Based retriever는 supervised 학습 또는 self-/distant supervision 기반 학습 방식을 사용하여 query와 관련성 높은 graph content를 retrieval하도록 설계됨. retrieval 단위에 따라 학습 방식이 달라짐.

• Node 또는 triple 단위: ground truth graph element와 query 간의 similarity를 극대화하기 위한 metric learning 방식이 주로 사용됨. 예를 들어 MemNNs [12]는 정답 triple을 query의 semantic space에 가깝게 위치시키고, 관련 없는 fact는 멀리 위치하도록 학습함.
• Path 단위: autoregressive 방식 채택. 이전의 관계 path를 query에 concatenation하여 입력한 후, 다음 관계를 예측하는 구조를 가짐 [50, 182].
• 대부분의 benchmark dataset에서는 retrieval ground truth가 부재하므로, distant supervision 또는 reasoning path 생성 방식으로 학습 데이터를 구성함. 예를 들어 Zhang et al. [196], Feng et al. [39], Luo et al. [112]는 query의 entity와 answer의 entity 간의 모든 path (또는 shortest path)를 추출하여 retriever 학습용 데이터로 사용함. Zhang et al. [196]은 추가적으로 관계 추출 데이터셋을 distant supervision으로 활용함.
• 또 다른 접근은 implicit intermediate supervision signal을 활용하는 방식. 예를 들어 NSM [54]은 bidirectional search 전략을 사용하여, head entity와 tail entity에서 시작된 두 retriever의 search path가 서로 수렴하도록 학습함. KnowGPT [198], MINERVA [23]는 인접 노드 선택을 Markov decision process로 모델링하고, 정답 포함 여부를 중심으로 reward function을 정의하여 policy gradient 방식으로 retriever를 학습함.
• distant supervision 또는 intermediate signal의 노이즈 문제를 고려하여 self-supervised pretraining 방식도 제안됨. 예: SKP [29]는 DPR [78]을 사전학습하기 위해 서브그래프를 sampling한 뒤 passage로 변환하고, 이를 기반으로 Masked Language Modeling 및 contrastive learning을 수행함. positive pair는 original passage와 masked passage임.

8.2 Training of Generator

8.2.1 Training-Free

Training-Free generator는 closed-source LLM이나 training cost를 피하고자 하는 상황에서 주로 활용됨. 이 경우, retrieved graph data와 query를 함께 LLM에 입력하고, prompt에 명시된 task description을 기반으로 응답을 생성함. generator는 LLM의 내재된 언어 이해 능력과 추론 능력에 의존하여 응답을 생성함.

8.2.2 Training-Based

Training-Based generator는 downstream task로부터의 명시적인 supervised signal을 직접 활용하여 학습됨.

• generative LLM의 경우, task description, query, graph data를 입력하고 정답 응답을 supervision으로 활용하여 supervised fine-tuning (SFT)을 수행함 [55, 58, 112].
• GNN 또는 discriminative model이 generator 역할을 수행하는 경우, task-specific loss function을 설계하여 해당 task에 최적화된 방식으로 학습함 [68, 90, 158, 189, 199].

8.3 Joint Training

retriever와 generator의 joint training은 두 모듈의 상호작용을 강화하여 downstream task의 성능을 향상시키는 전략임. joint training 방식은 크게 두 가지로 구분됨.

• 첫 번째는 retriever와 generator를 unified architecture (예: LLM 기반 모델)로 통합하고, retrieval objective와 generation objective를 동시에 학습하는 방식 [112]. 이 방식은 단일 모델 내에서 정보 검색과 응답 생성을 end-to-end로 처리할 수 있는 일관성을 제공함.
• 두 번째는 retriever와 generator를 개별적으로 학습한 후, alternating training 방식으로 joint tuning하는 접근. 예: Subgraph Retriever [196]는 retriever 파라미터를 고정한 채 generator를 학습하고, 이후 generator 파라미터를 고정한 상태에서 generator의 출력을 supervision으로 활용하여 retriever를 재학습함. 이 과정을 반복하여 두 모듈 간의 성능을 점진적으로 향상시킴.

---

9. Applications and Evaluation

GraphRAG는 다양한 자연어처리(NLP) downstream task에 적용되며, 이 장에서는 주요 응용 분야, 벤치마크, 평가 지표 및 산업적 적용 사례를 정리함. Table 1은 GraphRAG 기술들을 downstream task, benchmark, 방법론, 평가 지표 기준으로 분류하여 정리한 종합적 개요를 제공함. 다양한 응용 영역에서 GraphRAG의 적용 가능성과 성과를 강조함.

9.1 Downstream Tasks

GraphRAG는 주로 Question Answering, Information Extraction, 기타 다양한 NLP task에 적용됨.

9.1.1 Question Answering

QA task는 Knowledge Base Question Answering (KBQA)과 CommonSense Question Answering (CSQA)으로 구분됨.

• KBQA: KBQA는 GraphRAG의 대표적인 응용 분야로, 특정 knowledge graph를 기반으로 질문에 응답하는 작업임. 답변은 주로 entity, relation, 또는 entity 간 연산으로 구성되며, structured knowledge base를 활용한 정보 검색 및 추론 능력을 평가함.
• CSQA: CSQA는 multiple-choice 형태의 commonsense 기반 질문으로 구성됨. 각 선택지는 entity명 또는 진술문 형태로 주어지며, 모델은 ConceptNet과 같은 external commonsense knowledge graph를 활용하여 정답 도출을 위한 관련 지식을 검색하고 추론해야 함.

9.1.2 Information Extraction

Information Extraction task는 Entity Linking (EL)과 Relation Extraction (RE)으로 나뉨.

• Entity Linking (EL): 텍스트 내에 언급된 entity를 knowledge graph 내 대응되는 entity와 연결하는 작업임. GraphRAG를 통해 relevant knowledge를 검색함으로써 텍스트의 entity mention을 정확하게 매핑하는 데 도움을 줄 수 있음 [180].
• Relation Extraction (RE): 텍스트 내에서 entity 간의 semantic 관계를 추출하고 분류하는 작업임. GraphRAG는 entity 간 의존 관계를 graph 구조로 표현하고 이를 활용함으로써 보다 정확하고 문맥적으로 적절한 관계 추출을 가능하게 함 [94, 154, 155].

9.1.3 Others

QA와 Information Extraction 외에도 GraphRAG는 다양한 자연어처리 task에 활용됨.

• Fact Verification: 주어진 factual statement의 진위 여부를 판단하는 task임. knowledge graph를 활용하여 statement 내 entity 간 evidential connection을 추출하고 이를 통해 fact의 validity를 검증함 [94, 136, 154, 155].
• Link Prediction: graph 내 entity 간의 잠재적 관계를 예측하거나 누락된 edge를 복원하는 task임. GraphRAG는 구조화된 정보 검색 및 분석을 통해 hidden pattern을 발견하고 prediction 정확도를 향상시킴 [22, 129].
• Dialogue Systems: 자연어 기반 인간-기계 대화를 처리하는 시스템에서, 대화 이력과 문맥 관계를 graph로 구조화하여 사용함. GraphRAG는 graph 기반 정보 활용을 통해 일관성 있고 문맥적으로 적절한 응답 생성을 지원함 [5].
• Recommendation: E-commerce 환경에서 사용자-상품 간 구매 관계는 자연스럽게 네트워크 그래프 형태로 구성됨. GraphRAG는 해당 그래프에서 사용자 의도 및 미래 구매 가능성을 예측함으로써 추천 시스템의 정확도를 향상시킴 [168].

---

9.2 Application Domains

GraphRAG는 구조화된 지식 그래프와 자연어처리 기술을 통합하는 강점을 바탕으로 다양한 분야에서 널리 활용되고 있음. 본 절에서는 GraphRAG가 적용되는 주요 응용 도메인을 소개함.

9.2.1 E-Commerce

전자상거래 분야에서는 고객 쇼핑 경험 향상과 매출 증대를 위해 개인화된 추천 및 지능형 고객 서비스를 구현하는 것이 주요 목표임. 사용자-상품 간의 과거 상호작용은 자연스럽게 그래프 구조를 형성하며, 사용자 행동 패턴과 선호 정보를 내포함. 대규모 플랫폼과 상호작용 데이터 증가에 따라, GraphRAG 기반의 서브그래프 추출 기술이 중요해지고 있음.

• Wang et al. [168]: 다양한 유형/파라미터의 retriever를 ensemble하여 관련 서브그래프를 추출하고, 이를 인코딩하여 사용자 행동 예측에 활용함.
• Xu et al. [183]: 고객 응대 질 향상을 위해 과거 이슈 간의 관계를 포함하는 이슈 그래프를 구축하고, 유사 이슈 서브그래프를 검색하여 응답 품질을 향상시킴.

9.2.2 Biomedical

의료 분야에서는 GraphRAG 기술이 medical QA 시스템에 활용되어 진단 및 치료 의사결정 성능 향상에 기여함. 질병은 특정 증상과 연결되며, 약물은 특정 질환을 치료하는 활성 성분을 포함함.

• [26, 89, 177]: 특정 시나리오에 맞는 KGs를 직접 구축함.
• [73, 175, 185]: CMeKG, CPubMed-KG와 같은 공개 지식 그래프를 활용함.
• 일반적으로 비딥러닝 기반 non-parametric retriever로 초기 검색 후, reranker를 적용해 성능 향상 도모함. 일부는 검색된 정보를 기반으로 입력을 재구성해 생성 성능을 향상함 [89].

9.2.3 Academic

논문, 저자, 연구 분야, 소속 기관 간의 관계는 그래프 구조로 자연스럽게 표현 가능함. GraphRAG는 이 구조를 활용해 다음과 같은 작업을 지원함:

• 잠재 공동 연구자 예측
• 특정 분야의 연구 트렌드 분석

9.2.4 Literature

문학 분야에서도 저자, 출판사, 책, 시리즈 등 요소 간의 관계를 기반으로 지식 그래프 구성 가능. 노드는 책, 저자, 출판사 등을 나타내고, 간선은 “written-by”, “published-in”, “book-series”와 같은 라벨을 가짐. 스마트 도서관 등의 응용에서 활용 가능.

9.2.5 Legal

법률 분야에서는 판례와 법정 의견 간의 인용 관계가 많아 그래프 구조가 자연스럽게 형성됨. 노드는 의견, 의견 클러스터, 사건번호(docket), 법원을 나타내고, 간선은 “opinion-citation”, “opinion-cluster”, “cluster-docket”, “docket-court”와 같은 관계를 표현함. GraphRAG는 다음과 같은 작업에서 활용 가능:

• 판례 분석
• 법률 상담 자동화

9.2.6 Others

기타 현실 응용 사례도 존재함.

• 정보 보고서 생성: Ranade & Joshi [139]는 사건 그래프(Event Plot Graph)를 생성하고, 핵심 정보를 검색해 정보 보고서를 생성함.
• 특허 문장 유사도 판단: Peng & Yang [133]은 특허 문장 그래프를 생성하고, 주어진 문장의 ego-network를 검색해 유사성 판단을 지원함.
• 소프트웨어 의존성 분석: Alhanahnah et al. [1]은 소프트웨어 패키지의 의존성 그래프를 자동 생성하고, 사용자 질문에 응답하는 챗봇을 구현함.

---

9.3 Benchmarks and Metrics

GraphRAG 시스템의 성능을 평가하기 위해 사용되는 벤치마크와 평가 지표를 소개함. 평가 기준은 크게 벤치마크 유형과 평가 지표의 두 가지 범주로 나눌 수 있음.

9.3.1 Benchmarks

GraphRAG의 성능을 평가하기 위한 벤치마크는 두 가지 범주로 나눌 수 있음.

• (1) Downstream Task 기반 벤치마크
  Section 9.1에서 소개된 downstream task 분류에 따라, 각 작업별로 대응하는 데이터셋이 존재함. Table 1에 이러한 벤치마크와 이를 활용한 논문들을 정리함.

• (2) GraphRAG 전용 벤치마크
  일부 벤치마크는 GraphRAG 시스템을 다영역에서 포괄적으로 평가하기 위해 별도로 설계됨.

  • STARK [179]: 반정형 지식베이스에 대한 LLM 기반 검색을 평가하는 벤치마크. 제품 검색, 학술 문헌 검색, 정밀의료 질의 등 3개 도메인을 포함함.
  • GraphQA [55]: 실제 텍스트 기반 그래프 질의응답을 위한 유연한 벤치마크. Scene Graph 이해, 상식 추론, 지식그래프 기반 추론에 적용 가능.
  • GRBENCH [75]: LLM과 그래프 결합 연구를 촉진하기 위해 고안된 벤치마크. 10개 도메인 그래프 기반의 1,740개 질문을 포함함.
  • CRAG [186]: 구조화된 쿼리 데이터셋 및 모의 API를 포함하여 다양한 그래프 기반 시스템 간 공정한 비교를 가능하게 함.

9.3.2 Metrics

GraphRAG의 성능 평가는 크게 다운스트림 작업 성능과 검색 품질 평가의 두 가지로 나눌 수 있음.

• (1) Downstream Task Evaluation (Generation Quality)
  생성 결과의 품질을 평가하는 지표로 다음과 같은 항목이 활용됨.

  • KBQA:

    • Exact Match (EM), F1 Score: 정답 엔티티 정확도 평가
    • BERTScore, GPT4Score: 동의어 문제를 완화하기 위해 사용

  • CSQA:

    • Accuracy: 정답률 평가

  • 기타 생성 기반 태스크:

    • BLEU, ROUGE-L, METEOR 등 다양한 텍스트 생성 품질 지표 사용

• (2) Retrieval Quality Evaluation
  GraphRAG 시스템의 검색 정확도를 직접 평가하는 것은 어려움이 존재하므로, 다음과 같은 별도 지표들이 사용됨.

  • Answer Coverage / Subgraph Size 비율: 검색된 서브그래프 내에서 얼마나 많은 정답 정보를 포함하는지를 평가
  • Query Relevance: 검색된 문서와 질의 간 유사도 평가
  • Diversity: 검색 결과의 다양성 평가
  • Faithfulness Score: 검색 결과가 실제 정보에 충실한 정도 평가

이와 같은 다양한 지표를 통해 GraphRAG 시스템의 질의응답 정확도, 검색 효율성, 생성 품질을 종합적으로 평가할 수 있음.

---

9.4 GraphRAG in Industry

산업 현장에서의 GraphRAG 적용 사례를 소개함. 이들 시스템은 주로 산업용 그래프 데이터베이스를 기반으로 하거나 대규모 그래프 데이터를 다루는 것이 특징이며, 각각의 구현 방식과 기술적 특징은 다음과 같음.

• GraphRAG (Microsoft)
  Microsoft에서 개발한 시스템으로, LLM을 활용하여 엔티티 기반 지식그래프를 구축하고, 관련 엔티티 그룹에 대한 커뮤니티 요약을 사전 생성함. 이 접근은 문서 집합 내의 로컬 및 글로벌 관계를 포착함으로써, Query-Focused Summarization (QFS) 과제를 향상시킴 [32].
  또한, LlamaIndex, LangChain 등 오픈소스 RAG 툴킷을 활용하여 신속한 구현이 가능함.

• GraphRAG (NebulaGraph)
  NebulaGraph Corporation에서 개발한 최초의 산업용 GraphRAG 시스템. 이 시스템은 LLM을 NebulaGraph 데이터베이스에 통합하여 보다 정확하고 지능적인 검색 결과를 제공하는 것을 목표로 함.

• GraphRAG (Antgroup)
  Antgroup에서 개발한 시스템으로, DB-GPT, OpenSPG (KG 엔진), TuGraph (그래프 DB) 등의 AI 프레임워크 위에서 구축됨.
  주요 동작 방식은 다음과 같음:

  1. LLM을 이용한 triple 추출 → 문서에서 엔티티-관계-엔티티 구조를 추출
  2. Graph DB 저장 → 추출된 triple을 TuGraph에 저장
  3. 검색 단계 → 질의에서 키워드를 추출하여 해당 노드를 찾고, BFS 또는 DFS 기반으로 서브그래프 탐색 수행
  4. 생성 단계 → 추출된 서브그래프 데이터를 텍스트로 변환하여 context 및 질의와 함께 LLM에 전달하여 응답 생성

• NaLLM (Neo4j)
  Neo4j가 개발한 프레임워크로, Neo4j 그래프 데이터베이스와 LLM 간의 시너지를 연구하기 위해 고안됨. 다음과 같은 세 가지 주요 사용 사례에 초점을 맞춤:

  1. 자연어를 통한 Knowledge Graph 질의
  2. 비정형 데이터로부터 Knowledge Graph 생성
  3. 정적 데이터 + LLM 데이터를 활용한 리포트 생성

• LLM Graph Builder (Neo4j)
  Neo4j에서 개발한 프로젝트로, 비정형 데이터를 기반으로 Knowledge Graph를 자동 생성함. 이는 GraphRAG의 Graph Database Construction 및 Indexing 단계에 적합함.
  주요 특징은 다음과 같음:

  • LLM을 사용하여 노드, 관계, 속성 등을 추출
  • LangChain을 활용해 구조화된 Knowledge Graph 생성

---

10 Future Prospects

GraphRAG 기술은 지속적인 발전을 이루고 있지만, 여전히 해결되지 않은 과제가 존재하며, 이로 인해 향후 연구가 필요한 여러 방향이 제시됨. GraphRAG 분야의 주요 도전 과제와 이를 극복하기 위한 미래 연구 방향

10.1 Dynamic and Adaptive Graphs

대부분의 GraphRAG 시스템은 정적 그래프 데이터베이스를 기반으로 함 [32, 41, 85, 86, 111, 188]. 그러나 시간의 흐름에 따라 새로운 엔티티 및 관계가 지속적으로 등장하며 [20, 44, 181], 이를 신속히 반영하는 동적 업데이트는 중요한 동시에 도전적인 과제임.

• 최신 정보를 반영함으로써 시의성 있는 정답 생성 가능
• 실시간 데이터 통합 및 효율적인 업데이트 메커니즘 개발 필요
• 실제 산업 환경에서는 새로운 관계나 엔티티가 빠르게 추가되므로, 지속적 갱신을 위한 구조적 설계가 요구됨

10.2 Multi-Modality Information Integration

대다수의 지식그래프는 텍스트 기반 정보만 포함함. 그러나 이미지, 오디오, 비디오 등 다양한 모달리티의 정보는 지식베이스의 질과 다양성을 향상시킬 수 있음 [174].

• 모달리티 확장은 풍부하고 정교한 지식 표현 가능

• 그러나 정보량이 증가함에 따라 그래프의 복잡성과 크기가 지수적으로 증가 → 그래프 유지 관리 어려움

• 이를 위해서는 다음이 필요:

  • 고도화된 통합 알고리즘
  • 모달리티 간 정렬 및 매핑 전략
  • 통합된 멀티모달 그래프 구조 설계 및 자동화된 파이프라인 구축

10.3 Scalable and Efficient Retrieval Mechanisms

산업용 지식그래프는 수백만~수십억 개의 엔티티로 구성될 수 있으며, 이는 소규모 지식그래프를 대상으로 한 기존 연구와 차별됨 [32].

• 대규모 그래프에서의 효율적인 엔티티 검색은 여전히 해결되지 않은 주요 문제

• 필요한 요소:

  • 스케일 가능한 검색 인프라 (ex. 분산 그래프 쿼리 처리, 캐시 최적화 등)
  • 정확도 유지하면서도 빠른 서브그래프 탐색을 위한 고급 알고리즘 개발 (e.g., 하이브리드 검색, 그래프 프루닝 등)
  • 실시간 응답을 위한 인덱싱 구조 최적화 및 메모리 효율화 전략

10.4 Combination with Graph Foundation Models

최근에는 다양한 그래프 작업을 효과적으로 처리할 수 있는 Graph Foundation Model이 등장하여 주목받고 있음 [42, 115].

• 이러한 모델은 그래프 구조에 최적화된 입력 처리 능력을 보유

• 기존 GraphRAG 시스템에 통합할 경우 다음과 같은 이점이 있음:

  • 구조적 정보 처리 성능 향상
  • LLM 기반 처리의 한계를 보완
  • 그래프 데이터의 의미론적 추론 능력 강화

• 연구 방향:

  • GNN 계열의 Foundation Model을 GraphRAG 전처리/후처리 파이프라인에 접목
  • LLM + GFM 하이브리드 구조 실험 및 평가

10.5 Lossless Compression of Retrieved Context

GraphRAG에서는 서브그래프 검색 결과를 LLM이 이해할 수 있는 시퀀스 형태로 변환하여 입력함. 이 과정에서 생성되는 컨텍스트 길이가 지나치게 길어짐.

• 문제점:

  • LLM의 입력 토큰 한계 초과
  • 추론 시 계산 비용 급증

• 이를 해결하기 위한 방안으로 Lossless Compression이 제안됨:

  • 중복 제거 및 의미 유지 기반 문장 압축
  • 핵심 정보만을 유지하면서 입력 컨텍스트 길이 축소

• 난점:

  • 압축 과정에서 정보 손실 없이 의미 보존 필요
  • 기존 연구 [41, 86]에서는 압축률과 정보 보존 간 트레이드오프 존재

• 향후 과제:

  • 문맥 보존 기반 압축 모델 또는 Knowledge-Preserving Summarizer 개발 필요

10.6 Standard Benchmarks

GraphRAG 분야는 여전히 표준화된 벤치마크가 부족한 초기 단계임.

• 문제점:

  • 각 연구마다 다른 데이터셋 및 평가 기준 사용
  • 기술 간 공정한 비교 어려움

• 필요사항:

  • 공통 데이터셋 + 명확한 평가 지표 + 다양한 테스트 시나리오로 구성된 벤치마크 구축
  • 추론 정확도 외에도 검색 성능, 다양성, 신뢰성 등 다면적 평가 항목 포함

• 기대효과:

  • 다양한 접근법의 장단점 식별 가능
  • 기술 발전 촉진 및 산업 적용 확장에 기여

10.7 Broader Applications

현재 GraphRAG는 고객 응대 [183], 추천 시스템 [25], KBQA [41] 등에 주로 사용되고 있음. 그러나 다양한 고차원 응용 분야로의 확장 가능성 존재:

• 의료 (Healthcare): 진단 지원, 환자 기록 분석, 맞춤형 치료 계획 생성
• 금융 (Finance): 사기 탐지, 리스크 평가, 개인화된 자산 관리
• 법률/컴플라이언스: 계약 분석, 규제 대응, 판례 기반 질의 응답
• 스마트시티/IoT: 센서 네트워크 기반 지식 탐색, 실시간 경보 시스템 등
• 향후에는 이러한 도메인별 복합 그래프 활용을 위한 맞춤형 GraphRAG 설계가 필요하며, LLM과의 융합 아키텍처 고도화가 핵심 과제로 부상함

---

11 Conclusion

GraphRAG는 그래프 기반 관계 지식을 활용함으로써, 기존 Retrieval-Augmented Generation(RAG) 기법의 한계를보완하고 정보 검색의 정확도, 관련성, 포괄성을 크게 향상시킴.

• 주요 기여:

  • 기존 RAG의 한계였던 비구조화 문서 기반 연관성 부족 문제를 해결
  • 관계 기반 추론 능력을 강화하여 질의에 대한 구조적 응답 생성 가능
  • 다양한 그래프 소스와 LLM의 융합 구조 설계에 대한 이정표 제공

또한, GraphRAG는 아직 초기 연구 단계에 있는 기술이므로, 본 논문에서는 다음 내용을 제시함:

• 표준 벤치마크 정리
• 현존하는 기술적 한계 분석
• 향후 연구 및 확장 방향 제시

GraphRAG는 향후 멀티모달 지식 융합, 그래프 기반 응용 확대, 그래프 파운데이션 모델과의 통합 등 다양한 발전 가능성을 가진 유망 분야로, LLM 기반 시스템의 정확성과 지식 확장성을 동시에 강화할 수 있는 핵심 기술로 자리매김할 것으로 기대됨.

‌