Beyond Factuality A Comprehensive Evaluation of Large Language Models as Knowledge Generators, Chen et al., EMNLP 2023

CONNER 프레임워크를 활용해 factuality 외에도 relevance, coherence, informativeness 등 다양한 지표를 측정하여 LLM의 성능을 다각적으로 평가함.
기존 평가 지표였던 factuality가 반드시 downstream task 성능에 결정적인 영향을 미치지 않으며, relevance와 coherence가 성능에 더 큰 기여를 할 수 있음을 발견함.
이 프레임워크는 prompt engineering과 knowledge selection을 최적화하는 데 유용하게 활용될 수 있음.

Motivation

LLM은 retrieval-based approaches를 대체하며 지식 생성 분야에서 점점 더 중요한 역할을 하고 있음.
그러나 hallucination과 factual inconsistency 문제가 지속적으로 발생하며, 모델의 신뢰성과 성능 저하를 야기함.
기존 평가 방식인 human evaluation은 주관적이고 확장성에 한계가 있어 일관된 모델 성능 평가가 어려움.
이 연구는 CONNER 프레임워크를 도입해, 자동화된 평가 지표를 통해 모델의 다양한 측면을 정량적으로 측정하고자 함.

작동방식

CONNER 프레임워크의 구조 및 전반적인 흐름
- CONNER는 Intrinsic 평가와 Extrinsic 평가로 구분됨.
  - Intrinsic 평가: factuality, relevance, coherence, informativeness와 같은 지표를 측정.
  - Extrinsic 평가: 지식이 downstream task에 미치는 영향을 helpfulness와 validity로 평가.
- 각 평가 지표는 독립적 모듈로 구성되며, 자동화된 방식으로 측정됨.

Intrinsic 평가 단계

Factuality 평가 과정
- Dense retriever를 사용해 생성된 답변과 외부 지식 소스 간의 유사도를 계산함.
- NLI (Natural Language Inference) 모델을 활용해 문장 간의 관계를 판단.
  - 문장 간 관계는 entailment, neutral, refuted 중 하나로 분류됨.
```
질문: "Who wrote the song The Glory of Love?"
생성된 답변: "Billy Hill" -> entailment (정확한 정보)
```
Relevance 및 Coherence 평가 과정
- BERT-based ranking 모델을 사용해, 생성된 지식이 입력된 질문과 얼마나 관련성이 있는지 계산.
- 문단 내 문장들 간의 sentence-level cohesion과 전체 문단의 paragraph-level coherence를 측정함.
```
문단: "The Mona Lisa is housed in the Louvre. It was painted by Leonardo da Vinci."
Coherence 평가: 두 문장이 논리적으로 연결되어 있어 높은 점수 부여.
```

Informativeness 평가 과정

생성된 답변이 기존 지식과 비교해 얼마나 새로운 정보를 포함하는지 측정함.

질문: "What is the capital of the United States?"
답변: "Washington, D.C." -> 낮은 informativeness (일반적인 정보)
답변: "The capital Washington, D.C., was established in 1790." -> 높은 informativeness (추가 정보 포함)

Extrinsic 평가 단계

Helpfulness와 Validity 측정 과정
- Helpfulness는 생성된 지식이 downstream task에서 얼마나 효과적으로 사용될 수 있는지를 측정함.
  - 예를 들어, 생성된 답변이 대화 시스템에서 사용될 때 사용자의 질문에 얼마나 잘 대응하는지 평가.
- Validity는 생성된 지식이 downstream 결과의 사실성을 유지하는 데 얼마나 기여하는지를 측정함.
```
질문: "Who painted the Mona Lisa?"
생성된 답변: "Leonardo da Vinci" -> Valid (정확한 정보)
생성된 답변: "Van Gogh" -> Invalid (잘못된 정보)
```

기대 효과 및 활용 결과

CONNER 프레임워크를 통해 LLM-generated knowledge의 다양한 측면을 정량적으로 평가할 수 있음.
Factuality 외에도 relevance와 coherence가 downstream 성능에 큰 영향을 미친다는 것을 발견함.
이 프레임워크는 prompt engineering과 knowledge selection의 최적화에 활용될 수 있으며, 실시간 검색 및 대화 시스템에서 성능을 극대화할 수 있음.

성능 비교

Model	Factuality	Relevance	Coherence	Informativeness	Helpfulness	Validity
DPR	91.96%	0.24	0.7514	0.7194	0.1236	36.86%
FLAN-T5	77.90%	0.3776 (+0.13)	0.7239 (-0.03)	0.8331 (+0.11)	0.0904 (-0.03)	56.97% (+20.11%)
LLaMA	89.46%	0.5041 (+0.13)	0.7889 (+0.07)	0.8389 (+0.11)	0.1178 (-0.01)	63.50% (+26.64%)
ChatGPT	88.51%	0.5283 (+0.02)	0.7448 (-0.04)	0.9250 (+0.09)	0.1023 (-0.01)	59.76% (+22.90%)

장단점

장점
- 다양한 지표에서 retrieved knowledge보다 우수한 성능을 보임.
- Prompt engineering과 knowledge selection을 최적화하는 데 활용 가능함.
- 자동화된 평가로 확장성과 효율성을 확보함.
단점
- Factuality 문제가 여전히 발생할 수 있음.
- Non-English 언어에 대한 적용에 한계가 있음.

DPR: 높은 factuality를 제공하지만 relevance와 coherence 문제로 성능 저하가 발생함.
FLAN-T5: 다양한 task에 최적화되었으나 factuality가 낮음.

한계 및 Future Work

Non-English 언어에 대한 평가 프레임워크 확장이 필요함.
세부 정보 수준의 오류 탐지를 위한 새로운 방법론 개발이 요구됨.
Wikipedia 외 다양한 지식 소스를 활용한 연구가 필요함.

기타 디테일

리소스: LLaMA, FLAN-T5, ChatGPT 사용.
데이터셋: Natural Questions(NQ), Wizard of Wikipedia(WoW) 활용.
코드 및 데이터: GitHub에 공개 예정.