위클리 페이퍼 #12

Q1. LLM이 생성한 텍스트에서 할루시네이션이란 무엇이고, 왜 문제가 되나요?

1. LLM 할루시네이션
(1) 정의
할루시네이션은 LLM이 사실과 다르거나 근거가 불확실한 내용을 그럴듯하게 생성하는 현상입니다. LLM은 기본적으로 다음에 올 가능성이 높은 단어를 예측해 문장을 생성하기 때문에, 문장이 자연스럽다고 해서 그 내용이 반드시 사실이라는 뜻은 아닙니다.


(2) 왜 발생하는가?
첫째, LLM은 기본적으로 확률 기반 생성 모델입니다. 모델은 “진실”을 직접 판단한다기보다, 학습 데이터에서 본 패턴을 바탕으로 가장 자연스러운 답변을 생성합니다.

둘째, 훈련 데이터의 한계가 있습니다. 훈련 데이터가 오래되었거나, 부정확하거나, 편향되어 있으면 모델도 잘못된 내용을 생성할 수 있습니다.

셋째, 지식 공백이 있습니다. 모델이 모르는 질문을 받았을 때 “모른다”고 말하기보다 그럴듯한 답을 만들어내는 경우가 있습니다.

넷째, 출처와 근거를 직접 검증하지 못하는 한계가 있습니다. 특히 기본 LLM은 외부 문서를 실시간으로 확인하지 않으면 최신 사실이나 구체적 수치를 검증하기 어렵습니다.

(3) 왜 문제가 되는가?
할루시네이션은 단순한 오류를 넘어 실제 피해로 이어질 수 있습니다. 의료, 법률, 금융처럼 정확성이 중요한 분야에서는 잘못된 답변이 의사결정에 영향을 줄 수 있습니다. 기업 서비스에서는 고객에게 잘못된 정보를 제공해 신뢰도와 법적 책임 문제가 생길 수 있습니다. 교육, 언론, 공공 영역에서는 잘못된 정보가 확산되는 문제도 발생합니다.

(4) 실제 예시
- 질문:
삼성전자의 2030년 매출은?

- LLM의 잘못된 응답 예시:
삼성전자는 2030년에 500조 원의 매출을 기록했다.

문제는 2030년은 아직 확정된 과거 데이터가 아니므로, 이런 답변은 미래 예측을 사실처럼 말한 할루시네이션에 가깝습니다.

2. 여러 LLM 서비스들은 할루시네이션을 어떻게 줄이려 하나?
(1) RAG
RAG는 Retrieval-Augmented Generation의 약자입니다. LLM이 자체 기억만으로 답하지 않고, 외부 문서나 데이터베이스를 검색한 뒤 그 근거를 바탕으로 답변하는 방식입니다.

구조:
질문 → 관련 문서 검색 → 문서 내용 참고 → LLM 답변 생성

이 그림은 RAG의 기본 구조를 보여줍니다. 

먼저 사용자가 1) Prompt + Query를 입력하면, 시스템은 그 질문을 바탕으로 2) 관련 정보를 검색합니다. 그다음 검색된 결과는 3) 관련 컨텍스트 정보로 정리되어 LLM에 전달되고, 최종적으로 4) Prompt + Query + Enhanced Context가 된 입력을 바탕으로 LLM이 5) Generated Text Response를 생성합니다. 즉, LLM이 내부 기억만으로 답하는 것이 아니라 외부 지식 소스에서 찾은 근거를 함께 활용하므로, 더 정확하고 근거 있는 응답을 만들 수 있습니다.

(2) Grounding
Grounding은 모델의 답변을 특정 문서, 검색 결과, 데이터베이스, 기업 내부 자료 등에 연결하는 방식입니다. 즉, “모델이 그냥 말하는 것”이 아니라 “어떤 근거를 바탕으로 말하는지”를 명확히 하려는 접근입니다.

예를 들어 기업용 챗봇은 사내 매뉴얼, 제품 문서, FAQ를 기반으로만 답하도록 설계할 수 있습니다.


(3) Tool use
최근 LLM 서비스들은 검색, 계산기, 코드 실행기, 데이터베이스 조회 같은 도구를 함께 사용합니다. 예를 들어 계산 문제는 모델이 암산으로 답하지 않고 계산 도구를 사용하게 만들 수 있습니다. 최신 정보가 필요한 질문은 검색 도구를 사용해 확인할 수 있습니다.


(4) RLHF와 안전 학습
RLHF는 Reinforcement Learning from Human Feedback의 약자입니다. 사람이 좋은 답변과 나쁜 답변을 평가하고, 그 피드백을 바탕으로 모델이 더 유용하고 안전한 답변을 하도록 학습시키는 방식입니다.

다만 RLHF만으로 할루시네이션을 완전히 없앨 수는 없습니다. 그래서 RAG, 검색, 출처 인용, 검증 모델 등을 함께 사용합니다.



(5) 답변 검증과 출처 인용
일부 서비스는 답변 뒤에 참고 문서나 링크를 함께 제공합니다. 또는 모델이 생성한 답변을 별도의 검증 단계에서 다시 확인하는 방식도 사용합니다.

하지만 출처가 표시된다고 해서 항상 완벽한 것은 아닙니다. 모델이 출처를 잘못 해석하거나, 출처와 맞지 않는 결론을 낼 수도 있기 때문입니다.

Q2. 모델 크기를 키우는 것만으로는 성능이 일정 시점 이후 둔화되는 이유는?
1. 모델 크기와 성능은 비례하지 않음 
LLM은 일반적으로 모델 크기, 데이터 양, 연산량이 증가하면 성능이 좋아지는 경향이 있습니다. 이를 scaling law라고 합니다.

하지만 어느 시점부터는 모델을 더 크게 만들어도 성능 향상 폭이 줄어듭니다. 즉, 비용은 크게 증가하지만 성능 개선은 점점 작아지는 수확 체감이 발생합니다.

2. 주요 이유
(1) 고품질 데이터의 한계
모델이 커질수록 더 많은 고품질 데이터가 필요합니다. 하지만 인터넷에 있는 모든 데이터가 좋은 학습 데이터는 아닙니다. 중복, 오류, 편향, 저품질 텍스트가 많기 때문에 단순히 데이터를 많이 넣는다고 성능이 계속 좋아지지는 않습니다.

(2) 연산 비용의 급증
모델이 커지면 학습과 추론 비용이 크게 증가합니다. 더 많은 GPU, 전력, 메모리, 시간이 필요합니다. 따라서 실무에서는 성능이 조금 더 좋아지는 것보다 비용 대비 효율이 더 중요해집니다.

(3) 데이터와 모델 크기의 균형 문제
Chinchilla 연구에서는 모델을 무조건 크게 만드는 것보다, 모델 크기와 학습 토큰 수의 균형이 중요하다고 설명했습니다. 즉, 큰 모델을 적은 데이터로 학습시키는 것보다, 적절한 크기의 모델을 충분한 데이터로 학습시키는 것이 더 효율적일 수 있습니다.


(4) 특정 능력은 크기만으로 해결되지 않음
논리 추론, 최신 정보 반영, 사실 검증, 긴 문맥 유지, 도메인 전문성은 모델 크기만으로 완전히 해결되지 않습니다. 그래서 최근에는 단순히 모델을 키우는 것보다 다음 접근이 함께 사용됩니다.

- 모델 구조 개선.
- 고품질 데이터 정제.
- RAG.
- Tool use(검색, 계산기, 코드 실행기 같은 외부 도구를 모델이 함께 사용하는 방식).
- Instruction tuning(자연어 지시를 잘 따르도록 예시 기반으로 추가 학습하는 방식).
- PEFT(Parameter-Efficient Fine-Tuning, 전체 모델이 아니라 일부 파라미터만 효율적으로 미세조정하는 방법).
- MoE(Mixture of Experts, 입력에 따라 일부 전문가 네트워크만 선택적으로 활성화하는 구조).
- 긴 컨텍스트 처리 개선.
- 추론 시 계산량을 늘리는 test-time compute 계열 접근( AI가 단순히 패턴을 매칭하는 것을 넘어, 문제의 난이도에 따라 스스로 더 많은 연산을 수행하며 깊게 사고하게 만드는 기술)

 

모델 크기는 중요하지만, 성능을 결정하는 유일한 요소는 아닙니다.
LLM 성능은 모델 크기, 데이터 품질, 학습 방식, 추론 전략, 외부 도구 활용의 조합으로 결정됩니다.

 

 

 

Q3. PEFT가 필요한 이유는 무엇이며, 어떤 상황에서 특히 효과적인가?
1. PEFT의 정의
PEFT는 Parameter-Efficient Fine-Tuning의 약자입니다. 대규모 모델 전체를 다시 학습하지 않고, 일부 파라미터만 조정해 특정 작업에 맞게 모델을 튜닝하는 방법입니다.

2. 왜 필요한가?
LLM 전체를 fine-tuning하려면 막대한 GPU 메모리와 학습 시간이 필요합니다. 또한 태스크마다 모델 전체를 따로 저장하면 저장 비용도 커집니다. PEFT는 이런 문제를 줄이기 위해 등장했습니다.

3. PEFT의 장점
-적은 GPU 메모리 사용.
-빠른 학습.
-낮은 비용.
-여러 태스크에 쉽게 적용.
-기존 모델의 일반 능력을 비교적 잘 유지할 수 있음.

예를 들어 7B, 13B 이상의 모델을 개인이나 소규모 팀이 전체 fine-tuning하기는 어렵습니다. 하지만 LoRA나 QLoRA를 사용하면 훨씬 적은 자원으로 도메인 튜닝이 가능합니다.

4. 대표 기법
(1) LoRA
LoRA는 기존 가중치를 직접 크게 수정하지 않고, 작은 저랭크 행렬을 추가로 학습하는 방식입니다.

 

참고)

• 행렬의 랭크(Rank): 행렬에서 서로 독립적인 행이나 열의 최대 개수를 의미합니다.
• 저랭크(Low-rank): 원래 행렬이 가진 차원(가로/세로 길이)에 비해, 실질적으로 정보를 담고 있는 핵심 차원(Rank)이 현저히 낮은 상태를 말합니다

(2) QLoRA
QLoRA는 모델을 4-bit로 양자화한 상태에서 LoRA 방식으로 튜닝하는 기법입니다. 메모리 사용량을 크게 줄이면서도 비교적 좋은 성능을 유지할 수 있어 많이 사용됩니다.

(3) Adapter
Adapter는 모델 내부에 작은 추가 모듈을 삽입하고, 그 모듈만 학습하는 방식입니다.


(4) Prompt Tuning / Prefix Tuning
모델 가중치는 고정하고, 입력 앞에 붙는 학습 가능한 프롬프트나 prefix만 조정하는 방식입니다.



5. PEFT가 특히 효과적인 상황
PEFT는 다음 상황에서 특히 효과적입니다.

-GPU 자원이 부족한 개인 연구자나 소규모 팀.
-법률, 의료, 금융 등 특정 도메인에 맞게 모델을 조정할 때.
-여러 고객사나 여러 태스크별 모델을 운영해야 할 때.
-빠른 실험과 프로토타이핑이 필요할 때.
-기존 대형 모델의 일반 능력을 유지하면서 특정 업무 능력만 보강하고 싶을 때.

6. 예시
목표: 의료 상담과, 의료 용어에 익숙한 LLM 만들기.

Full fine-tuning을 하면 모델 전체를 다시 학습해야 하므로 비용이 큽니다. PEFT를 사용하면 기존 LLM은 대부분 그대로 두고, 의료 상담 데이터에 맞는 작은 추가 파라미터만 학습할 수 있습니다. 따라서 적은 비용으로 특정 도메인에 맞춘 모델을 만들 수 있습니다.

 

7.비교

                                        Full Fine-tuning                                                        PEFT

학습 범위	전체 파라미터 (All)	일부 파라미터 (Small)
자원 소모	매우 큼 (GPU/시간)	매우 적음
저장 비용	태스크마다 전체 모델 복사	베이스 모델 + 작은 어댑터
핵심 장점	최대 성능 잠재력	효율성, 빠른 배포, 가벼움