위클리 페이퍼 #11

 

안녕하세요 이번에는 위클리페이퍼 11 주제에 대해 정리해보려고 합니다 ~! 

 

 

1.BERT와 GPT의 주요 차이점은 무엇인가요? 각각의 기본 구조와 작동 방식, 적합한 NLP 응용 분야를 위주로 설명해주세요.

BERT와 GPT는 모두 Transformer 기반의 대표적인 사전학습 언어모델로, 현대 NLP 발전의 핵심적인 출발점이 되었습니다. 다만 두 모델은 구조, 학습 방식, 강점이 드러나는 응용 분야에서 뚜렷한 차이를 보입니다.BERT와 GPT는 모두 Transformer 기반 언어모델이지만, 무엇을 더 잘하게 설계됐는지가 다릅니다.

 

 

1. BERT와 GPT의 주요 차이점

 

(1)BERT: 문맥을 양쪽에서 보고 이해하는 모델

BERT는 Transformer의 Encoder-only 구조를 사용합니다.
가장 큰 특징은 양방향(bidirectional) 으로 문맥을 본다는 점입니다.
즉, 어떤 단어의 의미를 파악할 때 앞 단어와 뒤 단어를 함께 참고합니다.

 

예를 들어 “나는 은행에 가서 돈을 찾았다.”라는 문장을 살펴보겠습니다. BERT는 “은행”이 강가(river bank)가 아니라 금융기관이라는 점을 앞뒤 문맥을 함께 보고 이해할 수 있습니다.

 

BERT의 대표적인 사전학습 방식은 MLM(Masked Language Modeling) 입니다.문장 속 일부 단어를 가려 놓고, 그 빈칸에 들어갈 단어를 맞히게 합니다.

 

예를 들면, “나는 오늘 [MASK]를 마셨다.” 라는 문장을 보고, 앞뒤 문맥을 바탕으로 “커피”, “물”, “차” 같은 단어를 예측합니다. 초기 BERT에는 NSP(Next Sentence Prediction) 도 함께 쓰였습니다.이것은 두 문장이 실제로 이어지는 문장인지 맞히는 방식입니다.

BERT가 잘하는 일

BERT는 텍스트를 이해하고 분류하는 작업에 적합합니다.

예:

• 감성 분석
  “이 영화는 정말 재미있었다” → 긍정
• 문장 분류
  메일이 스팸인지 아닌지 분류
• 개체명 인식(NER)
  “이순신은 조선의 장군이다”에서 “이순신”은 인물, “조선”은 국가로 인식
• 질의응답(QA)
  지문을 읽고 그 안에서 답을 찾기

즉, BERT는 “이 문장이 무슨 뜻인지 잘 파악하는 모델” 입니다.

---

(2)GPT: 다음 단어를 이어 쓰며 생성하는 모델

GPT는 Transformer의 Decoder-only 구조를 사용합니다.이 모델은 왼쪽에서 오른쪽으로 순서대로 읽으면서 다음 단어를 예측합니다.예를 들어,“오늘 날씨가 좋아서” 까지 주어지면, 그다음에 “산책을”, “밖에”, “기분이” 같은 말을 이어서 만들어냅니다.이 방식을 자기회귀(autoregressive) 방식이라고 합니다. 즉, 지금까지 나온 단어들을 바탕으로 다음 토큰 하나씩 생성해 나가는 구조입니다.

GPT가 잘하는 일

GPT는 텍스트 생성 작업에 강합니다.

예:

• 대화형 AI
  질문에 자연스럽게 답변
• 글쓰기 보조
  이메일, 보고서, 에세이 초안 생성
• 요약
  긴 문서를 짧게 정리
• 번역
  한국어 ↔ 영어 변환
• 코드 생성
  “파이썬으로 정렬 코드 짜줘” 같은 요청 처리

예를 들어 사용자가 “봄에 어울리는 짧은 광고 문구를 써줘”라고 하면, GPT는 맥락에 맞는 새로운 문장을 만들어냅니다.즉, GPT는“자연스럽게 다음 말을 이어서 만들어내는 모델” 입니다.

 

 

BERT와 GPT는 모두 Transformer 기반 언어모델이지만, 무엇을 더 잘하게 설계됐는지가 다릅니다.
쉽게 말하면, 다음과 같이 정리할 수 있습니다. 
정리하면, BERT는 문장을 이해하는 모델, GPT는 문장을 생성하는 모델이라고 볼 수 있습니다.

 

 

BERT vs GPT

구조	Encoder-only (양방향)	Decoder-only (단방향)
사전학습	MLM + NSP	Next Token Prediction
강점	이해/분석 (분류, QA, NER)	생성 (번역, 요약, 대화)

 

 

 

 

 

2.Hugging Face Transformers 라이브러리는 무엇이며, 어떤 기능을 제공하나요?

Hugging Face Transformers는 BERT, GPT, RoBERTa, T5, BART 등 다양한 사전학습 모델을 쉽게 불러오고 활용할 수 있도록 만든 오픈소스 라이브러리입니다. PyTorch, TensorFlow, JAX 등 여러 딥러닝 프레임워크와 호환되며, 연구와 실무 모두에서 널리 사용됩니다.

왜 많이 쓰일까?

가장 큰 이유는 사용이 매우 간단하기 때문입니다. 예를 들어 감성 분석을 직접 구현하려면,

• 토크나이저 만들기
• 모델 구조 설계
• 학습 코드 작성
• 추론 함수 작성

같은 작업이 필요합니다.

하지만 Hugging Face에서는 pipeline만 써도 기본 작업을 바로 실행할 수 있습니다.

예:

• 감성 분석
• 텍스트 생성
• 요약
• 번역
• 질의응답

즉, 연구자나 개발자가 모델 구조를 하나하나 다시 짤 필요 없이 바로 실험하고 적용할 수 있는 환경을 제공합니다.

(1)주요 기능

1) 토크나이저 제공

모델은 문장을 바로 이해하지 못하므로, 문장을 잘게 쪼개 토큰(token) 으로 바꿔야 합니다.
Transformers 라이브러리는 모델마다 맞는 토크나이저를 함께 제공합니다.

예:

“I love NLP”

→ ["I", "love", "NL", "##P"] 처럼 나뉠 수 있음

---

2) 사전학습 모델 불러오기

이미 학습된 BERT, GPT, T5 등을 바로 로드할 수 있습니다.

예:

• bert-base-uncased
• gpt2
• roberta-base
• t5-small

즉, 대규모 학습을 직접 하지 않아도
이미 학습된 모델을 바로 활용할 수 있습니다.

---

3) 파인튜닝(fine-tuning)

사전학습된 모델을 내 데이터에 맞게 다시 조금 학습시켜
특정 업무에 최적화할 수 있습니다.

예:

• 병원 리뷰 데이터로 감성 분석 모델 만들기
• 법률 문서 분류 모델 만들기
• 고객 상담 문서 요약 모델 만들기

---

4) Pipeline API

복잡한 코드 없이 한 줄 수준으로 작업을 실행할 수 있게 해줍니다.

예를 들어:

• “이 문장이 긍정인지 부정인지”
• “이 기사 내용을 3줄로 요약”
• “영어를 한국어로 번역”

같은 작업을 빠르게 수행할 수 있습니다.

---

5) 멀티모달 확장

원래는 NLP 중심이었지만, 이후에는 텍스트뿐 아니라
이미지, 음성, 멀티모달 모델까지 다루는 방향으로 크게 확장되었습니다.

예:

• 이미지 설명 생성
• 음성 인식
• 이미지+텍스트 결합 모델 활용

 

 토크나이저, 데이터셋 처리, 파인튜닝(Trainer API), 멀티모달(NLP/CV/오디오) 지원이 있으며, 2026년 4월 기준 v5.5+ 버전에서 양자화와 비동기 추론이 강화되었습니다.

 

 

 

 

 

3.BERT와 GPT 이후 등장한 주요 사전학습 모델에는 어떤 것들이 있으며, 특징은 무엇인가요? 구글링 등을 통해 자유롭게 리서치해서 정리해보세요.

BERT/GPT 이후 

- RoBERTa(동적 마스킹, 더 큰 데이터)

- ALBERT(경량화, 파라미터 공유)

- DistilBERT(지식 증류)

- DeBERTa(분해 어텐션)

- ELECTRA(디스크리미네이터 효율 학습)

- T5(텍스트-투-텍스트 통합)

- BART(노이즈 복원)가 등장했습니다.

2026년 4월 기준으로는 GPT-5.4(컴퓨터 사용 API, 1M 컨텍스트, 범용 생성), Claude 4.6 Opus(코딩 최강, 14.5시간 에이전트), Gemini 3.1 Pro(추론/멀티모달 1위), Llama 4(오픈소스 대형), Grok 4.1(xAI 고차원 추론)이 주목받으며, 에이전트 오케스트레이션과 강화 추론이 트렌드입니다.