위클리페이퍼 #9

 

---

1. Semantic Segmentation vs. Classification

이미지 분석의 가장 기초적인 두 작업은 데이터를 바라보는 **해상도(Granularity)**에서 차이가 발생합니다.

• Image Classification (분류): 이미지 전체를 하나의 라벨로 정의합니다. "이 사진 안에 강아지가 있는가?"를 묻습니다. 공간 정보는 소실되고 특징(Feature)의 존재 여부에 집중합니다.
• Semantic Segmentation (의미론적 분할): 이미지 내의 모든 픽셀에 대해 클래스를 할당합니다. "이 픽셀이 강아지의 일부인가, 배경인가?"를 묻습니다. 객체의 위치와 경계선을 정확히 파악해야 하므로 공간 정보 보존이 필수적입니다.

[Design Intent]

Classification은 정보를 압축하여 추상화하는 것이 목적이지만, Segmentation은 압축된 정보를 다시 원래의 해상도로 복원(Up-sampling)하는 고도의 연산 설계가 필요합니다. 이는 백엔드에서 대용량 데이터를 집계(Aggregate)만 할 것인지, 다시 상세 이력으로 풀어서 제공할 것인지의 설계 차이와 맥락을 같이 합니다.

---

2. Fully Convolutional Networks (FCN)

FCN은 현대 Segmentation 모델의 조상 격으로, 기존 CNN 분류 모델의 한계를 '구조적 전환'으로 해결했습니다.

• 핵심 특징: 기존 CNN 끝단에 붙던 Fully Connected Layer(FC Layer)를 제거하고, 이를 $1 \times 1$ Convolution으로 대체했습니다.
• 차이점:
  1. 입력 사이즈의 자유: FC Layer가 없으므로 입력 이미지 크기에 제한을 받지 않습니다.
  2. 공간 정보 유지: 1차원 벡터로 펼치지 않고 2차원 특징 맵(Feature Map)을 유지하므로, 픽셀 위치 정보를 끝까지 보존할 수 있습니다.
  3. Transposed Convolution: 줄어든 특징 맵을 다시 키우는 과정을 통해 최종적으로 입력과 같은 크기의 Segmentation Map을 생성합니다.

---

3. GAN (Generative Adversarial Networks)

GAN은 두 모델이 서로 경쟁하며 성장하는 게임 이론(Game Theory) 기반의 아키텍처입니다.

• 생성자 (Generator): 무작위 노이즈로부터 가짜 데이터를 생성합니다. 판별자를 속이는 것이 목표입니다.
• 판별자 (Discriminator): 들어온 데이터가 실제 데이터(Real)인지 생성자가 만든 가짜(Fake)인지 구분합니다.
• 학습 원리: 생성자는 판별자를 속이려 하고, 판별자는 더 정교하게 가짜를 잡아내려 합니다. 이 과정에서 생성자는 실제 데이터의 분포를 학습하게 됩니다.

---

4. Diffusion Model의 활용과 장점

최근 생성 AI의 대세인 Diffusion 모델은 GAN과는 완전히 다른 확률적 접근을 취합니다.

• 활용 방식: 데이터에 점진적으로 노이즈를 추가하여 완전한 노이즈 상태로 만든 뒤(Forward Process), 이를 다시 역으로 계산하여 노이즈를 제거하며 데이터를 복원(Reverse Process)하는 과정을 학습합니다.
• 주요 장점:
  1. 학습 안정성: GAN은 생성자와 판별자의 균형이 깨지면 학습이 무너지는 'Mode Collapse' 문제가 빈번하지만, Diffusion은 목적 함수가 명확하여 학습이 훨씬 안정적입니다.
  2. 고품질 생성: 데이터의 전체적인 분포를 더 세밀하게 학습하므로, GAN보다 훨씬 정교하고 다양한 결과물을 만들어냅니다.