1. 이미지를 모델에 입력하기 전에 리사이징과 정규화를 하는 이유는?
이미지를 모델에 넣기 전 이 과정을 거치는 것은 선택이 아닌 연산의 효율성과 수렴의 안정성 때문입니다.
리사이징 (Resizing)
- 배치 연산의 필수 조건: GPU는 텐서연산을 병렬로 처리합니다. 한 배치 내의 이미지 크기가 제각각이면 하나의 행렬로 묶을 수 없습니다.
- 메모리 및 연산 효율: 고해상도 이미지는 정보량이 많지만, 그만큼 VRAM을 점유하고 연산량을 기하급수적으로 늘립니다. 모델의 수용력(Capacity)에 맞는 적절한 크기로 타협하는 것이 엔지니어링의 핵심입니다.
정규화 (Normalization)
이미지 픽셀 값은 보통 $0 \sim 255$ 사이의 정수입니다. 이를 그대로 넣으면 경사 하강법(Gradient Descent) 과정에서 가중치 업데이트가 불안정해집니다.
- 수렴 속도 향상: 입력 값의 스케일이 크면 손실 함수(Loss Function)의 지형이 길쭉한 타원형이 되어 최적점(Minimum)을 찾기까지 지그재그로 진동하며 시간이 오래 걸립니다.
- 수식의 이해:
- u (Mu): 평균(Mean). 데이터의 중심을 0으로 맞춥니다.
- 시그마 (Sigma): 표준편차(Standard Deviation). 데이터의 분포 범위를 일정하게 맞춥니다.
2.데이터 증강이란 무엇이며, 이미지 데이터에서 주로 사용하는 증강기법에는 어떤 것들이 있나요?
데이터 증강은 데이터가 부족해서 하는 것이라는 생각은 반만 맞습니다. 본질은 모델이 데이터의 불변성을 학습하게 하여 일반화 성능(Generalization)을 높이는 것입니다.
주요 기법
- Geometric Transforms: Rotation, Flipping, Cropping. 객체가 뒤집히거나 일부만 보여도 같은 객체임을 인지하게 합니다.
- Color Jittering: Brightness, Contrast, Saturation 조절. 조명 조건이 바뀌어도 강건한(Robust) 모델을 만듭니다.
- Noise Injection: 데이터에 의도적인 노이즈를 추가하여 과적합을 방지합니다.
Engineering Point
증강은 크게 Offline(미리 생성하여 저장)과 Online(학습 시 실시간 생성)으로 나뉩니다. 실무에서는 스토리지 비용과 유연성 때문에 DataLoader 단계에서 처리하는 Online 방식을 선호합니다.
3.전이 학습 (Transfer Learning)이란 무엇이며, 이미지 분류 모델에서 어떻게 활용할 수 있나요?
밑바닥부터(From Scratch) 모델을 학습시키는 것은 자원 낭비입니다. 이미 거대 데이터셋(ImageNet 등)으로 학습된 '지식'을 빌려오는 것이 효율적입니다.
활용 방법
- Feature Extractor: 사전 학습된 모델의 가중치를 고정(Freeze)하고, 마지막 분류기(Fully Connected Layer)만 내 문제에 맞게 새로 학습시킵니다.
- Fine-tuning: 하위 계층의 가중치는 고정하되, 상위 계층 일부와 분류기를 함께 학습시켜 도메인에 특화된 특징을 잡도록 미세 조정합니다.
생각해볼 문제. 무조건 Fine-tuning이 좋지는 않습니다. 데이터셋이 너무 작으면 오히려 Overfitting을 유발하기 때문에 데이터의 양과 유사도에 따른 전략적 선택이 필요합니다.