위클리 페이퍼 #15

1. 딥러닝 모델을 ONNX, TensorRT 포맷으로 변환하는 이유

PyTorch나 TensorFlow 같은 프레임워크는 '학습(Training)'에 최적화된 무거운 환경입니다. 이를 그대로 프로덕션환경에 올리는 것은 비효율적입니다.

• ONNX (Open Neural Network Exchange): * 목적: 프레임워크 종속성 탈피.
  • PyTorch에서 학습한 모델을 C++, Go, Java 등 다양한 백엔드 환경에서 쉽게 서빙할 수 있도록 표준화된 포맷으로 변환합니다.
• TensorRT: * 목적: NVIDIA GPU 환경에서의 극단적인 추론(Inference) 속도 최적화.
  • 네트워크의 레이어를 병합(Layer Fusion)하고, 하드웨어에 맞는 정밀도로 연산을 재구성하여 레이턴시를 최소화합니다.

설계 의도 (Design Intent): 지연 시간(Latency) 최소화와 프론트엔드 UX 개선 백엔드에서 AI 추론에 500ms가 걸린다면, 네트워크 왕복 시간까지 더해져 사용자는 최소 1초 이상의 지연을 겪습니다. 이는 프론트엔드 개발자가 복잡한 로딩 상태나 스켈레톤 UI를 강제로 구현하게 만드는 원인이 됩니다. 모델 경량화와 최적화 포맷 변환은 단순히 서버 리소스를 아끼는 것을 넘어, 즉각적인 반응성(Responsiveness)을 보장하여 전체적인 UX와 코드 복잡도를 개선하는 핵심 아키텍처 결정입니다.

2. 양자화(Quantization) 기법: PTQ vs QAT

양자화는 모델의 가중치(Weight)와 활성화 함수(Activation)의 데이터 타입(예: FP32)을 더 작은 크기(예: INT8)로 줄여 메모리 사용량과 연산 속도를 개선하는 기법입니다.

• PTQ (Post-Training Quantization, 학습 후 양자화):
  • 개념: 이미 학습이 완료된 모델의 가중치를 변환합니다.
  • 장단점: 추가적인 학습 과정이 없어 도입이 매우 빠르고 리소스가 적게 듭니다. 하지만 데이터의 분포가 극단적일 경우 정확도손실이 발생할 위험이 큽니다.
• QAT (Quantization-Aware Training, 양자화 인지 학습):
  • 개념: 모델을 학습(또는 파인튜닝)할 때부터 양자화로 인한 오차를 시뮬레이션(Fake Quantization)하여 학습시킵니다.
  • 장단점: 양자화 이후에도 원본 모델에 가까운 높은 정확도를 유지할 수 있습니다. 하지만 학습 시간이 오래 걸리고 구현이 상대적으로 복잡합니다.

설계 의도 (Design Intent): 엔지니어링 트레이드오프 여기서는 **'개발 속도 vs 시스템 정확도'**의 트레이드오프가 발생합니다. 초기 PoC단계나 오차가 UX에 치명적이지 않은 도메인이라면 PTQ를 선택하여 빠르게 배포하는 것이 맞습니다. 하지만 금융, 의료 등 1%의 정확도 하락이 치명적인 비즈니스 로직이라면 기술 부채를 감수하더라도 QAT를 파이프라인에 구축해야 합니다.

3. 모델 경량화 후 실제 서비스 투입 전 검증 절차

모델이 가벼워지고 빨라졌다고 해서 끝이 아닙니다. '빠르게 틀린 답'을 내놓는 모델은 서비스에 큰 위험을 줄 수 있습니다. 

1. 정확도(Accuracy) 및 엣지 케이스 검증:
   • 단순히 전체 Validation Set의 평균 정확도만 보지 마세요. 양자화 과정에서 특정 클래스나 희소한 입력값(Edge cases)에 대해 모델이 붕괴하지 않았는지 클래스별 재현율(Recall)과 정밀도(Precision)를 확인해야 합니다.
2. 프로덕션 환경 부하 테스트 (Load Testing & p99 Latency):
   • 1건의 요청이 빠르다고 안심하면 안 됩니다. 초당 수백 건의 동시 요청(Concurrency)이 들어올 때의 병목 현상을 확인해야 합니다. 특히 평균 속도보다 p99 레이턴시(상위 1%의 가장 느린 응답 시간)가 프론트엔드 타임아웃(Timeout) 설정 기준을 넘지 않는지 검증하세요.
3. Shadow Testing (섀도우 배포):
   • 실제 프로덕션 트래픽을 기존 무거운 모델과 경량화된 모델 양쪽으로 동시에 흘려보냅니다. 사용자에게는 기존 모델의 결과를 반환하되, 백엔드에서는 두 모델의 결과값과 응답 속도를 비동기적으로 비교하여 모니터링합니다.