[Coursera/IBM course #2] Using Pretrained Models & Fine-Tuning

 

[IBM AI course #2] Introduction to Deep Learning & Neural Networks with Keras

 

Pretrained model

대규모 데이터셋(예: ImageNet)에서 이미 학습된 모델

새로운 과제에 대해 재학습 없이 feature extractor로 활용 가능

추출된 feature는 클러스터링, 시각화, 머신러닝 모델 입력 등에 활용 가능 → 예를 들어, VGG16, ResNet과 같은 ImageNet pretrained 모델이 이미지에서 feature map을 추출하는 데 자주 사용됨

 

Feature Extractor로 사용하는 장점

재학습 불필요 → 빠르고 컴퓨팅 자원 소모 적음

강력한 표현력 활용 → 사전 학습된 모델의 합성곱(convolutional) 계층이 학습한 계층적 특징 표현(hierarchical representations)을 활용할 수 있음

적은 데이터로도 활용 가능 → 학습 데이터 부족 시 유리

 

Fine-Tuning (미세조정)

사전 학습된(pretrained) 모델의 가중치를 새로운 데이터에 맞게 조정하는 과정

Transfer Learning(전이 학습)의 한 형태로, 기존 학습된 모델을 새로운 유사 작업에 맞춰 조정하는 것을 의미

처음부터 모델을 학습하기 어려운 소규모 데이터셋에 특히 유용

 

feature extractor + joint fine-tuning 방식

1. Feature extractor로 쓰던 기존 모델의 상위 일부 계층(top layers)의 고정(freeze)을 해제하고,
2. 새롭게 추가한 계층과 함께 공동 학습(joint training)한다.

원래 모델과 유사하지만 다른 데이터셋에 대해 성능 개선 가능