<aside> 💡 모델 경량화 관련해서 찾아보고 정리해보는 페이지

</aside>

Model Compression

Category

모델 압축 방법은 크게 아래의 방법들이 존재

• Pruning
• Weight factorization (Tensor decomposition)
• Knowledge Distillation
• Weight sharing
• Quantization
• Pre-train vs. Downstream

Summary of Knowledge Distillation

Knowledge Transfer는 knowledge distillation과 transfer learning으로 구분할 수 있다.

• transfer learning은 서로 다른 도메인에서 지식을 전달하는 방식
• knowledge distillation은 같은 도메인 내에서 모델끼리 지식을 전달하는 방식

Logit distillation

Knowledge distillation은 NIPS에서 제프리 힌튼, 제프 딘 등이 소개한 개념 (paper)

https://intellabs.github.io/distiller/knowledge_distillation.html

아래와 같은 일반적으로 classification task에 사용되는 softmax 식을 $T$라는 temperature를 통해 soft prediction으로 변행해서 학습을 진행한다.