1차 미분에 대해 경사하강법을 다루는 알고리즘들에 대해 설명한다.

• Gradient Descent
• Conjugate Gradient
• Momentum
• Nesterov Momentum
• Adagrad (=adaptive subgradient)
• RMSProp
• Adadelta
• Adam (=Adaptive Momentum Estimation Method)
• Hyper gradient Descent
  • 하이퍼 파라미터에 대해서 취해진 미분