https://arxiv.org/pdf/1611.01578.pdf

Abstract

• 뉴럴넷의 구조를 가변길이의 문자열로 표현이 가능하다
• 각 단계에 대한 주요 내용
  • cotroller로써 RNN을 사용해 가변길이의 문자열 생성
  • 문자열에 따라 child network를 생성 후 학습
  • validation set에 대한 accuracy를 확보
  • policy gradient 방식에 따라 network update

Methods

Generate model description with a controller Recurrent Neural Network

• layer의 개수가 특정 개수를 넘어가면 중단
• child network 생성 후, validation set을 이용해 accuracy 측정
• validation accuracy를 높이기 위해 generate model 학습

Training with REINFORCE

• policy gradient 방식을 사용해 parameter update

• $notations$
  • $m$ - the number of different architectures that the controller samples in one batch
  • $T$ - the number of hyperparameters our controller has to predict to design

Accelerate Training with Parallelism and Asynchronous Updates

• child network 를 학습시키는 과정이 오래걸림