<aside> 💡 Preliminaries

</aside>

Attention이란

<aside> 💡 Summary paper | code

</aside>

0. Abstract

출처: [1]

• Seq2Seq 모델(NIPS 2014)의 인코더-디코더 구조를 따름
• Attention 기법을 RNN의 보정 용도가 아닌 직접 이용해 인코더 디코더 설계
  • Seq2Seq에서 RNN을 이용해 한개씩 존재하던 Encoder Decoder가 각각 n개씩 존재할 수 있음

1. 주요 Hyper-parameters

• $d_{model}$ - 인코더 디코더의 입출력 크기 (default: 512)
• $num\_layers$ - 인코더와 디코더가 쌓인 층의 개수 (default: 6)
• $num\_heads$ - 어텐션을 여러개로 분할해서 병렬로 수행하게 되는데, 이때 병렬의 수 (default: 8)
• $d_{ff}$ - feed forward layer의 크기 (입출력 크기는 $d_{model}$) (default: 2048)

2. Input Word Embedding

• 가장 첫번째 인코더의 입력 으로서만 사용되며, 그 이후의 인코더들은 바로 직전 인코더의 출력을 입력으로 사용 함
• 일반적으로 Word Embedding, Glove, Fastext 등을 사용해 입력단어에 대한 Embedding값으로 표현함 (논문에서는 512차원을 사용)
• Embedding한 값들은 임베딩 사이즈의 제곱근($\sqrt{d_{model}}$)만큼 나누어지는 스케일링 과정 거침