어텐션 메커니즘(Attention Mechanism)

정의

- 언어모델에서 디코더의 출력 단어를 예측하는 매 시점(time step)에 예측해야 할 단어와 연관이 있는 입력 단어에 좀 더 집중하도록 구조화하는 방법

- RNN 기반 Seq2Seq 모델 문제: 정보 손실 발생, 기울기 소실 문제

키워드

- Query, Key, Value, 어텐션 함수, 어텐션 분포, 어텐션 값, 정보손실 방지

 

메커니즘

기술요소

- Key-Query-Value

- 어텐션 함수(스코어 함수)

- 어텐션 분포