정보손실 방지1 어텐션 메커니즘(Attention Mechanism) 정의- 언어모델에서 디코더의 출력 단어를 예측하는 매 시점(time step)에 예측해야 할 단어와 연관이 있는 입력 단어에 좀 더 집중하도록 구조화하는 방법- RNN 기반 Seq2Seq 모델 문제: 정보 손실 발생, 기울기 소실 문제키워드- Query, Key, Value, 어텐션 함수, 어텐션 분포, 어텐션 값, 정보손실 방지 메커니즘기술요소- Key-Query-Value- 어텐션 함수(스코어 함수)- 어텐션 분포 2024. 9. 20. 이전 1 다음
