인공지능 학습률(Learning Rate)

정의

- Loss를 줄이기 위한 경사하강법에서, 최적해까지 도달하기 위해 일정크기의 보폭(Step size)을 지정하는 대표적인 하이퍼 파라미터

 

키워드

- Step Size, 하이퍼 파라미터, Momentum, NAG, Adagrad, RMSProp, ADAM

 

메커니즘

 

- 학습률이 작을 경우에는 최적해까지 도달하는데 많은 연산수행 및 시간이 오래 걸림
- 학습률이 너무 클 경우에는 최적해에 도달하기가 어려움
- 적절한 학습률의 지정이 필요

기술요소

정적 학습률 - 사용자가 정한 학습률을 이용해 최적해를 찾는 방법
동적 학습률 - Epoch에 따라서 일정 비율로 줄이거나, 일정비율로 늘리면서 최적해를 찾는 방법
적응형 학습률 - 더 빠르게 최적해를 찾기위해 유동적으로 학습률을 변화시키는 방법

 

관성기반
Momentum - 과거에 이동했던 방향으로 일정 정도를 추가적으로 이동하는 방식
NAG - 과거 이동 방향 이동 후 기울기를 구해서 기울기만큼 추가 이동
학습률 기반
Adagrad - 기울기에 따라 학습률을 조정 후 이동
RMSProp - 최근 기울기 정보에 대한 가중치를 주어 학습률을 조정
복합형 ADAM - 매개 변수의 탐색 속도 가속(Momentum) + 학습률(RMSProp) 반영