rmsprop1 인공지능 학습률(Learning Rate) 정의- Loss를 줄이기 위한 경사하강법에서, 최적해까지 도달하기 위해 일정크기의 보폭(Step size)을 지정하는 대표적인 하이퍼 파라미터 키워드- Step Size, 하이퍼 파라미터, Momentum, NAG, Adagrad, RMSProp, ADAM 메커니즘 - 학습률이 작을 경우에는 최적해까지 도달하는데 많은 연산수행 및 시간이 오래 걸림 - 학습률이 너무 클 경우에는 최적해에 도달하기가 어려움 - 적절한 학습률의 지정이 필요기술요소정적 학습률 - 사용자가 정한 학습률을 이용해 최적해를 찾는 방법 동적 학습률 - Epoch에 따라서 일정 비율로 줄이거나, 일정비율로 늘리면서 최적해를 찾는 방법 적응형 학습률 - 더 빠르게 최적해를 찾기위해 유동적으로 학습률을 변화시키는 방법 관성기반 Moment.. 2024. 9. 20. 이전 1 다음
