그리드서치와 랜덤서치

그리드 서치

- 분석자가 몇 가지 임의의 파라미터를 설정하여 그 결과 중 가장 좋은 파라미터를 찾아가는 기법

- 순차적으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택

랜덤 서치

- 분석자가 설정한 일정 범위 이내에서 무작위로 하이퍼 파라미터를 뽑아 최적 결과를 도출하는 기법
- 확률 방식으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택

하이퍼파라미터

- 신경망 학습을 통해서 튜닝 또는 최적화 해야 하는 주 변수가 아니라, 학습 진도율이나 Mini-batch 크기, 훈련
반복 횟수, 가중치 초기화 방법 등 인간의 선험적 지식으로 설정을 하는 변수

 

그리드와 랜덤의 장점결합, 베이지안 최적화(Bayesian Optimization)

- 최적의 해 근처의 하이퍼 파라미터를 위주로 탐색하는 작업과 임의의 새로운 하이퍼 파라미터를 탐색하는 과정을 반복하여 최적의 해를 탐색하는 기법