오토인코더(Autoencoder)

정의

- 비지도방식으로 훈련하고, 해당 입력 데이터를 최대한 압축시킨 후, 데이터의 특징을 추출하여 다시 본래의 입력 형태로 복원시키는 신경망

- 데이터 압축, 차원의 저주 예방, 특성 추출

 

키워드

- Encoder, Decoder, Latent Variable, 차원의 저주 예방, 특성 추출

 

메커니즘

 

기술요소

인코더
- 인지네트워크(recognition network)
- 특성에 대한 학습을 수행

 

은닉층
- 모델의 뉴런 개수가 최소인 계층 (Latent Space)
- 차원이 가장 낮은 입력 데이터의 압축 표현이 포함

 

디코더
- 생성 네트워크(generative network)
- 은닉층에서 압축된 데이터를 원래대로 재구성(reconstruction)하는 역할
- 최대한 입력에 가까운 출력을 생성

 

잠재 변수
- Latent Variable, 원래 이미지의 함축적 의미를 가지도록 학습됨
- Feature와 같은 의미, 학습과정에서 겉으로 드러나지 않은 숨겨진 변수

 

손실 재구성
- 압축된 입력을 출력층에서 재구성
- 손실 함수는 입력과 출력(인코더와 디코더)의 차이를 가지고 계산.

 

참고

- 오토인코더(AE)와 변형된 오토인코더(VAE)의 비교