딥러닝 모델 경량화 기술

정의

- 기존의 학습된 딥러닝 모델의 정확도를 유지하면서 크기가 작고, 연산을 간소화하는 기술

- 알고리즘 경량화, 모델 구조 경량화

 

키워드

- 모델 압축, 지식 증류, 가속화, 자동 탐색, 모델 구조 변경, 합성곱 필터

 

메커니즘

 

기술요소

알고리즘 경량화 기술의 유형

모델 압축
- 가중치 가지치기
- 양자화/이진화
- 가중치 공유
- 기존 알고리즘의 불필요한 파라미터 제거, 공유 등을 통해 파라미터의 표현력을 잃지 않으면서 모델의 크기를 줄이는 방법

 

지식 증류
- 지식증류/전이학습
- Teacher 모델
- Student 모델
- 학습된 기본 모델을 통해 새로운 모델의 생성 시 파라미터 값을 활용하여 학습시간을 줄이는 기술

 

하드웨어 가속화
- 선형대수학 라이브러리(BLAS)
- 벡터/행렬 연산 병렬처리
- BLAS : Basic Linear Algebra Subprograms
- 행렬-행렬, 행렬-벡터, 벡터-벡터 연산 가속화
- 모바일 기기를 중심으로 뉴럴 프로세싱 유닛(NPU)을 통해 추론 속도를 향상시키는 기술

 

모델 압축 자동 탐색
- PocketFlow
- AMC
- AMC : AutoML for Model Compression
- 알고리즘 경량화 연구 중 일반적인 모델 압축 기법을 적용한 강화 학습 기반의 최적 모델 자동 탐색 기술

 

모델 구조 경량화 기술 유형

모델 구조 변경 기술

(기술요소)

- 잔여 블록(Residual Block)
- 병목 구조 (Bottleneck Architecture)
- 밀집 블록(Dense Block)
- 3x3 필터를 1x1로 대체

(적용모델)

- ResNet
- DenseNet
- SqueezeNet
- 기존 계층과는 다른 신규 계층 구조를 이용하여 파라미터 축소 및 모델 성능 을 개선하는 기술

 

효율적인 합성곱 필터 기술

(기술요소)

- 채널별(Depthwise) 합성곱
- 픽셀별(Pointwise) 합성곱
(적용모델)

- MobileNet
- SuffleNet
- 합성곱 신경망의 가장 큰 계산량을 요구하는 합성곱 필터의 연산을 효율적으로 줄이는 기술

 

경량 모델 자동 탐색 기술

(기술요소)

- 강화학습 기반 기술
- 신경망 자동 생성
- 연산량 대비 모델 압축비 조정

(적용모델)

- NetAdapt
- MNasNet
- 특정 요소(지연시간, 에너지 소모 등)가 주어진 경우, 강화 학습을 통해 최적 모델을 자동 탐색하는 기술