모델 압축1 딥러닝 모델 경량화 기술 정의- 기존의 학습된 딥러닝 모델의 정확도를 유지하면서 크기가 작고, 연산을 간소화하는 기술- 알고리즘 경량화, 모델 구조 경량화 키워드- 모델 압축, 지식 증류, 가속화, 자동 탐색, 모델 구조 변경, 합성곱 필터 메커니즘 기술요소알고리즘 경량화 기술의 유형모델 압축 - 가중치 가지치기 - 양자화/이진화 - 가중치 공유 - 기존 알고리즘의 불필요한 파라미터 제거, 공유 등을 통해 파라미터의 표현력을 잃지 않으면서 모델의 크기를 줄이는 방법 지식 증류 - 지식증류/전이학습 - Teacher 모델 - Student 모델 - 학습된 기본 모델을 통해 새로운 모델의 생성 시 파라미터 값을 활용하여 학습시간을 줄이는 기술 하드웨어 가속화 - 선형대수학 라이브러리(BLAS) - 벡터/행렬 연산 병렬처리 - BL.. 2024. 9. 20. 이전 1 다음
