온디바이스 AI(Artificial Intelligence)

정의

- 멀리 떨어진 클라우드 서버를 거치지 않고 스마트기기 자체적으로 정보를 수집하고 연산할 수 있는 AI 기술

 

키워드

- NPU, SoC, TPU, Volta GPU, NNP, 경량 모델, 경량화 기술

 

메커니즘

기술요소

인공지능 가속기
- 뉴로모픽 기술에 집중하여 엣지 및 디바이스에서 사용 가능한 인공지능 가속기 기술

 

NeuroMem 기술

- 에너지 효율적 소형 폼팩터 구성을 위한 기술

 

NPU(NeuralProcessing Unit)
- 인공지능 네트워크 연산에 사용되던 GPU와 유사한 구조이나 인공지능 기술에 특화하여 연산 효율을 높이거나 에너지 효율을 증가시키기 위해 개발한 칩

 

AI SoC 솔루션
- 비전 관련 작업 가속기 및 음성 관련 작업 가속기를 탑재하여 가전에서 필요한 영상 및 음성 AI 분석을 지원

뉴럴 엔진 

- Apple의 인공지능 서비스 품질 향상을 위해 개발된 NPU

 

Volta GPU 

- 엔디비아는 AI 가속을 위한 GPGPU를 개발

 

NVDLA
- AI 추론 가속기 아키텍처를 통한 디바이스에서 클라우드까지 확장성 제공

 

NNP 

- 인텔에서 구현한 NPU 하드웨어 기술

 

엣지 TPU 

- 구글이 개발한 엣지 디바이스 환경의 온디바이스 AI 수행을 위한 기술

 

참고

- 경량 AI 모델, AI 모델경량화 기술