AI Foundation Model

정의

- 대규모 데이터셋에 의해 사전 학습되고, 출력의 범용성을 고려하여 설계되어 다양한 작업에 적용될 수 있는 AI 기초 모델

- 반제품(semi-finished product)

 

키워드

- 자기지도학습, adaption, 기반모델, 창발성, 균일화, 지식재산권, 탄소중립, 일자리 감소, XAI, 개인정보보호

 

메커니즘

 

기술요소

- 학습
- 대규모 학습데이터 - 제조사별 상이한 디바이스 연동 및 등록 절차
- 대규모 파라미터 - 타 브랜드 디바이스 간 상호 연동 불가

확장성
- 전이학습 - 다양한 통신 프로토콜 혼합 사용에 따른 신뢰성 저하
- 균일화 - 적용될 수 있는 범위가 점차 확대되며 범용적 활용되는 현상

성능
- 창발성 - 모델이 스스로 어떠한 문제를 해결하기 위한 지식 도출 능력
- 다목적성 - NLP, Computer Vision, 음성 처리 등에 적용

 

구현기술
- 대용량 학습데이터 구축
- 자기지도학습을 사용하기 때문에 웹 크롤링 등의 방법 사용해 대규모 데이터를 구축하는 것이 중요
- 데이터 거버넌스를 통해 데이터 전처리, 필터링이 필수요소
- 자기지도학습 - 최소한의 데이터만으로 스스로 규칙을 찾아 분석하는 AI
- 트랜스포머 아키텍처
- 포지셔널 인코딩을 통해 시퀀스 데이터를 병렬로 학습하고, 추론해 학습 연산량 감소를 가져와 대규모 데이터에 적합
- 컴퓨팅 성능
- 매우 많은 파라미터 수(약 1조개)를 가진 파운데이션 모델을 학습을 위한 GPU, TPU등을 통해 연산 가속화가 필요

최적화
- 지식 증류 - 이미 학습이 완료된 모델의 지식을 다른 모델에 증류하여 전수
- Pruning 모델구조 변경
- 불필요한 파라미터 가중치를 0으로 만들어 용량을 줄이고 속도 향상시키는 기법
- 양자화
- 모델의 가중치 파라미터 값을 부동소수점이 아닌 정수로 매핑 하는 방법을 사용해 GPU의 연산속도를 빠르게 하는 기법
- Sparsity
- 모델의 0이 아닌 값에 대해서만 수학적 연산을 수행함으로써 훈련 및 추론시간을 크게 향상시키는 기법

고려사항

법적측면
- 학습 데이터개인정보 보호
- 모델 학습에 사용되는 데이터에 개인정보 포함 시 데이터 수집,저장, 처리 및 보호하는데 관련 법률 및 규정 준수 필요
- 지식재산권 및 저작권
- 모델 학습에 사용되는 데이터, 코드, 아키텍처에 대한 저작권 및 지식재산권 준수
- 데이터 사용 권한 및이용 동의
- 데이터를 수집하고 사용하기 위한 사용자 동의와 관련된 법적 요구사항 준수

환경적 측면
- 탄소 중립 - 대규모 인공지능 모델 활용 시 배출하는 이산화탄소 배출 고려
- 자원 및 전력 효율성
- 많은 컴퓨팅 자원을 요구하며 전력을 소모하는 대규모 인공지능 모델 특성을 고려하여 전력 효율성 고려
- 친환경 데이터 센터
- 데이터 세터 구축 시 그린 컴퓨팅 기술을 채택하여 에너지 소비와 온실 가스 배출 절감

 

사회적 측면
- 일자리 감소
- 일자리 감소로 어려움을 겪게될 노동자들을 위한 제도 마련AI 파운데이션 개발사의 환경적, 사회적, 거버넌스 측면 고려
- 공정성과 편향 방지
- 모델 훈련 데이터와 결과를 검증하여 편향을 식별하고 공정성을 확보하는 노력 필요
- 설명가능한 AI
- 인공지능이 도출하는 결과에 대해 설명하고 해석할 수 있는 도구와 기술을 도입하여 비즈니스 또는 의사결정 활용

기술적 측면
- 자기지도 학습
- 데이터 라벨링 과정의 자동화를 통해 모델의 학습 단계에 들어가는 자원을 절감하고 인간의 편향 개입 방지
- TPU, NPU, PIM
- 인공지능 학습을 효율적으로 수행할 수 있는 인공지능 특화 HW활용