연합학습(Federated Learning)

정의

- 저장 데이터를 직접 공유하지 않는 다수의 로컬 기기와 하나의 중앙 서버가 협력하여 AI 모델을 학습하는 분산형 머신 러닝(Machine Learning)

 

키워드

- 분산, 프라이버시 보호, 지역모델, 전역모델, 취합, 갱신, FedSGD, FedAVG, 차등정보보호, 동형암호, 다자간계산

 

메커니즘

 

기술요소

① 전역(Global) 모델 분배(Broadcast)
- 서버는 사전에 정의한 최적 참여자를 선정한 후 각 단말로 수행해 야 할 작업 관련 정보를 전달

 

② 지역 모델 갱신(Local Update) - 단말에 저장된 개인 데이터를 사용하여 로컬 AI 모델을 생성

 

③ 지역 모델 취합(Aggregate)
- 서버와 접속 등 특정 조건 만족 시, 단말은 생성한 로컬 AI 모델 결과값(파라미터)을 압축・암호화하여 서버로 전달

 

④ 전역 모델 갱신(Global Update) - 취합된 값을 이용하여 전역 모델을 갱신

 

참고

 

FedSGD(Federated Stochastic Gradient Descent)
- 각 단말에서 한번 학습한 파라미터를 중앙 서버로 전달
- 중앙 서버는 취합한 로컬 파라미터 평균 계산 후 글로벌 파라미터 갱신
- 갱신된 글로벌 파라미터가 수렴 조건 만족 시까지 과정 반복

 

FedAVG(FederatedAveraging)
- 각 단말에서 일정 횟수 K만큼 반복 수행 후 파라미터를 서버로 전달
- Batch Size 크기로 분할 학습하여 minibatch 효과를 주어 글로벌 파라미터가 수렴에 이르는 시간을 단축