XAI(eXplainable Artificial Intelligence)

정의

- 사용자가 인공지능 시스템의 동작과 최종 결과를 이해하고 올바르게 해석하여 결과물이 생성되는
과정을 설명 가능하도록 해주는 기술

특징 1. 인공지능 블랙박스 문제 대응 2. 사용자 정보 활용 근거 제공 3. 적용 영역 확대 기반

키워드

- 개인정보보호법(자동화된 의사결정), LIME, SHARP, LRP, Zero shot learning

 

메커니즘

 

기술요소

모델 비종속적(Model -agonistic; 블랙박스에 대한 귀납적 추론 기반)
LIME
- 설명 가능한 데이터 주변에서 희소 선형 결합을 통해 국부적으로 설명가능하게 만듦
BRL
- 고차원 다변수 특징공간을 간단한 해석 가능한 조건문으로 나누어 복잡한 모델을 이해할 수 있도록 하는 방법
- 모델을 일련의 “if-the 조건문”으로 표현
SHAP
- 새로운 입력 데이터에 대해 Shapley 값 계산을 통해 입력 데이터 features가 학습된 모델 출력 값에 대해 어떠한 공헌도(기여도)를 가지는지 설명하는 방법

모델 종속적(Model-specific; 매개변수, 아키텍쳐에 대한 지식 기반)
LRP
- 각 계층의 기여도를히트맵 형태로 시각화하여 직관적으로 이해
- 이전 계층의 각 노드의 기여도를 역전파하여 히트맵(heat map)으로 표현
DGNN의 생성 경계를고려한 탐색적 샘플링 방식
- 복잡한 생성 모델에 쓰인 격자의 성격을 각 격자 사이에 있는 샘플들을통해 어림짐작 가능한 방식
Rule extraction
- 신경망의 구조로부터 IF-THEN과 같은 형태의 의사결정 나무와 같은 형태의 규칙을 추출하는 접근법
Zero shot learning
- 전이학습 기반해 한번도 처리한 적 없는 데이터를 분류할 수 있도록 학습하는 방법론

 

참고

- 설명가능 인공지능 기술을 통해 사람들의 불안감을 해소할 수 있는 계기가 될 것으로 기대
- 설명가능 인공지능의 구현기법 적용을 위한 상세 특징 파악 및 평가를 통한 이해관계자 조율 수행 필요