본문 바로가기

Professional Engineer80

XAI(eXplainable Artificial Intelligence) 정의- 사용자가 인공지능 시스템의 동작과 최종 결과를 이해하고 올바르게 해석하여 결과물이 생성되는 과정을 설명 가능하도록 해주는 기술특징 1. 인공지능 블랙박스 문제 대응 2. 사용자 정보 활용 근거 제공 3. 적용 영역 확대 기반키워드- 개인정보보호법(자동화된 의사결정), LIME, SHARP, LRP, Zero shot learning 메커니즘 기술요소모델 비종속적(Model -agonistic; 블랙박스에 대한 귀납적 추론 기반) LIME - 설명 가능한 데이터 주변에서 희소 선형 결합을 통해 국부적으로 설명가능하게 만듦 BRL - 고차원 다변수 특징공간을 간단한 해석 가능한 조건문으로 나누어 복잡한 모델을 이해할 수 있도록 하는 방법 - 모델을 일련의 “if-the 조건문”으로 표현 SHAP - .. 2024. 9. 21.
인공지능, 기계학습 적대적 공격 정의- 딥러닝의 심층신경망을 이용한 모델에 적대적 교란(Adversarial Perturbation)을 적용하여 오분류 발생시키는 공격기술 키워드- Poisoning attack, Evasion attack, Inversion attack, Model extraction attack, Defense-GAN, 적대적 훈련(Adversarial training), 결과값 분석 차단, 쿼리 횟수 제한 메커니즘 기술요소Poisoning attack(중독 공격, 오염 공격) - 의도적으로 악의적인학습 데이터 주입해 머신러닝모델 손상시키는 공격 - 모델 자체를 공격 - 악의적 데이터를 최소한으로 주입해 모델 성능을저하시키는 것이 공격 평가 기준이 됨 - MS사의 인공지능 채팅봇 ‘테이’ - 스캐터랩 ‘이루다’ - .. 2024. 9. 21.
파괴적 망각(Catastrophic Forgetting) 정의- Single Task(단일 과제)에 대해서는 뛰어난 성능을 보이지만, 다른 종류의 Task를 학습하면 이전에 학습했던 Task에 대한 성능이 현저하게 떨어지는 문제 - 기억의 유지(Stability)와 새로운 기억의 생성(Plasticity)의 비중을 적절히 조절하기가 어려워 Stability-Plasticity dilemma(안정성-가소성 딜레마) 라고 불리기도 함 키워드- 성능 저하, 정규화, 증류, 동적 구조 메커니즘 기술요소정규화(Regularization) - EWC(Elastic Weight Consolidation) - MAS [ECCV 2018] 등 - 이전 TASK에서 학습한 네트워크의 파라미터가 최대한 변하지 않으면서 새로운 TASK를 학습하도록 유도 증류(Distillation.. 2024. 9. 21.
초거대 AI 정의- 심층 신경망으로 구현된 크기가 매우 큰 AI로 인공신경망의 파라미터(매개변수)가 무수히 많은 인공지능 모델 - 대용량의 연산이 가능한 컴퓨팅 인프라를 기반으로 대규모 용량의 데이터를 학습해 특정 용도에 한정하지 않고 종합적이고 자율적으로 사고, 학습, 판단, 행동하는 인간의 뇌 구조를 닮은AI(인공지능)키워드- 대규모 파라미터, 사전학습, 파인튜닝 메커니즘기술요소1980~1990 - 통계기반언어모델 - 최초의 언어모델 출현 2017 - 트랜스포머 알고리즘 - Attention 기반 트랜스포머 알고리즘의 출현 2018 - BERT 모델 - 트랜스포머의 인코더를 활용한 BERT 모델 출현 2018 - GPT 모델 - 트랜스포머의 디코더를 활용한 GPT 모델 출현 2020~2021 - GPT-3, La.. 2024. 9. 20.
프롬프트 엔지니어링(Prompt engineering) 정의- 컴퓨터와 상호작용을 하는 사용자를 위한 AI 인터페이스 개발 분야로, 높은 수준의 결과물을 얻기 위해 적절한 프롬프트를 구성하는 작업 또는 엔지니어링 기법AI 답변 정확성 향상 - 명확하고 구체적인 프롬프트를 사용하면 모델이 원하는 결과물을 더 정확하게 생성 사용자 경험 향상 - 사용자 요구사항 명확화를 통한 AI모델 사용에 대한 만족도 증가 키워드- 답변 정확성 향상, 사용자 경험 향상 메커니즘 기술요소구성요소 - Instruction - 모델이 수행하기를 원하는 특정 태스크 또는 지시 사항 - Context - 모델이 보다 더 나은 답변을 하도록 유도하는 외부 정보또는 추가 내용 - Input Data - 답을 구하고자 하는 것에 대한 인풋 또는 질문 - Output Indicator - 결과.. 2024. 9. 20.
그리드서치와 랜덤서치 그리드 서치- 분석자가 몇 가지 임의의 파라미터를 설정하여 그 결과 중 가장 좋은 파라미터를 찾아가는 기법- 순차적으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택랜덤 서치- 분석자가 설정한 일정 범위 이내에서 무작위로 하이퍼 파라미터를 뽑아 최적 결과를 도출하는 기법 - 확률 방식으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택하이퍼파라미터- 신경망 학습을 통해서 튜닝 또는 최적화 해야 하는 주 변수가 아니라, 학습 진도율이나 Mini-batch 크기, 훈련 반복 횟수, 가중치 초기화 방법 등 인간의 선험적 지식으로 설정을 하는 변수 그리드와 랜덤의 장점결합, 베이지안 최적화(Bayesian Optimization)- 최적의 해 근처의 하이퍼 파라미터를 위주로 탐색하는 작업과 임의의 .. 2024. 9. 20.
Zero-shot, One-shot, Few-shot Learning 정의- One-shot learning: 하나의 샘플 이미지만으로 새로운 클래스를 인식하는 것을 의미 - Few-shot learning: 한 클래스당 일부 샘플 이미지만 사용하여 새로운 클래스를 인식하는 것을 의미 - Zero-shot learning (ZSL): 라벨링 되지 않은 새로운 클래스에 대한 분류 작업을 수행할 때, 이전에 학습된 모델을 사용하여 분류하는 기술 키워드- 학습속도 향상, 파인튜닝 메커니즘 기술요소One-shot learning- Siamese networks, 매칭 네트워크.- 대조 손실, 삼중항 손실.Few-shot learning- 원형 네트워크, 매칭 네트워크, 환각.- 대조 손실, 삼중항 손실.Zero-shot learning (ZSL)- 시맨틱 임베딩, 속성 기반 학습.. 2024. 9. 20.
ChatGPT(3, 3.5, 4Ο) ChatGPT 3 or 3.5정의- GPT-4Ο를 기반으로 사람과 자연스럽게 대화하는 것처럼 상호작용을 구현, 대화에 최적화된 대화전 문 인공지능 키워드- SFT모델, 보상모델, PPO, 생성적 AI, 트랜스포머, Attention Mechanisms, 파인튜닝, 프롬프 트 엔지니어링 메커니즘 기술요소 RLHFReinforcement Learning with Human Feedback - 강화 학습의 방법을 사용하여 사람의 피드백으로 언어 모델 을 직접 최적화 수행 PPOProximal Policy Optimization- OpenAI에서 개발한 모델 없는 강화 학습 알고리즘ChatGPT 4 정의- OpenAI에서 출시한 현재 가장 창의적이며, 일반지식과 문제해결력을 갖춘 모델- 기존 모델(ChatGPT.. 2024. 9. 20.
FMOps(Foundation Model Operations) 정의- 기반 모델(Foundation Model), 그중에서도 특히 LLM(Large language model) 기반의 앱 개발을 위한 방법론 키워드- 기반 모델, 프롬프트 엔지니어링, 프롬프트 체이닝, 파인튜닝 메커니즘 기술요소프롬프트 관련 프롬프트 엔지니어링  - Pre-training된 LLM을 별도의 학습없이 사용자가 원하는 답변을 생성하도록 입력 프롬프트를 효과적으로 설계하는 기술 프롬프트 체이닝  - 체인 프레임워크로 기반 모델에 외부 정보를 저장, 인덱싱, 주입하여 기반 모델이 보다 복잡한 테스크를 수행하게 함 데이터 및 모델 관련 데이터 임베딩  - 데이터를 벡터 단위로 쪼개 데이터 베이스에 저장 및 인덱싱 이후에 LLM에 주입하여 사용자 데이터 기반의 결과 생성 기반 모델 파인튜닝  -.. 2024. 9. 20.
AI Foundation Model 정의- 대규모 데이터셋에 의해 사전 학습되고, 출력의 범용성을 고려하여 설계되어 다양한 작업에 적용될 수 있는 AI 기초 모델- 반제품(semi-finished product) 키워드- 자기지도학습, adaption, 기반모델, 창발성, 균일화, 지식재산권, 탄소중립, 일자리 감소, XAI, 개인정보보호 메커니즘 기술요소- 학습 - 대규모 학습데이터 - 제조사별 상이한 디바이스 연동 및 등록 절차 - 대규모 파라미터 - 타 브랜드 디바이스 간 상호 연동 불가 확장성 - 전이학습 - 다양한 통신 프로토콜 혼합 사용에 따른 신뢰성 저하 - 균일화 - 적용될 수 있는 범위가 점차 확대되며 범용적 활용되는 현상 성능 - 창발성 - 모델이 스스로 어떠한 문제를 해결하기 위한 지식 도출 능력 - 다목적성 - NLP.. 2024. 9. 20.

티스토리툴바