본문 바로가기

전체 글684

XAI(eXplainable Artificial Intelligence) 썸네일 XAI(eXplainable Artificial Intelligence) 정의- 사용자가 인공지능 시스템의 동작과 최종 결과를 이해하고 올바르게 해석하여 결과물이 생성되는 과정을 설명 가능하도록 해주는 기술특징 1. 인공지능 블랙박스 문제 대응 2. 사용자 정보 활용 근거 제공 3. 적용 영역 확대 기반키워드- 개인정보보호법(자동화된 의사결정), LIME, SHARP, LRP, Zero shot learning 메커니즘 기술요소모델 비종속적(Model -agonistic; 블랙박스에 대한 귀납적 추론 기반) LIME - 설명 가능한 데이터 주변에서 희소 선형 결합을 통해 국부적으로 설명가능하게 만듦 BRL - 고차원 다변수 특징공간을 간단한 해석 가능한 조건문으로 나누어 복잡한 모델을 이해할 수 있도록 하는 방법 - 모델을 일련의 “if-the 조건문”으로 표현 SHAP - .. 2024. 9. 21.
인공지능, 기계학습 적대적 공격 썸네일 인공지능, 기계학습 적대적 공격 정의- 딥러닝의 심층신경망을 이용한 모델에 적대적 교란(Adversarial Perturbation)을 적용하여 오분류 발생시키는 공격기술 키워드- Poisoning attack, Evasion attack, Inversion attack, Model extraction attack, Defense-GAN, 적대적 훈련(Adversarial training), 결과값 분석 차단, 쿼리 횟수 제한 메커니즘 기술요소Poisoning attack(중독 공격, 오염 공격) - 의도적으로 악의적인학습 데이터 주입해 머신러닝모델 손상시키는 공격 - 모델 자체를 공격 - 악의적 데이터를 최소한으로 주입해 모델 성능을저하시키는 것이 공격 평가 기준이 됨 - MS사의 인공지능 채팅봇 ‘테이’ - 스캐터랩 ‘이루다’ - .. 2024. 9. 21.
파괴적 망각(Catastrophic Forgetting) 썸네일 파괴적 망각(Catastrophic Forgetting) 정의- Single Task(단일 과제)에 대해서는 뛰어난 성능을 보이지만, 다른 종류의 Task를 학습하면 이전에 학습했던 Task에 대한 성능이 현저하게 떨어지는 문제 - 기억의 유지(Stability)와 새로운 기억의 생성(Plasticity)의 비중을 적절히 조절하기가 어려워 Stability-Plasticity dilemma(안정성-가소성 딜레마) 라고 불리기도 함 키워드- 성능 저하, 정규화, 증류, 동적 구조 메커니즘 기술요소정규화(Regularization) - EWC(Elastic Weight Consolidation) - MAS [ECCV 2018] 등 - 이전 TASK에서 학습한 네트워크의 파라미터가 최대한 변하지 않으면서 새로운 TASK를 학습하도록 유도 증류(Distillation.. 2024. 9. 21.
초거대 AI 썸네일 초거대 AI 정의- 심층 신경망으로 구현된 크기가 매우 큰 AI로 인공신경망의 파라미터(매개변수)가 무수히 많은 인공지능 모델 - 대용량의 연산이 가능한 컴퓨팅 인프라를 기반으로 대규모 용량의 데이터를 학습해 특정 용도에 한정하지 않고 종합적이고 자율적으로 사고, 학습, 판단, 행동하는 인간의 뇌 구조를 닮은AI(인공지능)키워드- 대규모 파라미터, 사전학습, 파인튜닝 메커니즘기술요소1980~1990 - 통계기반언어모델 - 최초의 언어모델 출현 2017 - 트랜스포머 알고리즘 - Attention 기반 트랜스포머 알고리즘의 출현 2018 - BERT 모델 - 트랜스포머의 인코더를 활용한 BERT 모델 출현 2018 - GPT 모델 - 트랜스포머의 디코더를 활용한 GPT 모델 출현 2020~2021 - GPT-3, La.. 2024. 9. 20.
프롬프트 엔지니어링(Prompt engineering) 썸네일 프롬프트 엔지니어링(Prompt engineering) 정의- 컴퓨터와 상호작용을 하는 사용자를 위한 AI 인터페이스 개발 분야로, 높은 수준의 결과물을 얻기 위해 적절한 프롬프트를 구성하는 작업 또는 엔지니어링 기법AI 답변 정확성 향상 - 명확하고 구체적인 프롬프트를 사용하면 모델이 원하는 결과물을 더 정확하게 생성 사용자 경험 향상 - 사용자 요구사항 명확화를 통한 AI모델 사용에 대한 만족도 증가 키워드- 답변 정확성 향상, 사용자 경험 향상 메커니즘 기술요소구성요소 - Instruction - 모델이 수행하기를 원하는 특정 태스크 또는 지시 사항 - Context - 모델이 보다 더 나은 답변을 하도록 유도하는 외부 정보또는 추가 내용 - Input Data - 답을 구하고자 하는 것에 대한 인풋 또는 질문 - Output Indicator - 결과.. 2024. 9. 20.
그리드서치와 랜덤서치 썸네일 그리드서치와 랜덤서치 그리드 서치- 분석자가 몇 가지 임의의 파라미터를 설정하여 그 결과 중 가장 좋은 파라미터를 찾아가는 기법- 순차적으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택랜덤 서치- 분석자가 설정한 일정 범위 이내에서 무작위로 하이퍼 파라미터를 뽑아 최적 결과를 도출하는 기법 - 확률 방식으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택하이퍼파라미터- 신경망 학습을 통해서 튜닝 또는 최적화 해야 하는 주 변수가 아니라, 학습 진도율이나 Mini-batch 크기, 훈련 반복 횟수, 가중치 초기화 방법 등 인간의 선험적 지식으로 설정을 하는 변수 그리드와 랜덤의 장점결합, 베이지안 최적화(Bayesian Optimization)- 최적의 해 근처의 하이퍼 파라미터를 위주로 탐색하는 작업과 임의의 .. 2024. 9. 20.
Zero-shot, One-shot, Few-shot Learning 썸네일 Zero-shot, One-shot, Few-shot Learning 정의- One-shot learning: 하나의 샘플 이미지만으로 새로운 클래스를 인식하는 것을 의미 - Few-shot learning: 한 클래스당 일부 샘플 이미지만 사용하여 새로운 클래스를 인식하는 것을 의미 - Zero-shot learning (ZSL): 라벨링 되지 않은 새로운 클래스에 대한 분류 작업을 수행할 때, 이전에 학습된 모델을 사용하여 분류하는 기술 키워드- 학습속도 향상, 파인튜닝 메커니즘 기술요소One-shot learning- Siamese networks, 매칭 네트워크.- 대조 손실, 삼중항 손실.Few-shot learning- 원형 네트워크, 매칭 네트워크, 환각.- 대조 손실, 삼중항 손실.Zero-shot learning (ZSL)- 시맨틱 임베딩, 속성 기반 학습.. 2024. 9. 20.
ChatGPT(3, 3.5, 4Ο) 썸네일 ChatGPT(3, 3.5, 4Ο) ChatGPT 3 or 3.5정의- GPT-4Ο를 기반으로 사람과 자연스럽게 대화하는 것처럼 상호작용을 구현, 대화에 최적화된 대화전 문 인공지능 키워드- SFT모델, 보상모델, PPO, 생성적 AI, 트랜스포머, Attention Mechanisms, 파인튜닝, 프롬프 트 엔지니어링 메커니즘 기술요소 RLHFReinforcement Learning with Human Feedback - 강화 학습의 방법을 사용하여 사람의 피드백으로 언어 모델 을 직접 최적화 수행 PPOProximal Policy Optimization- OpenAI에서 개발한 모델 없는 강화 학습 알고리즘ChatGPT 4 정의- OpenAI에서 출시한 현재 가장 창의적이며, 일반지식과 문제해결력을 갖춘 모델- 기존 모델(ChatGPT.. 2024. 9. 20.
FMOps(Foundation Model Operations) 썸네일 FMOps(Foundation Model Operations) 정의- 기반 모델(Foundation Model), 그중에서도 특히 LLM(Large language model) 기반의 앱 개발을 위한 방법론 키워드- 기반 모델, 프롬프트 엔지니어링, 프롬프트 체이닝, 파인튜닝 메커니즘 기술요소프롬프트 관련 프롬프트 엔지니어링  - Pre-training된 LLM을 별도의 학습없이 사용자가 원하는 답변을 생성하도록 입력 프롬프트를 효과적으로 설계하는 기술 프롬프트 체이닝  - 체인 프레임워크로 기반 모델에 외부 정보를 저장, 인덱싱, 주입하여 기반 모델이 보다 복잡한 테스크를 수행하게 함 데이터 및 모델 관련 데이터 임베딩  - 데이터를 벡터 단위로 쪼개 데이터 베이스에 저장 및 인덱싱 이후에 LLM에 주입하여 사용자 데이터 기반의 결과 생성 기반 모델 파인튜닝  -.. 2024. 9. 20.
AI Foundation Model 썸네일 AI Foundation Model 정의- 대규모 데이터셋에 의해 사전 학습되고, 출력의 범용성을 고려하여 설계되어 다양한 작업에 적용될 수 있는 AI 기초 모델- 반제품(semi-finished product) 키워드- 자기지도학습, adaption, 기반모델, 창발성, 균일화, 지식재산권, 탄소중립, 일자리 감소, XAI, 개인정보보호 메커니즘 기술요소- 학습 - 대규모 학습데이터 - 제조사별 상이한 디바이스 연동 및 등록 절차 - 대규모 파라미터 - 타 브랜드 디바이스 간 상호 연동 불가 확장성 - 전이학습 - 다양한 통신 프로토콜 혼합 사용에 따른 신뢰성 저하 - 균일화 - 적용될 수 있는 범위가 점차 확대되며 범용적 활용되는 현상 성능 - 창발성 - 모델이 스스로 어떠한 문제를 해결하기 위한 지식 도출 능력 - 다목적성 - NLP.. 2024. 9. 20.
AIOps(Artificial Intelligence for IT Operation) 썸네일 AIOps(Artificial Intelligence for IT Operation) 정의- 빅데이터 분석과 머신 러닝(Machine Learning) 및 AI를 활용하여 IT 인프라(Infra) 문제를 분석과 해결 방법을 제시하는 IT운영을 위한 인공지능(Artificial Intelligence for IT Operations) 키워드- IT 운영 효율화, 수집, 분석, 제어, 가시화, 대시보드 메커니즘기술요소데이터 수집(Data Collection) - 빅데이터 플랫폼 - 데이터 수집기 - 스토리지(Storage) - Infra를 구성하는 각 장비와 프로그램에서 발생하는 이벤트(Event), 로그(Log), 티켓, 모니터링 등의 데이터 와 기존 저장된 데이터를 저장 데이터 분석(Data Analysis) - 분석 학습 엔진 - 규칙 & 패턴 분석 - 도메인 알고리즘 - 머신 러닝 알.. 2024. 9. 20.
AutoML(Automated Machine Learning) 썸네일 AutoML(Automated Machine Learning) 정의- 기계학습 파이프라인에서 데이터의 특징 추출, 하이퍼파라미터(Hyperparameter) 설정 등 소모적이고 반복적인 작업을 자동화하는 머신러닝 프로세스 키워드- 피처 엔지니어링, 하이퍼파라미터 최적화, 신경망 구조 탐색 메커니즘 기술요소① 피처 엔지니어링(Feature Engineering) - PCA, k-means clustering - Min-max 스케일링, BoW(Bag of Words) - EDA(Exploratory Data Analysis)를 통하여 원시데이터를 통계적 기법과 시각화 기술을 활용하여 해석 ② 하이퍼파라미터 최적화 - 그리드 탐색, 랜덤 탐색 - 베이지안 최적화 (Bayesian Optimization) - 머신러닝 및 딥러닝 모델의 입력값으로 해당 모델이 목표 데이터.. 2024. 9. 20.
컨셉 드리프트(Concept Drift)와 데이터 드리프트(Data Drift) 썸네일 컨셉 드리프트(Concept Drift)와 데이터 드리프트(Data Drift) 컨셉 드리프트(Concept Drift)- 머신러닝에서 입력 데이터로부터 예측하려고 하는 정답 라벨의 관계성이 모델 훈련때와 비교하여 변경되어 모델의 예측 성능이 저하되는 현상 원인: 정답라벨의 개념 변화(데이터와 라벨의 관계성 변화)사례:금융사기 예측모델에서 금융사기의 정의가 바뀐 경우해결방안: Online Learning, Feature dropping데이터 드리프트(Data Drift)- 모델의 훈련시 입력 데이터의 통계적 분포와 배포 환경에서 입력 데이터의 통계적 분포 차이로 인한 편향으로 모델의 예측 성능이 저하되는 현상원인: 훈련과 배포환경의 입력데이터 분포 변화(입력데이터의 분포 변화)사례:계절성에 따라 여름에 효과 있는 모델이 겨울에는 성능이 저하되는 경우해결방안: 드리프트 모니터링, 모델.. 2024. 9. 20.
모델옵스(ModelOps) 썸네일 모델옵스(ModelOps) 정의- 기계학습 모델과 운영(operation)을 결합한 용어로 기계학습(ML) 모델의 거버넌스와 생명 주기 관리를 효과적으로 관리하고 운용하는데 초점을 맞춘 방법론 키워드- DataOps, DevOps, ML, Discovery, Governance, Deployment, 자동화, 생명주기관리 메커니즘 기술요소1) Discovery 데이터 과학자, 분석가, 비즈니스 사용자가 선택한 소프트웨어를 사용하여 가설을 테스트하고 모델을 실험하고 구축 2) Governance Discovery Environment에서의 모든 검증된 모델은 비즈니스 규칙 및 결정과 마찬가지로 모델 Repository에 저장(GitLab, GitHub 등) 3) Deployment - CI/CD를 통해 자동화 파이프라인을 생성. -.. 2024. 9. 20.
온디바이스 AI(Artificial Intelligence) 썸네일 온디바이스 AI(Artificial Intelligence) 정의- 멀리 떨어진 클라우드 서버를 거치지 않고 스마트기기 자체적으로 정보를 수집하고 연산할 수 있는 AI 기술 키워드- NPU, SoC, TPU, Volta GPU, NNP, 경량 모델, 경량화 기술 메커니즘기술요소인공지능 가속기 - 뉴로모픽 기술에 집중하여 엣지 및 디바이스에서 사용 가능한 인공지능 가속기 기술  NeuroMem 기술- 에너지 효율적 소형 폼팩터 구성을 위한 기술  NPU(NeuralProcessing Unit) - 인공지능 네트워크 연산에 사용되던 GPU와 유사한 구조이나 인공지능 기술에 특화하여 연산 효율을 높이거나 에너지 효율을 증가시키기 위해 개발한 칩  AI SoC 솔루션 - 비전 관련 작업 가속기 및 음성 관련 작업 가속기를 탑재하여 가전에서 필요한 영상 및 음성 AI 분석.. 2024. 9. 20.
인공지능 학습률(Learning Rate) 썸네일 인공지능 학습률(Learning Rate) 정의- Loss를 줄이기 위한 경사하강법에서, 최적해까지 도달하기 위해 일정크기의 보폭(Step size)을 지정하는 대표적인 하이퍼 파라미터 키워드- Step Size, 하이퍼 파라미터, Momentum, NAG, Adagrad, RMSProp, ADAM 메커니즘 - 학습률이 작을 경우에는 최적해까지 도달하는데 많은 연산수행 및 시간이 오래 걸림 - 학습률이 너무 클 경우에는 최적해에 도달하기가 어려움 - 적절한 학습률의 지정이 필요기술요소정적 학습률 - 사용자가 정한 학습률을 이용해 최적해를 찾는 방법 동적 학습률 - Epoch에 따라서 일정 비율로 줄이거나, 일정비율로 늘리면서 최적해를 찾는 방법 적응형 학습률 - 더 빠르게 최적해를 찾기위해 유동적으로 학습률을 변화시키는 방법 관성기반 Moment.. 2024. 9. 20.
인공지능 얼굴검출 기술 썸네일 인공지능 얼굴검출 기술 정의- 얼굴 정보를 검출한 후, 눈, 코, 입 등의 위치를 기술하는 특징점과 성별, 나이, 감정 등의 속성 을 추출하는 기술키워드- 영역 검출, 인식, 복원, 서비스 메커니즘 기술요소얼굴영역 검출 기술 얼굴 영역 판별 기술 - HOG(Histogram of oriented gradients), 딥러닝 기반 MTCNN, Mobilenet-SSD, YOLO-Face 등의 방법들로 작은 크기의 얼굴, 다양한 환경/조건에서 안정적으로 얼굴을 검출 Bounding Box /Segmentation 기술 - 사각형 형태의 바운딩 박스 검출에서 점차 섬세한 분할인 Segmentation 기술로 진화 및 3차원 공간상에서 방향/위치 정보도 함께 추출하는 방향으로 진화  얼굴영역 인식 기술 PCA / ICA - 얼굴 영상.. 2024. 9. 20.
MRC(Machine Reading Comprehension) 썸네일 MRC(Machine Reading Comprehension) 정의- 주어진 지문에서 인공지능(AI)알고리즘이 스스로 문제를 분석하고 질문에 최적화된 답안을 찾아내는 기술 키워드- Extractive Answer Datasets, Descriptive/Narrative Answer Datasets, Multiple-choice Datasets, Exact Match, F1 Score, HEQ 메커니즘기술요소Extractive Answer Datasets -여러 개의 질문과 답이 있고, 답의 위치가 기록되어 있으며, 지문에서 "추출"하여 질의에 대한 답변을 반환함- SQuAD, KorQuAD, NewsQA, Natural Question Descriptive/Narrative Answer Datasets - 지문 내에서 답변을 추출하지 않고, 질의에 맞게 문장(sen.. 2024. 9. 20.
어텐션 메커니즘(Attention Mechanism) 썸네일 어텐션 메커니즘(Attention Mechanism) 정의- 언어모델에서 디코더의 출력 단어를 예측하는 매 시점(time step)에 예측해야 할 단어와 연관이 있는 입력 단어에 좀 더 집중하도록 구조화하는 방법- RNN 기반 Seq2Seq 모델 문제: 정보 손실 발생, 기울기 소실 문제키워드- Query, Key, Value, 어텐션 함수, 어텐션 분포, 어텐션 값, 정보손실 방지 메커니즘기술요소- Key-Query-Value- 어텐션 함수(스코어 함수)- 어텐션 분포 2024. 9. 20.
자연어 음성인식(Speech-to-Text) 썸네일 자연어 음성인식(Speech-to-Text) 정의- 자유발화 음성을 가독성 있는 텍스트로 자동변환하는 인공지능 기술로, 머신과의 커뮤니케이션을 인간의 언어로 실현하는 궁극의 인터페이스 또는 인터랙션 기술 키워드- 끝처리, 전처리, 후처리, 음향모델, 발음사전, 언어모델 메커니즘 기술요소주요 기술 EPD : 음성신호만의 고유한 특성을 처리하기 위해서, 발화 음성의 시작과 끝을 자동으로 검출하는 끝점검출 기술 전처리 기술 : 음성신호의 주파수 특성을 잡음환경에서도 뚜렷하게 분석 추출하는 기술 후처리 기술 : 숫자나 영문, 문장부호를 복원하는 기술  주요 모델 음향모델  :  화자의 음성이 어떤 소리인지 분별 능력을 학습하는 모델 발음사전  :  단어의 다양한 발음패턴을 기억하는 사전 언어모델  :  단어 간의 관계 또는 문법을 학습하는 모델 2024. 9. 20.
NER(Named Entity Recognition) Word Embedding, BERT, GPT-3 썸네일 NER(Named Entity Recognition) Word Embedding, BERT, GPT-3 NER- 텍스트에서 사전 정의된 카테고리에 속한 개체명 찾아 특정 의미 가진 단어 또는 어구 인식하는 과정 또는 기법Word Embedding- 단어 간 유사도 및 중요도 파악을 위해 단어를 저차원의 실수 벡터로 매핑하여 의미적으 로 비슷한 단어를 가깝게 배치하는 자연어 처리 모델링 기술BERT- 특정 과제를 하기 전 사전 훈련 Embedding을 통해 특정 과제의 성능을 더 좋게 할 수 있는 양방 향 마스크 언어모델(Bidirectional Encoder Representations from Transformers) GPT-3- 방대한 양의 데이터셋(3천억 개의 토큰)과 매개변수(1,750억 개)를 갖춘 자연어 모델 기반의 단방향 언어모델 (Generative Pre–Training) 2024. 9. 20.

티스토리툴바