본문 바로가기

생각하며 살아가기682

인공지능, 기계학습 적대적 공격 정의- 딥러닝의 심층신경망을 이용한 모델에 적대적 교란(Adversarial Perturbation)을 적용하여 오분류 발생시키는 공격기술 키워드- Poisoning attack, Evasion attack, Inversion attack, Model extraction attack, Defense-GAN, 적대적 훈련(Adversarial training), 결과값 분석 차단, 쿼리 횟수 제한 메커니즘 기술요소Poisoning attack(중독 공격, 오염 공격) - 의도적으로 악의적인학습 데이터 주입해 머신러닝모델 손상시키는 공격 - 모델 자체를 공격 - 악의적 데이터를 최소한으로 주입해 모델 성능을저하시키는 것이 공격 평가 기준이 됨 - MS사의 인공지능 채팅봇 ‘테이’ - 스캐터랩 ‘이루다’ - .. 2024. 9. 21.
파괴적 망각(Catastrophic Forgetting) 정의- Single Task(단일 과제)에 대해서는 뛰어난 성능을 보이지만, 다른 종류의 Task를 학습하면 이전에 학습했던 Task에 대한 성능이 현저하게 떨어지는 문제 - 기억의 유지(Stability)와 새로운 기억의 생성(Plasticity)의 비중을 적절히 조절하기가 어려워 Stability-Plasticity dilemma(안정성-가소성 딜레마) 라고 불리기도 함 키워드- 성능 저하, 정규화, 증류, 동적 구조 메커니즘 기술요소정규화(Regularization) - EWC(Elastic Weight Consolidation) - MAS [ECCV 2018] 등 - 이전 TASK에서 학습한 네트워크의 파라미터가 최대한 변하지 않으면서 새로운 TASK를 학습하도록 유도 증류(Distillation.. 2024. 9. 21.
초거대 AI 정의- 심층 신경망으로 구현된 크기가 매우 큰 AI로 인공신경망의 파라미터(매개변수)가 무수히 많은 인공지능 모델 - 대용량의 연산이 가능한 컴퓨팅 인프라를 기반으로 대규모 용량의 데이터를 학습해 특정 용도에 한정하지 않고 종합적이고 자율적으로 사고, 학습, 판단, 행동하는 인간의 뇌 구조를 닮은AI(인공지능)키워드- 대규모 파라미터, 사전학습, 파인튜닝 메커니즘기술요소1980~1990 - 통계기반언어모델 - 최초의 언어모델 출현 2017 - 트랜스포머 알고리즘 - Attention 기반 트랜스포머 알고리즘의 출현 2018 - BERT 모델 - 트랜스포머의 인코더를 활용한 BERT 모델 출현 2018 - GPT 모델 - 트랜스포머의 디코더를 활용한 GPT 모델 출현 2020~2021 - GPT-3, La.. 2024. 9. 20.
프롬프트 엔지니어링(Prompt engineering) 정의- 컴퓨터와 상호작용을 하는 사용자를 위한 AI 인터페이스 개발 분야로, 높은 수준의 결과물을 얻기 위해 적절한 프롬프트를 구성하는 작업 또는 엔지니어링 기법AI 답변 정확성 향상 - 명확하고 구체적인 프롬프트를 사용하면 모델이 원하는 결과물을 더 정확하게 생성 사용자 경험 향상 - 사용자 요구사항 명확화를 통한 AI모델 사용에 대한 만족도 증가 키워드- 답변 정확성 향상, 사용자 경험 향상 메커니즘 기술요소구성요소 - Instruction - 모델이 수행하기를 원하는 특정 태스크 또는 지시 사항 - Context - 모델이 보다 더 나은 답변을 하도록 유도하는 외부 정보또는 추가 내용 - Input Data - 답을 구하고자 하는 것에 대한 인풋 또는 질문 - Output Indicator - 결과.. 2024. 9. 20.
그리드서치와 랜덤서치 그리드 서치- 분석자가 몇 가지 임의의 파라미터를 설정하여 그 결과 중 가장 좋은 파라미터를 찾아가는 기법- 순차적으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택랜덤 서치- 분석자가 설정한 일정 범위 이내에서 무작위로 하이퍼 파라미터를 뽑아 최적 결과를 도출하는 기법 - 확률 방식으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택하이퍼파라미터- 신경망 학습을 통해서 튜닝 또는 최적화 해야 하는 주 변수가 아니라, 학습 진도율이나 Mini-batch 크기, 훈련 반복 횟수, 가중치 초기화 방법 등 인간의 선험적 지식으로 설정을 하는 변수 그리드와 랜덤의 장점결합, 베이지안 최적화(Bayesian Optimization)- 최적의 해 근처의 하이퍼 파라미터를 위주로 탐색하는 작업과 임의의 .. 2024. 9. 20.
Zero-shot, One-shot, Few-shot Learning 정의- One-shot learning: 하나의 샘플 이미지만으로 새로운 클래스를 인식하는 것을 의미 - Few-shot learning: 한 클래스당 일부 샘플 이미지만 사용하여 새로운 클래스를 인식하는 것을 의미 - Zero-shot learning (ZSL): 라벨링 되지 않은 새로운 클래스에 대한 분류 작업을 수행할 때, 이전에 학습된 모델을 사용하여 분류하는 기술 키워드- 학습속도 향상, 파인튜닝 메커니즘 기술요소One-shot learning- Siamese networks, 매칭 네트워크.- 대조 손실, 삼중항 손실.Few-shot learning- 원형 네트워크, 매칭 네트워크, 환각.- 대조 손실, 삼중항 손실.Zero-shot learning (ZSL)- 시맨틱 임베딩, 속성 기반 학습.. 2024. 9. 20.
ChatGPT(3, 3.5, 4Ο) ChatGPT 3 or 3.5정의- GPT-4Ο를 기반으로 사람과 자연스럽게 대화하는 것처럼 상호작용을 구현, 대화에 최적화된 대화전 문 인공지능 키워드- SFT모델, 보상모델, PPO, 생성적 AI, 트랜스포머, Attention Mechanisms, 파인튜닝, 프롬프 트 엔지니어링 메커니즘 기술요소 RLHFReinforcement Learning with Human Feedback - 강화 학습의 방법을 사용하여 사람의 피드백으로 언어 모델 을 직접 최적화 수행 PPOProximal Policy Optimization- OpenAI에서 개발한 모델 없는 강화 학습 알고리즘ChatGPT 4 정의- OpenAI에서 출시한 현재 가장 창의적이며, 일반지식과 문제해결력을 갖춘 모델- 기존 모델(ChatGPT.. 2024. 9. 20.
FMOps(Foundation Model Operations) 정의- 기반 모델(Foundation Model), 그중에서도 특히 LLM(Large language model) 기반의 앱 개발을 위한 방법론 키워드- 기반 모델, 프롬프트 엔지니어링, 프롬프트 체이닝, 파인튜닝 메커니즘 기술요소프롬프트 관련 프롬프트 엔지니어링  - Pre-training된 LLM을 별도의 학습없이 사용자가 원하는 답변을 생성하도록 입력 프롬프트를 효과적으로 설계하는 기술 프롬프트 체이닝  - 체인 프레임워크로 기반 모델에 외부 정보를 저장, 인덱싱, 주입하여 기반 모델이 보다 복잡한 테스크를 수행하게 함 데이터 및 모델 관련 데이터 임베딩  - 데이터를 벡터 단위로 쪼개 데이터 베이스에 저장 및 인덱싱 이후에 LLM에 주입하여 사용자 데이터 기반의 결과 생성 기반 모델 파인튜닝  -.. 2024. 9. 20.
AI Foundation Model 정의- 대규모 데이터셋에 의해 사전 학습되고, 출력의 범용성을 고려하여 설계되어 다양한 작업에 적용될 수 있는 AI 기초 모델- 반제품(semi-finished product) 키워드- 자기지도학습, adaption, 기반모델, 창발성, 균일화, 지식재산권, 탄소중립, 일자리 감소, XAI, 개인정보보호 메커니즘 기술요소- 학습 - 대규모 학습데이터 - 제조사별 상이한 디바이스 연동 및 등록 절차 - 대규모 파라미터 - 타 브랜드 디바이스 간 상호 연동 불가 확장성 - 전이학습 - 다양한 통신 프로토콜 혼합 사용에 따른 신뢰성 저하 - 균일화 - 적용될 수 있는 범위가 점차 확대되며 범용적 활용되는 현상 성능 - 창발성 - 모델이 스스로 어떠한 문제를 해결하기 위한 지식 도출 능력 - 다목적성 - NLP.. 2024. 9. 20.
AIOps(Artificial Intelligence for IT Operation) 정의- 빅데이터 분석과 머신 러닝(Machine Learning) 및 AI를 활용하여 IT 인프라(Infra) 문제를 분석과 해결 방법을 제시하는 IT운영을 위한 인공지능(Artificial Intelligence for IT Operations) 키워드- IT 운영 효율화, 수집, 분석, 제어, 가시화, 대시보드 메커니즘기술요소데이터 수집(Data Collection) - 빅데이터 플랫폼 - 데이터 수집기 - 스토리지(Storage) - Infra를 구성하는 각 장비와 프로그램에서 발생하는 이벤트(Event), 로그(Log), 티켓, 모니터링 등의 데이터 와 기존 저장된 데이터를 저장 데이터 분석(Data Analysis) - 분석 학습 엔진 - 규칙 & 패턴 분석 - 도메인 알고리즘 - 머신 러닝 알.. 2024. 9. 20.