본문 바로가기

생각하며 살아가기679

프롬프트 엔지니어링(Prompt engineering) 정의- 컴퓨터와 상호작용을 하는 사용자를 위한 AI 인터페이스 개발 분야로, 높은 수준의 결과물을 얻기 위해 적절한 프롬프트를 구성하는 작업 또는 엔지니어링 기법AI 답변 정확성 향상 - 명확하고 구체적인 프롬프트를 사용하면 모델이 원하는 결과물을 더 정확하게 생성 사용자 경험 향상 - 사용자 요구사항 명확화를 통한 AI모델 사용에 대한 만족도 증가 키워드- 답변 정확성 향상, 사용자 경험 향상 메커니즘 기술요소구성요소 - Instruction - 모델이 수행하기를 원하는 특정 태스크 또는 지시 사항 - Context - 모델이 보다 더 나은 답변을 하도록 유도하는 외부 정보또는 추가 내용 - Input Data - 답을 구하고자 하는 것에 대한 인풋 또는 질문 - Output Indicator - 결과.. 2024. 9. 20.
그리드서치와 랜덤서치 그리드 서치- 분석자가 몇 가지 임의의 파라미터를 설정하여 그 결과 중 가장 좋은 파라미터를 찾아가는 기법- 순차적으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택랜덤 서치- 분석자가 설정한 일정 범위 이내에서 무작위로 하이퍼 파라미터를 뽑아 최적 결과를 도출하는 기법 - 확률 방식으로 탐색 하여 높은 성능을 보이는 하이퍼 파라미터를 선택하이퍼파라미터- 신경망 학습을 통해서 튜닝 또는 최적화 해야 하는 주 변수가 아니라, 학습 진도율이나 Mini-batch 크기, 훈련 반복 횟수, 가중치 초기화 방법 등 인간의 선험적 지식으로 설정을 하는 변수 그리드와 랜덤의 장점결합, 베이지안 최적화(Bayesian Optimization)- 최적의 해 근처의 하이퍼 파라미터를 위주로 탐색하는 작업과 임의의 .. 2024. 9. 20.
Zero-shot, One-shot, Few-shot Learning 정의- One-shot learning: 하나의 샘플 이미지만으로 새로운 클래스를 인식하는 것을 의미 - Few-shot learning: 한 클래스당 일부 샘플 이미지만 사용하여 새로운 클래스를 인식하는 것을 의미 - Zero-shot learning (ZSL): 라벨링 되지 않은 새로운 클래스에 대한 분류 작업을 수행할 때, 이전에 학습된 모델을 사용하여 분류하는 기술 키워드- 학습속도 향상, 파인튜닝 메커니즘 기술요소One-shot learning- Siamese networks, 매칭 네트워크.- 대조 손실, 삼중항 손실.Few-shot learning- 원형 네트워크, 매칭 네트워크, 환각.- 대조 손실, 삼중항 손실.Zero-shot learning (ZSL)- 시맨틱 임베딩, 속성 기반 학습.. 2024. 9. 20.
ChatGPT(3, 3.5, 4Ο) ChatGPT 3 or 3.5정의- GPT-4Ο를 기반으로 사람과 자연스럽게 대화하는 것처럼 상호작용을 구현, 대화에 최적화된 대화전 문 인공지능 키워드- SFT모델, 보상모델, PPO, 생성적 AI, 트랜스포머, Attention Mechanisms, 파인튜닝, 프롬프 트 엔지니어링 메커니즘 기술요소 RLHFReinforcement Learning with Human Feedback - 강화 학습의 방법을 사용하여 사람의 피드백으로 언어 모델 을 직접 최적화 수행 PPOProximal Policy Optimization- OpenAI에서 개발한 모델 없는 강화 학습 알고리즘ChatGPT 4 정의- OpenAI에서 출시한 현재 가장 창의적이며, 일반지식과 문제해결력을 갖춘 모델- 기존 모델(ChatGPT.. 2024. 9. 20.
FMOps(Foundation Model Operations) 정의- 기반 모델(Foundation Model), 그중에서도 특히 LLM(Large language model) 기반의 앱 개발을 위한 방법론 키워드- 기반 모델, 프롬프트 엔지니어링, 프롬프트 체이닝, 파인튜닝 메커니즘 기술요소프롬프트 관련 프롬프트 엔지니어링  - Pre-training된 LLM을 별도의 학습없이 사용자가 원하는 답변을 생성하도록 입력 프롬프트를 효과적으로 설계하는 기술 프롬프트 체이닝  - 체인 프레임워크로 기반 모델에 외부 정보를 저장, 인덱싱, 주입하여 기반 모델이 보다 복잡한 테스크를 수행하게 함 데이터 및 모델 관련 데이터 임베딩  - 데이터를 벡터 단위로 쪼개 데이터 베이스에 저장 및 인덱싱 이후에 LLM에 주입하여 사용자 데이터 기반의 결과 생성 기반 모델 파인튜닝  -.. 2024. 9. 20.
AI Foundation Model 정의- 대규모 데이터셋에 의해 사전 학습되고, 출력의 범용성을 고려하여 설계되어 다양한 작업에 적용될 수 있는 AI 기초 모델- 반제품(semi-finished product) 키워드- 자기지도학습, adaption, 기반모델, 창발성, 균일화, 지식재산권, 탄소중립, 일자리 감소, XAI, 개인정보보호 메커니즘 기술요소- 학습 - 대규모 학습데이터 - 제조사별 상이한 디바이스 연동 및 등록 절차 - 대규모 파라미터 - 타 브랜드 디바이스 간 상호 연동 불가 확장성 - 전이학습 - 다양한 통신 프로토콜 혼합 사용에 따른 신뢰성 저하 - 균일화 - 적용될 수 있는 범위가 점차 확대되며 범용적 활용되는 현상 성능 - 창발성 - 모델이 스스로 어떠한 문제를 해결하기 위한 지식 도출 능력 - 다목적성 - NLP.. 2024. 9. 20.
AIOps(Artificial Intelligence for IT Operation) 정의- 빅데이터 분석과 머신 러닝(Machine Learning) 및 AI를 활용하여 IT 인프라(Infra) 문제를 분석과 해결 방법을 제시하는 IT운영을 위한 인공지능(Artificial Intelligence for IT Operations) 키워드- IT 운영 효율화, 수집, 분석, 제어, 가시화, 대시보드 메커니즘기술요소데이터 수집(Data Collection) - 빅데이터 플랫폼 - 데이터 수집기 - 스토리지(Storage) - Infra를 구성하는 각 장비와 프로그램에서 발생하는 이벤트(Event), 로그(Log), 티켓, 모니터링 등의 데이터 와 기존 저장된 데이터를 저장 데이터 분석(Data Analysis) - 분석 학습 엔진 - 규칙 & 패턴 분석 - 도메인 알고리즘 - 머신 러닝 알.. 2024. 9. 20.
AutoML(Automated Machine Learning) 정의- 기계학습 파이프라인에서 데이터의 특징 추출, 하이퍼파라미터(Hyperparameter) 설정 등 소모적이고 반복적인 작업을 자동화하는 머신러닝 프로세스 키워드- 피처 엔지니어링, 하이퍼파라미터 최적화, 신경망 구조 탐색 메커니즘 기술요소① 피처 엔지니어링(Feature Engineering) - PCA, k-means clustering - Min-max 스케일링, BoW(Bag of Words) - EDA(Exploratory Data Analysis)를 통하여 원시데이터를 통계적 기법과 시각화 기술을 활용하여 해석 ② 하이퍼파라미터 최적화 - 그리드 탐색, 랜덤 탐색 - 베이지안 최적화 (Bayesian Optimization) - 머신러닝 및 딥러닝 모델의 입력값으로 해당 모델이 목표 데이터.. 2024. 9. 20.
컨셉 드리프트(Concept Drift)와 데이터 드리프트(Data Drift) 컨셉 드리프트(Concept Drift)- 머신러닝에서 입력 데이터로부터 예측하려고 하는 정답 라벨의 관계성이 모델 훈련때와 비교하여 변경되어 모델의 예측 성능이 저하되는 현상 원인: 정답라벨의 개념 변화(데이터와 라벨의 관계성 변화)사례:금융사기 예측모델에서 금융사기의 정의가 바뀐 경우해결방안: Online Learning, Feature dropping데이터 드리프트(Data Drift)- 모델의 훈련시 입력 데이터의 통계적 분포와 배포 환경에서 입력 데이터의 통계적 분포 차이로 인한 편향으로 모델의 예측 성능이 저하되는 현상원인: 훈련과 배포환경의 입력데이터 분포 변화(입력데이터의 분포 변화)사례:계절성에 따라 여름에 효과 있는 모델이 겨울에는 성능이 저하되는 경우해결방안: 드리프트 모니터링, 모델.. 2024. 9. 20.
모델옵스(ModelOps) 정의- 기계학습 모델과 운영(operation)을 결합한 용어로 기계학습(ML) 모델의 거버넌스와 생명 주기 관리를 효과적으로 관리하고 운용하는데 초점을 맞춘 방법론 키워드- DataOps, DevOps, ML, Discovery, Governance, Deployment, 자동화, 생명주기관리 메커니즘 기술요소1) Discovery 데이터 과학자, 분석가, 비즈니스 사용자가 선택한 소프트웨어를 사용하여 가설을 테스트하고 모델을 실험하고 구축 2) Governance Discovery Environment에서의 모든 검증된 모델은 비즈니스 규칙 및 결정과 마찬가지로 모델 Repository에 저장(GitLab, GitHub 등) 3) Deployment - CI/CD를 통해 자동화 파이프라인을 생성. -.. 2024. 9. 20.