본문 바로가기

Professional Engineer80

AIOps(Artificial Intelligence for IT Operation) 정의- 빅데이터 분석과 머신 러닝(Machine Learning) 및 AI를 활용하여 IT 인프라(Infra) 문제를 분석과 해결 방법을 제시하는 IT운영을 위한 인공지능(Artificial Intelligence for IT Operations) 키워드- IT 운영 효율화, 수집, 분석, 제어, 가시화, 대시보드 메커니즘기술요소데이터 수집(Data Collection) - 빅데이터 플랫폼 - 데이터 수집기 - 스토리지(Storage) - Infra를 구성하는 각 장비와 프로그램에서 발생하는 이벤트(Event), 로그(Log), 티켓, 모니터링 등의 데이터 와 기존 저장된 데이터를 저장 데이터 분석(Data Analysis) - 분석 학습 엔진 - 규칙 & 패턴 분석 - 도메인 알고리즘 - 머신 러닝 알.. 2024. 9. 20.
AutoML(Automated Machine Learning) 정의- 기계학습 파이프라인에서 데이터의 특징 추출, 하이퍼파라미터(Hyperparameter) 설정 등 소모적이고 반복적인 작업을 자동화하는 머신러닝 프로세스 키워드- 피처 엔지니어링, 하이퍼파라미터 최적화, 신경망 구조 탐색 메커니즘 기술요소① 피처 엔지니어링(Feature Engineering) - PCA, k-means clustering - Min-max 스케일링, BoW(Bag of Words) - EDA(Exploratory Data Analysis)를 통하여 원시데이터를 통계적 기법과 시각화 기술을 활용하여 해석 ② 하이퍼파라미터 최적화 - 그리드 탐색, 랜덤 탐색 - 베이지안 최적화 (Bayesian Optimization) - 머신러닝 및 딥러닝 모델의 입력값으로 해당 모델이 목표 데이터.. 2024. 9. 20.
컨셉 드리프트(Concept Drift)와 데이터 드리프트(Data Drift) 컨셉 드리프트(Concept Drift)- 머신러닝에서 입력 데이터로부터 예측하려고 하는 정답 라벨의 관계성이 모델 훈련때와 비교하여 변경되어 모델의 예측 성능이 저하되는 현상 원인: 정답라벨의 개념 변화(데이터와 라벨의 관계성 변화)사례:금융사기 예측모델에서 금융사기의 정의가 바뀐 경우해결방안: Online Learning, Feature dropping데이터 드리프트(Data Drift)- 모델의 훈련시 입력 데이터의 통계적 분포와 배포 환경에서 입력 데이터의 통계적 분포 차이로 인한 편향으로 모델의 예측 성능이 저하되는 현상원인: 훈련과 배포환경의 입력데이터 분포 변화(입력데이터의 분포 변화)사례:계절성에 따라 여름에 효과 있는 모델이 겨울에는 성능이 저하되는 경우해결방안: 드리프트 모니터링, 모델.. 2024. 9. 20.
모델옵스(ModelOps) 정의- 기계학습 모델과 운영(operation)을 결합한 용어로 기계학습(ML) 모델의 거버넌스와 생명 주기 관리를 효과적으로 관리하고 운용하는데 초점을 맞춘 방법론 키워드- DataOps, DevOps, ML, Discovery, Governance, Deployment, 자동화, 생명주기관리 메커니즘 기술요소1) Discovery 데이터 과학자, 분석가, 비즈니스 사용자가 선택한 소프트웨어를 사용하여 가설을 테스트하고 모델을 실험하고 구축 2) Governance Discovery Environment에서의 모든 검증된 모델은 비즈니스 규칙 및 결정과 마찬가지로 모델 Repository에 저장(GitLab, GitHub 등) 3) Deployment - CI/CD를 통해 자동화 파이프라인을 생성. -.. 2024. 9. 20.
온디바이스 AI(Artificial Intelligence) 정의- 멀리 떨어진 클라우드 서버를 거치지 않고 스마트기기 자체적으로 정보를 수집하고 연산할 수 있는 AI 기술 키워드- NPU, SoC, TPU, Volta GPU, NNP, 경량 모델, 경량화 기술 메커니즘기술요소인공지능 가속기 - 뉴로모픽 기술에 집중하여 엣지 및 디바이스에서 사용 가능한 인공지능 가속기 기술  NeuroMem 기술- 에너지 효율적 소형 폼팩터 구성을 위한 기술  NPU(NeuralProcessing Unit) - 인공지능 네트워크 연산에 사용되던 GPU와 유사한 구조이나 인공지능 기술에 특화하여 연산 효율을 높이거나 에너지 효율을 증가시키기 위해 개발한 칩  AI SoC 솔루션 - 비전 관련 작업 가속기 및 음성 관련 작업 가속기를 탑재하여 가전에서 필요한 영상 및 음성 AI 분석.. 2024. 9. 20.
인공지능 학습률(Learning Rate) 정의- Loss를 줄이기 위한 경사하강법에서, 최적해까지 도달하기 위해 일정크기의 보폭(Step size)을 지정하는 대표적인 하이퍼 파라미터 키워드- Step Size, 하이퍼 파라미터, Momentum, NAG, Adagrad, RMSProp, ADAM 메커니즘 - 학습률이 작을 경우에는 최적해까지 도달하는데 많은 연산수행 및 시간이 오래 걸림 - 학습률이 너무 클 경우에는 최적해에 도달하기가 어려움 - 적절한 학습률의 지정이 필요기술요소정적 학습률 - 사용자가 정한 학습률을 이용해 최적해를 찾는 방법 동적 학습률 - Epoch에 따라서 일정 비율로 줄이거나, 일정비율로 늘리면서 최적해를 찾는 방법 적응형 학습률 - 더 빠르게 최적해를 찾기위해 유동적으로 학습률을 변화시키는 방법 관성기반 Moment.. 2024. 9. 20.
인공지능 얼굴검출 기술 정의- 얼굴 정보를 검출한 후, 눈, 코, 입 등의 위치를 기술하는 특징점과 성별, 나이, 감정 등의 속성 을 추출하는 기술키워드- 영역 검출, 인식, 복원, 서비스 메커니즘 기술요소얼굴영역 검출 기술 얼굴 영역 판별 기술 - HOG(Histogram of oriented gradients), 딥러닝 기반 MTCNN, Mobilenet-SSD, YOLO-Face 등의 방법들로 작은 크기의 얼굴, 다양한 환경/조건에서 안정적으로 얼굴을 검출 Bounding Box /Segmentation 기술 - 사각형 형태의 바운딩 박스 검출에서 점차 섬세한 분할인 Segmentation 기술로 진화 및 3차원 공간상에서 방향/위치 정보도 함께 추출하는 방향으로 진화  얼굴영역 인식 기술 PCA / ICA - 얼굴 영상.. 2024. 9. 20.
MRC(Machine Reading Comprehension) 정의- 주어진 지문에서 인공지능(AI)알고리즘이 스스로 문제를 분석하고 질문에 최적화된 답안을 찾아내는 기술 키워드- Extractive Answer Datasets, Descriptive/Narrative Answer Datasets, Multiple-choice Datasets, Exact Match, F1 Score, HEQ 메커니즘기술요소Extractive Answer Datasets -여러 개의 질문과 답이 있고, 답의 위치가 기록되어 있으며, 지문에서 "추출"하여 질의에 대한 답변을 반환함- SQuAD, KorQuAD, NewsQA, Natural Question Descriptive/Narrative Answer Datasets - 지문 내에서 답변을 추출하지 않고, 질의에 맞게 문장(sen.. 2024. 9. 20.
어텐션 메커니즘(Attention Mechanism) 정의- 언어모델에서 디코더의 출력 단어를 예측하는 매 시점(time step)에 예측해야 할 단어와 연관이 있는 입력 단어에 좀 더 집중하도록 구조화하는 방법- RNN 기반 Seq2Seq 모델 문제: 정보 손실 발생, 기울기 소실 문제키워드- Query, Key, Value, 어텐션 함수, 어텐션 분포, 어텐션 값, 정보손실 방지 메커니즘기술요소- Key-Query-Value- 어텐션 함수(스코어 함수)- 어텐션 분포 2024. 9. 20.
자연어 음성인식(Speech-to-Text) 정의- 자유발화 음성을 가독성 있는 텍스트로 자동변환하는 인공지능 기술로, 머신과의 커뮤니케이션을 인간의 언어로 실현하는 궁극의 인터페이스 또는 인터랙션 기술 키워드- 끝처리, 전처리, 후처리, 음향모델, 발음사전, 언어모델 메커니즘 기술요소주요 기술 EPD : 음성신호만의 고유한 특성을 처리하기 위해서, 발화 음성의 시작과 끝을 자동으로 검출하는 끝점검출 기술 전처리 기술 : 음성신호의 주파수 특성을 잡음환경에서도 뚜렷하게 분석 추출하는 기술 후처리 기술 : 숫자나 영문, 문장부호를 복원하는 기술  주요 모델 음향모델  :  화자의 음성이 어떤 소리인지 분별 능력을 학습하는 모델 발음사전  :  단어의 다양한 발음패턴을 기억하는 사전 언어모델  :  단어 간의 관계 또는 문법을 학습하는 모델 2024. 9. 20.

티스토리툴바