본문 바로가기

Professional Engineer85

인공지능 학습률(Learning Rate) 정의- Loss를 줄이기 위한 경사하강법에서, 최적해까지 도달하기 위해 일정크기의 보폭(Step size)을 지정하는 대표적인 하이퍼 파라미터 키워드- Step Size, 하이퍼 파라미터, Momentum, NAG, Adagrad, RMSProp, ADAM 메커니즘 - 학습률이 작을 경우에는 최적해까지 도달하는데 많은 연산수행 및 시간이 오래 걸림 - 학습률이 너무 클 경우에는 최적해에 도달하기가 어려움 - 적절한 학습률의 지정이 필요기술요소정적 학습률 - 사용자가 정한 학습률을 이용해 최적해를 찾는 방법 동적 학습률 - Epoch에 따라서 일정 비율로 줄이거나, 일정비율로 늘리면서 최적해를 찾는 방법 적응형 학습률 - 더 빠르게 최적해를 찾기위해 유동적으로 학습률을 변화시키는 방법 관성기반 Moment.. 2024. 9. 20.
인공지능 얼굴검출 기술 정의- 얼굴 정보를 검출한 후, 눈, 코, 입 등의 위치를 기술하는 특징점과 성별, 나이, 감정 등의 속성 을 추출하는 기술키워드- 영역 검출, 인식, 복원, 서비스 메커니즘 기술요소얼굴영역 검출 기술 얼굴 영역 판별 기술 - HOG(Histogram of oriented gradients), 딥러닝 기반 MTCNN, Mobilenet-SSD, YOLO-Face 등의 방법들로 작은 크기의 얼굴, 다양한 환경/조건에서 안정적으로 얼굴을 검출 Bounding Box /Segmentation 기술 - 사각형 형태의 바운딩 박스 검출에서 점차 섬세한 분할인 Segmentation 기술로 진화 및 3차원 공간상에서 방향/위치 정보도 함께 추출하는 방향으로 진화  얼굴영역 인식 기술 PCA / ICA - 얼굴 영상.. 2024. 9. 20.
MRC(Machine Reading Comprehension) 정의- 주어진 지문에서 인공지능(AI)알고리즘이 스스로 문제를 분석하고 질문에 최적화된 답안을 찾아내는 기술 키워드- Extractive Answer Datasets, Descriptive/Narrative Answer Datasets, Multiple-choice Datasets, Exact Match, F1 Score, HEQ 메커니즘기술요소Extractive Answer Datasets -여러 개의 질문과 답이 있고, 답의 위치가 기록되어 있으며, 지문에서 "추출"하여 질의에 대한 답변을 반환함- SQuAD, KorQuAD, NewsQA, Natural Question Descriptive/Narrative Answer Datasets - 지문 내에서 답변을 추출하지 않고, 질의에 맞게 문장(sen.. 2024. 9. 20.
어텐션 메커니즘(Attention Mechanism) 정의- 언어모델에서 디코더의 출력 단어를 예측하는 매 시점(time step)에 예측해야 할 단어와 연관이 있는 입력 단어에 좀 더 집중하도록 구조화하는 방법- RNN 기반 Seq2Seq 모델 문제: 정보 손실 발생, 기울기 소실 문제키워드- Query, Key, Value, 어텐션 함수, 어텐션 분포, 어텐션 값, 정보손실 방지 메커니즘기술요소- Key-Query-Value- 어텐션 함수(스코어 함수)- 어텐션 분포 2024. 9. 20.
자연어 음성인식(Speech-to-Text) 정의- 자유발화 음성을 가독성 있는 텍스트로 자동변환하는 인공지능 기술로, 머신과의 커뮤니케이션을 인간의 언어로 실현하는 궁극의 인터페이스 또는 인터랙션 기술 키워드- 끝처리, 전처리, 후처리, 음향모델, 발음사전, 언어모델 메커니즘 기술요소주요 기술 EPD : 음성신호만의 고유한 특성을 처리하기 위해서, 발화 음성의 시작과 끝을 자동으로 검출하는 끝점검출 기술 전처리 기술 : 음성신호의 주파수 특성을 잡음환경에서도 뚜렷하게 분석 추출하는 기술 후처리 기술 : 숫자나 영문, 문장부호를 복원하는 기술  주요 모델 음향모델  :  화자의 음성이 어떤 소리인지 분별 능력을 학습하는 모델 발음사전  :  단어의 다양한 발음패턴을 기억하는 사전 언어모델  :  단어 간의 관계 또는 문법을 학습하는 모델 2024. 9. 20.
NER(Named Entity Recognition) Word Embedding, BERT, GPT-3 NER- 텍스트에서 사전 정의된 카테고리에 속한 개체명 찾아 특정 의미 가진 단어 또는 어구 인식하는 과정 또는 기법Word Embedding- 단어 간 유사도 및 중요도 파악을 위해 단어를 저차원의 실수 벡터로 매핑하여 의미적으 로 비슷한 단어를 가깝게 배치하는 자연어 처리 모델링 기술BERT- 특정 과제를 하기 전 사전 훈련 Embedding을 통해 특정 과제의 성능을 더 좋게 할 수 있는 양방 향 마스크 언어모델(Bidirectional Encoder Representations from Transformers) GPT-3- 방대한 양의 데이터셋(3천억 개의 토큰)과 매개변수(1,750억 개)를 갖춘 자연어 모델 기반의 단방향 언어모델 (Generative Pre–Training) 2024. 9. 20.
자연어 처리 기술 정의- 인간의 언어 현상을 기계적으로 분석해 컴퓨터가 이해가능한 형태로 만드는 자연언어 이해/변환 과정 혹은 그러한 형태를 다시 인간이 이해가능한 언어로 표현하는 제반 기술 키워드- NLP, NLG, NLU, One-hot Encoding, Word Embedding, Seq2Seq 메커니즘절차①음성인식(Speech Recognition) - 사용자 목소리로부터 음성 인식하는 음성인식 기술 ②언어이해(Language Understanding) - 사용자 발화를 기계가 이해할 수 있는 텍스트로 변환한 후, 언어 이해 - 모듈에서 의미 분석 통하여 사용자 의도 이해하는 기술 ③대화관리 모듈(Dialogue Management) - 사용자 의도 및 상황정보 기반으로 사용자 요청한 태스크에 필요한 추가 정보를사.. 2024. 9. 20.
딥러닝 모델 경량화 기술 정의- 기존의 학습된 딥러닝 모델의 정확도를 유지하면서 크기가 작고, 연산을 간소화하는 기술- 알고리즘 경량화, 모델 구조 경량화 키워드- 모델 압축, 지식 증류, 가속화, 자동 탐색, 모델 구조 변경, 합성곱 필터 메커니즘 기술요소알고리즘 경량화 기술의 유형모델 압축 - 가중치 가지치기 - 양자화/이진화 - 가중치 공유 - 기존 알고리즘의 불필요한 파라미터 제거, 공유 등을 통해 파라미터의 표현력을 잃지 않으면서 모델의 크기를 줄이는 방법  지식 증류 - 지식증류/전이학습 - Teacher 모델 - Student 모델 - 학습된 기본 모델을 통해 새로운 모델의 생성 시 파라미터 값을 활용하여 학습시간을 줄이는 기술 하드웨어 가속화 - 선형대수학 라이브러리(BLAS) - 벡터/행렬 연산 병렬처리 - BL.. 2024. 9. 20.
분류 알고리즘의 유형 정의- 기계 학습에서 사용되는 지도 학습(Supervised Learning) 기법 중 하나로, 데이터를 미리 정의된 클래스 또는 범주로 분류하는 작업을 수행하는 알고리즘 키워드- 지도학습, KNN, Decision Tree, Random Forest, SVM, Logistic Regression 절차훈련 데이터 수집 - 각 데이터 포인트에 대한 클래스 레이블이 포함된 라벨링 된 훈련 데이터를 수집  데이터 전처리 - 훈련 데이터를 정제하고 준비하는 과정으로, 누락된 값이나 이상치를 처리하고 특성을 정규화하는 등의 작업을 수행  특성 선택 - 중요한 특성을 선택하거나 불필요한 특성을 제거  알고리즘 선택 - 적절한 Classification 알고리즘을 선택  모델 훈련 - 훈련 데이터를 사용하여 모델을 .. 2024. 9. 20.
U-Net 정의- 넓은 범위의 이미지 픽셀로부터 의미 정보를 추출하고 의미정보를 기반으로 각 픽셀마다 객체를 분류하는 U 모양의 아키텍처를 가지는 FCN(Fully-Convolution Network) 기반 인공지능 모델 키워드- 이미지 세그멘테이션, Contracting, Bottle Neck, Expanding, Skip Connection 메커니즘 기술요소수축 경로(Contracting Path) - 3×3 Convolution Layer + ReLu + BatchNorm (No Padding, Stride 1) * 2번 수행 - 2×2 Max-polling Layer (Stride 2) - 점진적으로 넓은 범위의 이미지 픽셀을 보며 의미정보(Context Information)을 추출 전환 구간(Bottle.. 2024. 9. 20.

티스토리툴바