본문 바로가기

Professional Engineer80

NER(Named Entity Recognition) Word Embedding, BERT, GPT-3 NER- 텍스트에서 사전 정의된 카테고리에 속한 개체명 찾아 특정 의미 가진 단어 또는 어구 인식하는 과정 또는 기법Word Embedding- 단어 간 유사도 및 중요도 파악을 위해 단어를 저차원의 실수 벡터로 매핑하여 의미적으 로 비슷한 단어를 가깝게 배치하는 자연어 처리 모델링 기술BERT- 특정 과제를 하기 전 사전 훈련 Embedding을 통해 특정 과제의 성능을 더 좋게 할 수 있는 양방 향 마스크 언어모델(Bidirectional Encoder Representations from Transformers) GPT-3- 방대한 양의 데이터셋(3천억 개의 토큰)과 매개변수(1,750억 개)를 갖춘 자연어 모델 기반의 단방향 언어모델 (Generative Pre–Training) 2024. 9. 20.
자연어 처리 기술 정의- 인간의 언어 현상을 기계적으로 분석해 컴퓨터가 이해가능한 형태로 만드는 자연언어 이해/변환 과정 혹은 그러한 형태를 다시 인간이 이해가능한 언어로 표현하는 제반 기술 키워드- NLP, NLG, NLU, One-hot Encoding, Word Embedding, Seq2Seq 메커니즘절차①음성인식(Speech Recognition) - 사용자 목소리로부터 음성 인식하는 음성인식 기술 ②언어이해(Language Understanding) - 사용자 발화를 기계가 이해할 수 있는 텍스트로 변환한 후, 언어 이해 - 모듈에서 의미 분석 통하여 사용자 의도 이해하는 기술 ③대화관리 모듈(Dialogue Management) - 사용자 의도 및 상황정보 기반으로 사용자 요청한 태스크에 필요한 추가 정보를사.. 2024. 9. 20.
딥러닝 모델 경량화 기술 정의- 기존의 학습된 딥러닝 모델의 정확도를 유지하면서 크기가 작고, 연산을 간소화하는 기술- 알고리즘 경량화, 모델 구조 경량화 키워드- 모델 압축, 지식 증류, 가속화, 자동 탐색, 모델 구조 변경, 합성곱 필터 메커니즘 기술요소알고리즘 경량화 기술의 유형모델 압축 - 가중치 가지치기 - 양자화/이진화 - 가중치 공유 - 기존 알고리즘의 불필요한 파라미터 제거, 공유 등을 통해 파라미터의 표현력을 잃지 않으면서 모델의 크기를 줄이는 방법  지식 증류 - 지식증류/전이학습 - Teacher 모델 - Student 모델 - 학습된 기본 모델을 통해 새로운 모델의 생성 시 파라미터 값을 활용하여 학습시간을 줄이는 기술 하드웨어 가속화 - 선형대수학 라이브러리(BLAS) - 벡터/행렬 연산 병렬처리 - BL.. 2024. 9. 20.
분류 알고리즘의 유형 정의- 기계 학습에서 사용되는 지도 학습(Supervised Learning) 기법 중 하나로, 데이터를 미리 정의된 클래스 또는 범주로 분류하는 작업을 수행하는 알고리즘 키워드- 지도학습, KNN, Decision Tree, Random Forest, SVM, Logistic Regression 절차훈련 데이터 수집 - 각 데이터 포인트에 대한 클래스 레이블이 포함된 라벨링 된 훈련 데이터를 수집  데이터 전처리 - 훈련 데이터를 정제하고 준비하는 과정으로, 누락된 값이나 이상치를 처리하고 특성을 정규화하는 등의 작업을 수행  특성 선택 - 중요한 특성을 선택하거나 불필요한 특성을 제거  알고리즘 선택 - 적절한 Classification 알고리즘을 선택  모델 훈련 - 훈련 데이터를 사용하여 모델을 .. 2024. 9. 20.
U-Net 정의- 넓은 범위의 이미지 픽셀로부터 의미 정보를 추출하고 의미정보를 기반으로 각 픽셀마다 객체를 분류하는 U 모양의 아키텍처를 가지는 FCN(Fully-Convolution Network) 기반 인공지능 모델 키워드- 이미지 세그멘테이션, Contracting, Bottle Neck, Expanding, Skip Connection 메커니즘 기술요소수축 경로(Contracting Path) - 3×3 Convolution Layer + ReLu + BatchNorm (No Padding, Stride 1) * 2번 수행 - 2×2 Max-polling Layer (Stride 2) - 점진적으로 넓은 범위의 이미지 픽셀을 보며 의미정보(Context Information)을 추출 전환 구간(Bottle.. 2024. 9. 20.
GNN(Graph Neural Network) 정의- 복잡한 연결 관계와 객체 간의 상호 의존성을 지닌 그래프 데이터의 더 나은 표현(representation)을 위한 학습 방법 키워드- 그래프 데이터(노드, 엣지), Transforamtion, Aggregate, Combine, Readout 메커니즘 기술요소변환(Transforamtion) - 비유클리드 공간상에 존재하는 복잡한 형태의 데이터를 신경망 학습에 적합한 형태로 변환 - 인접 행렬(adjacency matrix): 그래프의 노드 간 연결 정보 - 노드 특징행렬(node feature matrix): 그래프의 노드 속성 취합(Aggregate) - 각각의 레이어(layer)에서는 타겟 노드에 인접한 모든 이웃 노드들의 은닉 변수(hidden state) 정보를 취합(aggregate).. 2024. 9. 20.
SNN(Spiking Neural Network) 정의- 두뇌에서 실제로 정보가 전달되고 가공되는 과정을 모사하여, 뇌를 구성하는 뉴런과 시냅스로 이루어진 신경망 구성 방식으로 인공지능을 구현하는 기술 키워드- 신경망, 뉴런, 시냅스, 가중치, 저전력 메커니즘 기술요소Input - Synapse - 수상돌기(dendrit) 역할을 하는 Spiking 전송 - Weight - 시냅스의 가중치를 곱하여 뉴런 전달  Hidden - Neuron - 막전위(membrane potential) 값이 문턱전압 (threshold voltage)을 넘게 되면 출력으로 전달  Output - Output Spike - 축삭돌기(axon) 역할을 하는 Spiking 전송 - Initialized - 뉴런 내부의 막전위 값 초기화 참고STDP(Spike-timing-de.. 2024. 9. 20.
XGBoost(eXtreme Gradient Boosting) 정의- 부스팅(Boosting)을 할 때 경사하강법(Gradient Descent)을 이용해 순차적 탐색하여 틀린 것에 가중치를 부여하는 것을 병렬처리 기반으로 수행하는 인공지능 알고리즘 키워드- 틀린 것에 가중치, 병렬처리, 과적합 규제, 유사도 점수, 이득 메커니즘 기술요소파라미터유사도 점수(Similarity Score) - 초기 예측치에 따라 트리를 분기하고 각 분기된 Leaf의 유사도 계산 - 람다: 과적합을 방지하는 정규화 매개번수이득(Gain) - 트리 가지의 유사도 점수를 모두 더한 값 - 이득이 트리의 가지를 유지 - (각 Leaf의 유사도 점수 합) - Root의 유사도 점수 하이퍼 파라미터 일반파라미터 - 부스팅을 수행할 때 트리를 사용할지, 선형 모델을 사용할지 선택 [R에서 사용하.. 2024. 9. 20.
Random Forest 와 Adaboost 정의Random Forest : 의사결정 트리(Decision Tree)에 배깅(Bagging)의 개념을 적용시킨 앙상블 기법 Adaboost : 부스팅(Boosting) 기법에서 과소적합한 약 분류기(Weak Classifier)에 높은 가중치로 업데이트 하는 앙상블 기법 키워드- DB(Decision tree, Bagging), 약강가(약 분류기, 강 분류기, 가중치)- 앙상블, 의사결정트리+배깅, 보팅, Bootstrap, 약분류기, 강분류기, 가중치 메커니즘Random Forest의사결정 트리 (Decision Tree) - 배깅(Bagging)에 사용된 핵심 분류/회귀 모델 부트스트래핑 (Bootstrapping) - 전체 원본 데이터 세트에서 중복을 허용하여 복원 추출이 가능한 데이터 샘플링 .. 2024. 9. 20.
연합학습(Federated Learning) 정의- 저장 데이터를 직접 공유하지 않는 다수의 로컬 기기와 하나의 중앙 서버가 협력하여 AI 모델을 학습하는 분산형 머신 러닝(Machine Learning) 키워드- 분산, 프라이버시 보호, 지역모델, 전역모델, 취합, 갱신, FedSGD, FedAVG, 차등정보보호, 동형암호, 다자간계산 메커니즘 기술요소① 전역(Global) 모델 분배(Broadcast) - 서버는 사전에 정의한 최적 참여자를 선정한 후 각 단말로 수행해 야 할 작업 관련 정보를 전달  ② 지역 모델 갱신(Local Update) - 단말에 저장된 개인 데이터를 사용하여 로컬 AI 모델을 생성  ③ 지역 모델 취합(Aggregate) - 서버와 접속 등 특정 조건 만족 시, 단말은 생성한 로컬 AI 모델 결과값(파라미터)을 압축・.. 2024. 9. 20.

티스토리툴바