NER(Named Entity Recognition) Word Embedding, BERT, GPT-3

NER

- 텍스트에서 사전 정의된 카테고리에 속한 개체명 찾아 특정 의미 가진 단어 또는 어구 인식하는 과정 또는 기법

Word Embedding

- 단어 간 유사도 및 중요도 파악을 위해 단어를 저차원의 실수 벡터로 매핑하여 의미적으
로 비슷한 단어를 가깝게 배치하는 자연어 처리 모델링 기술

BERT

- 특정 과제를 하기 전 사전 훈련 Embedding을 통해 특정 과제의 성능을 더 좋게 할 수 있는 양방
향 마스크 언어모델(Bidirectional Encoder Representations from Transformers)

 

GPT-3

- 방대한 양의 데이터셋(3천억 개의 토큰)과 매개변수(1,750억 개)를 갖춘 자연어 모델 기반의 단방향 언어모델
(Generative Pre–Training)