자연어 처리 기술

정의

- 인간의 언어 현상을 기계적으로 분석해 컴퓨터가 이해가능한 형태로 만드는 자연언어 이해/변환 과정 혹은 그러한 형태를 다시 인간이 이해가능한 언어로 표현하는 제반 기술

 

키워드

- NLP, NLG, NLU, One-hot Encoding, Word Embedding, Seq2Seq

 

메커니즘

절차

①음성인식(Speech Recognition)
- 사용자 목소리로부터 음성 인식하는 음성인식 기술
②언어이해(Language Understanding)
- 사용자 발화를 기계가 이해할 수 있는 텍스트로 변환한 후, 언어 이해
- 모듈에서 의미 분석 통하여 사용자 의도 이해하는 기술
③대화관리 모듈(Dialogue Management)
- 사용자 의도 및 상황정보 기반으로 사용자 요청한 태스크에 필요한 추가 정보를사용자와의 대화 통해 요청
-. 사용자가 요청한 태스크는 태스크 에이전트로 전달되어 수행
④발화생성부/음성합성(Language Generation/Speech Synthesis)
-. 사용자에게 전달하기 위해서 발화 생성부 및 음성 합성 과정을 통하여 자연스러운 음성으로 사용자에게 전달 

 

기술요소

NLU (Natural Language Understanding)
형태소 분석(Morphological Analysis)
- 사용자가 발화한 문장에 대한 명사, 동사, 형용사, 조사 등의 품사 정보 인식

구문 분석(Syntax Analysis, Parsing)
- 형태소 분석 결과로 도출된 품사들을 명사구, 동사구 등으로 그룹화하고 그룹 간 관계 분석

의미 분석(Semantic Analysis)
- 구문 분석 결과 해석하여 문장 내 단어의 의미보다 문장 성분 간 의미 관계 파악

담론 분석(Discourse Analysis)
- 문맥 속에서 단어나 문장 등에 어떤 의미 있는지 분석 

- One-hot Vector Encoding, Word Embedding, 문장 분류 (SentenceClassification),  Sequence to Sequence(Seq2Seq), Word2Vec모델, Machine Reading Comprehension(MRC), 대화 모델(Conversation Model)

 

NLG (Natural Language Generation)
담론생성 - 사용자 질문에 대해 답변하기 위해 상황적합한 자연어로 변환하는 과정

문장 계획 - 질문에 적합한 자연어 문법을 계획 및 생성
어휘 선택 - 생성된 문장에서 구문(명사, 동사, 형용사 및 부사)을 선택
문장 생성 - 구문 규칙에 따라 올바른 문장 텍스트 생성 과정
형태 생성(Morphological Generation)- 문장 텍스트가 상황에 적합하지 않은 표현 또는 성별 불일치 같은 오류를 검출해서 최종 문장을 확정하는 과정

- Discourse Generation, Sentence Planning, Lexical Choice, Sentence Generation, Morphological Generation