FMOps(Foundation Model Operations)

정의

- 기반 모델(Foundation Model), 그중에서도 특히 LLM(Large language model) 기반의 앱 개발을 위한 방법론

 

키워드

- 기반 모델, 프롬프트 엔지니어링, 프롬프트 체이닝, 파인튜닝

 

메커니즘

 

기술요소

프롬프트 관련
프롬프트 엔지니어링 
- Pre-training된 LLM을 별도의 학습없이 사용자가 원하는 답변을 생성하도록 입력 프롬프트를 효과적으로 설계하는 기술

프롬프트 체이닝 
- 체인 프레임워크로 기반 모델에 외부 정보를 저장, 인덱싱, 주입하여 기반 모델이 보다 복잡한 테스크를 수행하게 함

데이터 및 모델 관련
데이터 임베딩 
- 데이터를 벡터 단위로 쪼개 데이터 베이스에 저장 및 인덱싱 이후에 LLM에 주입하여 사용자 데이터 기반의 결과 생성

기반 모델 파인튜닝 
- 기반 모델을 재학습 시키기 위해 파라미터를 보다 특정한 데이터 셋으로 구성

모델 모니터링 
- 사용자의 앱 인터랙션 피드백을 수집, 데이터화 한 후 테스트 베드에 전송하여 앱 개선

 

참고

- MLOps가 모델과 모든 파이프라인을 직접 개발한다면 FMOps는 모델을 API 통해 접근