1. 들어가며GPT-4, Gemini 같은 최신 LLM(거대언어모델)들은 파라미터 수가 수천억 개에 달합니다. 모델이 커질수록 성능은 좋아지지만, 그만큼 엄청난 계산 비용(VRAM, FLOPs)을 요구합니다. 모든 입력 토큰에 대해 수천억 개의 파라미터를 전부 사용해야 하기 때문이죠."천재 한 명이 모든 걸 다 하기보다, 각 분야 전문가 여러 명에게 일을 나눠주면 훨씬 효율적이지 않을까?"이 질문에서 시작된 기술이 바로 MoE (Mixture of Experts)입니다. 모델의 크기(Capacity)는 키우면서도, 실제 계산에 사용되는 비용(Cost)은 획기적으로 줄이는 마법 같은 기술이죠. 최근 Mistral 8x7B, GPT-4, DeepSeek-V2 등 SOTA(State-of-the-Art) 모델..

1. 들어가며"ChatGPT, 나 올해 복지포인트 얼마나 남았어?"여러분이 아무리 비싼 GPT-4를 써도, 이 질문에는 답을 못 합니다.LLM은 인터넷에 공개된 지식은 알지만, 여러분 회사의 사내 규정(ERP), 비공개 보고서, 실시간 데이터는 학습한 적이 없기 때문입니다.LLM의 답변: "죄송합니다. 저는 사용자의 개인 정보나 특정 회사의 내부 데이터에 접근할 수 없습니다." (혹은 그럴싸한 거짓말)이 문제를 해결하기 위해 **RAG (Retrieval-Augmented Generation)**가 등장했습니다. 모델을 재학습시키지 않고, **외부 데이터(복지포인트 DB)**를 검색해서 LLM에게 '참고 자료'로 넘겨주는 기술이죠. 2. RAG vs Fine-tuning: 무엇을 언제 써야 할까?현업에서..