1. 들어가며우리가 흔히 아는 챗GPT(ChatGPT)와 같은 대규모 언어 모델(LLM)은 뛰어난 지능을 가진 '두뇌'입니다. 하지만 텍스트 창에 갇혀 있다는 치명적인 한계가 있습니다. "오늘 서울 날씨 어때?", "이메일 좀 보내줘", "2345 곱하기 6789는 뭐야?"라고 물으면, 실시간 데이터를 모르거나, 실제로 메일을 보낼 수 없거나, 수학 계산에서 실수를(환각 현상) 저지르기도 합니다.이러한 LLM의 한계를 극복하고, 두뇌(AI)가 외부 세계와 상호작용할 수 있도록 '손과 발'을 달아주는 핵심 기술이 바로 'Tool Calling(도구 호출)'입니다.AI 에이전트(AI Agent)가 스스로 판단하고 행동하는 자율형 시스템으로 진화할 수 있었던 가장 큰 이유가 바로 이 Tool Calling 기..

1. 들어가며RAG(Retrieval-Augmented Generation) 시스템을 구축해 본 개발자라면 누구나 한 번쯤 이런 고민에 빠집니다."Vector DB에서 유사한 문서를 5개나 가져왔는데, 왜 LLM은 엉뚱한 대답을 할까?"이유는 간단합니다. 벡터 검색(Vector Search)은 '의미적 유사도'를 기반으로 빠르게 검색하지만, 질문의 미묘한 뉘앙스나 정확한 정답을 포함하는지 여부를 완벽하게 판단하지는 못하기 때문입니다.이때 필요한 것이 바로 Reranker(리랭커)입니다. 1차로 검색된 문서들을 다시 한번 꼼꼼하게 채점하여, 진짜 정답을 LLM의 코앞에 가져다주는 역할을 합니다. 이번 포스팅에서는 RAG 성능 향상의 치트키, Reranker의 모든 것을 파헤쳐 보겠습니다.2. Reranke..

1. 들어가며ChatGPT나 Claude 같은 대규모 언어 모델(LLM)은 놀라운 지능을 가지고 있지만, 명확한 한계가 있습니다.실시간 정보 부재: "오늘 서울 날씨 어때?"라고 물으면 모릅니다. (학습 데이터가 과거니까요)할루시네이션(거짓말): 모르는 것도 아는 척 지어냅니다.외부 도구 사용 불가: 엑셀 파일을 열거나 이메일을 보낼 수 없습니다.마치 "뇌(Brain)는 천재인데 눈, 귀, 손발이 없는 상태"와 같습니다. 이 뇌에게 눈(검색), 손(API 호출), 기억(Memory)을 달아주고, 복잡한 업무를 순서대로 처리하도록 지휘하는 기술이 필요합니다.그것이 바로 LLM 오케스트레이션(LLM Orchestration)입니다. 이번 포스팅에서는 단순한 챗봇을 넘어 'AI 에이전트'를 만드는 핵심 기술인..

1. 들어가며불과 몇 년 전까지만 해도 AI는 '텍스트'라는 단일 데이터만 처리하는 유니모달(Unimodal) 모델이 주류였습니다. 챗봇은 글자만 읽을 수 있었고, 이미지 인식 모델은 그림만 볼 수 있었죠.하지만 인간은 세상을 그렇게 인식하지 않습니다. 우리는 친구의 목소리 톤(청각)을 듣고, 표정(시각)을 보며, 말하는 내용(언어)을 종합해 상대방의 감정을 이해합니다. AI도 이처럼 텍스트, 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 동시에 이해하고 처리할 수 있다면 어떨까요?이것이 바로 멀티모달(Multi-Modal) AI의 시작입니다. GPT-4o나 Gemini 같은 최신 AI가 이미지를 보고 시를 짓거나, 영상을 보고 요약해 주는 마법 같은 일들이 가능한 이유입니다. 이번 포스팅에서는 차..

1. 들어가며우리는 "사과"라는 단어를 보면 빨갛고 맛있는 과일을 떠올립니다. 하지만 컴퓨터, 특히 인공지능(AI)에게 텍스트는 그저 0과 1로 이루어진 데이터일 뿐입니다. LLM이 인간의 언어를 이해하고 생성하기 위해서는 텍스트를 기계가 처리할 수 있는 숫자(Vector)로 변환하는 과정이 반드시 필요합니다.이 과정의 가장 기초이자 핵심이 바로 토크나이제이션(Tokenization)이며, 이때 잘라진 조각을 토큰(Token)이라고 부릅니다. 토큰은 LLM의 성능, 비용, 속도를 결정짓는 가장 중요한 단위입니다.이번 포스팅에서는 딥러닝과 LLM의 시작점인 토큰의 정의, 동작 원리(BPE, WordPiece), 그리고 파이썬을 이용한 실습까지 A to Z를 다뤄보겠습니다.2. 토큰(Token)이란 무엇인가..

1. 들어가며: "AI가 '맥락'을 이해하려면?"최근 챗GPT와 같은 거대언어모델(LLM)이 등장하면서 AI는 놀라운 발전을 이루었지만, 여전히 치명적인 약점이 있습니다. 바로 '맥락(Context)의 부재'와 '환각(Hallucination)'입니다.예를 들어, "기생충 감독의 다른 스릴러 영화 추천해줘"라고 물었을 때, LLM은 '기생충', '감독', '스릴러'라는 단어의 통계적 확률만 계산할 뿐, "봉준호는 사람이고, 기생충을 만들었으며, 그 영화의 장르가 스릴러다"라는 사실 관계를 명확히 구조화해서 알고 있는 것은 아닙니다.이러한 한계를 극복하고 AI에게 세상을 바라보는 '지능형 지도'를 쥐여주는 기술이 바로 온톨로지(Ontology)입니다. 온톨로지는 단순한 데이터 저장을 넘어, 지식 간의 관계..

1. 들어가며: AI 시대의 데이터베이스, Vector DBChatGPT와 RAG(검색 증강 생성)가 등장하면서 데이터베이스의 패러다임이 바뀌었습니다.기존 RDB(관계형 DB)나 NoSQL은 "키워드 매칭(LIKE 검색)"은 잘하지만, "의미(Meaning)"를 이해하지 못합니다. "배고파"를 검색해서 "맛집 리스트"를 찾아내려면 텍스트를 숫자로 변환한 '벡터(Vector)'를 다뤄야 합니다.이 벡터 데이터를 저장하고, 0.1초 만에 가장 유사한 데이터를 찾아주는 엔진이 바로 Vector Database입니다. 오늘은 그중에서도 성능, 편의성, 기능의 3박자를 모두 갖춘 Qdrant를 완벽하게 파헤쳐 보겠습니다. 2. Qdrant란 무엇인가?Qdrant는 벡터 유사도 검색 엔진이자 데이터베이스입니다. 단..

1. 들어가며: "검색 결과가 좋아야 답변도 좋다"3편까지 우리는 기본 검색(Similarity Search)을 구현했습니다. 하지만 실전 데이터는 호락호락하지 않습니다. "그거 얼마야?" 같은 모호한 질문부터, "김팀장님이 쓴 기획서 중 예산 1억 이상인 것만 찾아줘" 같은 복잡한 필터링까지 처리해야 하죠.4편에서는 이러한 난관을 돌파하는 현업 RAG의 필살기 10가지를 실제 데이터 예시와 함께 총정리합니다. 2. 전략 1: 질문부터 고치자 (Query Transformation)사용자의 질문은 불완전합니다. 검색하기 딱 좋은 형태로 질문을 '성형수술' 해줘야 합니다. 2.1 Query Expansion (확장 검색)정의: 사용자의 질문이 너무 짧거나 전문 용어가 없을 때, LLM을 이용해 동의어나 구..

1. 들어가며: 컴퓨터가 '의미'를 이해하는 방법2편에서 우리는 데이터를 잘게 쪼갰습니다(Chunking). 이제 이 텍스트 조각들을 컴퓨터가 이해할 수 있는 **'숫자(벡터)'**로 바꿔야 합니다.사람: "배가 고프다" $\leftrightarrow$ "맛집을 찾는다" (의미 연결)컴퓨터 (임베딩 전): "배가 고프다" $\neq$ "맛집을 찾는다" (글자 다름)컴퓨터 (임베딩 후): [0.1, 0.5, ...] $\approx$ [0.12, 0.48, ...] (유사함!)임베딩은 텍스트를 N차원 공간의 좌표로 변환하여, 의미적 거리를 계산할 수 있게 해주는 마법입니다. 2. 임베딩 모델 선정 (MTEB 리더보드 활용법)"아무 모델이나 쓰면 안 되나요?" $\rightarrow$ 안 됩니다.임베딩 모델..

1. 들어가며: "Garbage In, Garbage Out"1편에서 우리는 RAG가 '오픈북 테스트'라는 것을 배웠습니다.그런데 만약 교과서(데이터)가 찢어져 있거나, 페이지가 뒤섞여 있다면 어떨까요? 아무리 똑똑한 학생(GPT-4)도 시험을 망칠 수밖에 없습니다.RAG 구축 실패의 70%는 **'데이터 전처리'**에서 발생합니다.표가 깨져서 들어오거나, 문장의 중간이 뚝 끊겨서 의미가 왜곡되는 경우죠.2편에서는 여러분의 지저분한 데이터를 **'LLM이 떠먹기 좋은 형태'**로 가공하는 최신 파이프라인 구축법을 다룹니다.2. 데이터 로드 (Loader): 비정형 데이터 정복하기가장 먼저 할 일은 PDF, 웹페이지, 엑셀 파일 등을 텍스트로 가져오는 것입니다. 2-1. 기본: PDF, Web, CSV (..