1. 들어가며기업에서 사내 기밀 데이터나 개인정보가 포함된 문서를 처리할 때, ChatGPT나 Claude 같은 외부 API를 사용하는 것은 보안상 큰 리스크입니다. 결국 '사내 자체 구축(On-Premise) LLM'이 필수적인데, 이때 가장 큰 진입 장벽은 "어떻게 거대한 AI 모델을 안정적이고 빠르게 서빙(Serving)할 것인가?"입니다.현재 오픈소스 생태계에서 성능과 효율의 끝판왕으로 불리는 조합이 있습니다. 바로 구글의 최신 초거대 모델 'Gemma 4 (31B)'와, 메모리 낭비를 극적으로 줄여주는 추론 엔진 'vLLM', 그리고 이 모든 환경을 명령어 한 줄로 깔끔하게 관리해 주는 'Docker Compose'의 만남입니다.이번 포스팅에서는 파라미터가 310억 개에 달하는 Gemma 4 3..

1. 들어가며딥러닝 모델을 학습시키려는데 "GPU가 없어서 학습이 너무 느려요", "코랩(Colab)에서 TPU를 쓰라는데 그게 뭐죠?", "스마트폰에는 NPU가 들어간다는데 GPU랑 다른 건가요?" 같은 질문을 한 번쯤 해보셨을 겁니다.과거에는 CPU 하나로 모든 것을 처리했지만, AI 시대가 도래하면서 행렬 연산(Matrix Multiplication)에 특화된 다양한 가속기(Accelerator)들이 등장했습니다. 이들은 서로 다른 아키텍처와 목적을 가지고 있으며, 상황에 따라 적절한 하드웨어를 선택하는 것이 비용과 시간을 절약하는 지름길입니다.이번 포스팅에서는 AI 반도체의 4대장인 CPU, GPU, TPU, NPU의 개념과 차이점, 그리고 실전 활용법까지 A to Z를 파헤쳐 보겠습니다.2. C..

1. 들어가며안녕하세요! Jaylen H입니다.지난 2편 에서 저희 팀이 3주간 얼마나 치열하게 AI 파이프라인을 구축했는지 보여드렸는데요."과연 그 결과는...?"오늘은 그 대망의 최종 결과! 3주간의 대장정을 마무리하는 '시상식'과 'NIPA-Google ML 부트캠프' 전체 '회고'로 돌아왔습니다. 🔥 2. '대상' 수상결론부터 말씀드리면, 저희 '가볼지도' 팀이... '대상(전체 1등)'을 수상했습니다! 🥳🎉정말 3주라는 짧은 시간 동안, 팀원들과 함께 밤낮으로 달렸던 모든 순간이 스쳐 지나갔습니다.STT, OCR, Detection(YOLO), NER(KoELECTRA), RAG(PGVector), LLM(Gemma)까지... 이 복잡한 파이프라인을 3주 만에 '실제로 동작하는 서비스'로 ..

1. 들어가며안녕하세요! Jaylen H입니다.지난 1편 에서 3주간의 초압축 '실무 프로젝트' 과정이 시작되었다고 말씀드렸는데요.오늘은 그 3주 동안, 1편에서 언급했던 팀원들과 함께 밤낮으로 달렸던 저희 팀 프로젝트 '가볼지도'에 대해 자세히 풀어보겠습니다. 🔥2. 프로젝트: '가볼지도' (숏폼 영상 기반 장소 정보 요약 서비스)저희 팀은 "AI를 활용한 숏폼 영상 기반 장소 정보 제공 및 요약 서비스"를 주제로 잡았습니다. 프로젝트명은 '가볼지도'라고 지었어요!2.1. 기획 의도문제점: 유튜브 숏츠나 인스타 릴스에 맛집, 핫플이 떠도 제작자가 정보를 따로 적어주지 않는 이상 '대체 저기가 어디지?' 알기 어렵습니다.비효율: 결국 영상에서 본 장소를 찾기 위해, 스크린샷을 찍고 지도 앱, 검색 앱을..

1. 들어가며안녕하세요! Jaylen H입니다.2023년 KISIA(AI보안), 2024년 상반기 KITRI(AI보안), 2024년 하반기 Google ML Bootcamp(ML/LLM), 그리고 GDG(리더십/AI)에 이어... 저의 2025년 상반기를 뜨겁게 달궜던 다섯 번째 대외활동 후기를 시작합니다!바로 '정보통신산업진흥원(NIPA)'과 'Google'이 협력하여 진행하는 입니다. 🔥이전 Google ML Bootcamp가 '이론'과 'Kaggle'에 집중했다면, 이번 NIPA-Google 과정은 말 그대로 **'실무 프로젝트'**에 100% 집중하는, 훨씬 더 강도 높은 3주간의 단기 부트캠프였습니다.이 과정 역시 총 3편에 걸쳐 꼼꼼하게 다뤄볼게요.프로그램 소개 및 합격 후기실무 프로젝트 개..

1. 들어가며안녕하세요! Jaylen H입니다.2023년 KISIA, 2024년 상반기 KITRI, 하반기 Google ML Bootcamp에 이어... 저의 2024년을 꽉 채워준 네 번째 활동 후기를 가져왔습니다. 바로 'Google Developer Groups on Campus (GDG on Campus) Kangnam University' 1기 활동입니다!사실 제가 지원하고 활동을 시작한 2024년 9월은, 기존의 'Google Developer Student Clubs (GDSC)'가 'GDG'로 명칭이 공식 변경되는 역사적인(?) 시기였습니다.이번 GDG 활동은 이전의 부트캠프들과는 조금 성격이 달랐습니다. 교육생(참가자)이 아닌, 'Core Member(임원진)'이자 'AI 팀장'으로서 커..

1. 들어가며안녕하세요! Jaylen H입니다.지난 3편 에 이어, 드디어 3개월간의 대장정을 마무리하는 'Google Machine Learning Bootcamp 2024'의 마지막 4편, '졸업식 후기'입니다. 🔥Coursera의 빡빡한 이론 과정, Kaggle의 치열했던 순위 경쟁, 그리고 Gemma Sprint의 밤샘 프로젝트까지... 이 모든 과정을 통과한 교육생들만이 이 자리에 모일 수 있었습니다. 2. Google ML Bootcamp 2024 졸업식2024년 10월 18일, 3개월간 함께 달린 5기 수료생들을 위한 졸업식이 열렸습니다.행사장에 도착하니 멋진 포토존과 함께 3개월간의 여정을 축하하는 분위기가 물씬 풍겼습니다.드디어 받게 된 'Graduates' 명찰! 모든 과정을 수료한 ..

1. 들어가며안녕하세요! Jaylen H입니다.지난 2편 에 이어, 드디어 Google ML Bootcamp의 마지막 관문이자 하이라이트인 'Gemma Sprint 프로젝트' 후기를 가져왔습니다. 🔥Coursera로 이론을 다지고 Kaggle로 실전 감각을 익혔다면, 이제는 Google의 최신 오픈 모델인 'Gemma'를 활용해 직접 무언가를 만들어 볼 차례였죠.2. Gemma Sprint: AI 취약점 탐지 봇Gemma Sprint는 3인 이하로 팀을 꾸려 자율적으로 프로젝트를 진행하는 방식이었습니다. 저는 네트워킹을 통해 알게된 연구원님과 함께 2인 팀을 이루어, 제가 KISIA와 KITRI에서 가장 자신 있게 다뤘던 'AI + Security' 분야에 도전했습니다. 2.1. 주제 및 기획 의도프로..

1. 들어가며안녕하세요! Jaylen H입니다.지난 1편 에 이어, 오늘은 2024년 7월부터 약 3개월간 진행된 Google ML Bootcamp의 실제 교육 과정에 대해 자세히 풀어보려고 합니다.부트캠프의 전체 일정은 크게 3단계로 나뉘었습니다.ML 이론: Coursera Deep Learning Specialization 수강ML 실습: Kaggle Competition 참가ML 스프린트: Gemma 오픈 모델 활용 프로젝트이번 2편에서는 1, 2단계인 'Coursera'와 'Kaggle' 과정을 중점적으로 다뤄보겠습니다! 2. Coursera Deep Learning Specialization부트캠프의 첫 번째 관문은 바로 Andrew Ng(앤드류 응) 교수님의 Coursera 딥러닝 전문 과정(..

1. 들어가며안녕하세요! Jaylen H입니다. (-> 블로그 주인 이름으로 바꾸세요!)2023년 KISIA, 2024년 상반기 KITRI 화이트햇 스쿨에 이어... 2024년 하반기, 저의 세 번째 빅-대외활동 후기를 시작합니다!바로 'Google Machine Learning Bootcamp 2024 (5기)'입니다! 🥳정말 운이 좋게도 KISIA(AI보안), KITRI(보안)를 경험한 데 이어, ML의 본진이라고 할 수 있는 Google의 프로그램에 합류하게 되었습니다.이 시리즈 역시 총 3편으로 나누어 진행할 예정입니다.합격 후기 (지원 과정 및 팁)부트캠프 과정 후기 (Coursera, Kaggle)Gemma 스프린트 및 수료식 후기그럼 3개월간의 여정, 그 첫 번째 관문이었던 '지원 및 합격..