1. 들어가며최근 ChatGPT, Claude, Gemini와 같은 대규모 언어 모델(LLM)을 활용한 애플리케이션 개발이 급증하면서, "LLM에게 JSON 형식으로 응답해달라고 했는데 문자열이 깨져서 온다"는 고충을 겪는 개발자들이 많습니다. 따옴표가 빠져있거나, 끝에 쉼표가 더 붙어있거나, JSON 앞뒤로 "여기 결과입니다:" 같은 자연어가 섞여 있는 식이죠. 이런 상황에서 망가진 JSON을 마법처럼 자동으로 고쳐주는 필수 라이브러리가 바로 json-repair입니다.json-repair는 단순히 텍스트(문자열)의 구문 오류를 분석하고 교정하는 로컬 구문 파서(Parser)이며, 라이브러리를 통해 파이프라인을 구축할 때 마주하게 되는 핵심 원리와 사용법은 매우 중요합니다. 이번 포스팅에서는 json-..

1. 들어가며인공지능(AI)과 빅데이터 시대에서 가장 중요한 자원은 바로 '데이터'입니다. 하지만 인터넷상의 수많은 유용한 정보들은 정형화된 엑셀 파일이나 CSV가 아니라, 복잡한 HTML 코드로 이루어진 웹페이지 속에 숨겨져 있습니다.수천 개의 상품 가격을 비교하거나, 뉴스 기사의 트렌드를 분석하고 싶을 때, 일일이 '복사-붙여넣기'를 할 수는 없습니다. 이때 필요한 기술이 바로 웹 스크래핑(Web Scraping)입니다. 그리고 파이썬 생태계에서 웹 스크래핑 입문부터 실무까지 가장 널리, 그리고 사랑받으며 사용되는 라이브러리가 바로 BeautifulSoup입니다.이번 포스팅에서는 BeautifulSoup의 정의부터 핵심 기능, 장단점, 그리고 실제 데이터를 수집하는 End-to-End 파이프라인까지 ..