1. 들어가며AI 엔지니어로서 서비스를 운영하다 보면 심장이 철렁하는 순간이 있습니다. 갑자기 고객들의 CS가 빗발치고, 로그를 확인해 보니 500 Internal Server Error 또는 **429 Too Many Requests**가 빨갛게 도배되어 있는 상황이죠.원인은 내 코드가 아니라, 우리가 의존하고 있는 LLM 공급자(OpenAI, Anthropic 등)의 서버 장애일 확률이 높습니다."외부 API 장애니까 어쩔 수 없어요"라고 말하는 건 아마추어입니다. 프로덕션 레벨의 서비스라면, 메인 엔진이 꺼졌을 때 보조 엔진이 즉시 돌아가야 합니다. 오늘 다룰 주제는 바로 이 보조 엔진, Fallback 시스템입니다.2. Fallback(폴백)이란?**Fallback(폴백)**은 시스템이 원래 의도..