[AI/LLM] 개발자를 위한 AI 서버 관리 꿀팁 A to Z (screen, git, Postman)
·
AI Study/[LLM]
1. 들어가며: "모델 띄웠는데, 어떻게 관리하세요?"AI 개발자/연구원으로서 내 PC(Windows/Mac)에서 잘 돌아가던 vLLM 서버나 FastAPI 앱을, 막상 A6000이나 H100 같은 리눅스 서버에 띄우면 막막할 때가 있습니다."SSH 접속 끊으면 서버도 같이 죽는데?", "코드는 어떻게 수정하고 반영하지?", "로그는 어디서 보지?"AI 엔지니어의 서버 관리란 결국 코드 수정, 배포, 모니터링, 트러블슈팅의 무한 반복입니다.저는 API 서버(A6000)와 LLM 서버(B6000)를 분리해 운영하는 구조를 기준으로, 1인 개발자나 소규모 팀이 K8s(쿠버네티스) 같은 거창한 시스템 없이도 당장 써먹을 수 있는 '현업 생존 관리 꿀팁'을 A to Z로 풀어보겠습니다. 2. 서비스 헬스 체크 ..