[IT_Tips] 동기/비동기 & 직렬/병렬 완벽 가이드 (GPU 학습부터 API 서빙까지)
·
Tech Archive/[IT_Tips]
1. 들어가며AI 모델을 학습시키다 보면 GPU 사용률(Util)이 0%와 100%를 널뛰기하는 경우를 종종 봅니다. 또는 FastAPI로 만든 추론 서버가 요청이 조금만 몰려도 멈춰버리는 현상을 겪기도 하죠.이 문제들의 근본적인 원인은 대부분 데이터 처리 방식에 있습니다."데이터를 하나씩 순서대로 읽어와서(직렬) 학습이 끊기는가?""요청을 기다리는 동안(동기) 다른 작업을 하지 못하는가?"이번 포스팅에서는 헷갈리기 쉬운 동기(Synchronous) vs 비동기(Asynchronous)와 직렬(Serial) vs 병렬(Parallel)의 개념을 명확히 정리하고, Python을 이용해 이를 어떻게 구현하는지 알아보겠습니다.2. 동기(Synchronous) vs 비동기(Asynchronous)이 두 개념의 ..