GPU를 구매할까 빌릴까: 클라우드 비용분기점 계산

GPU 서버를 직접 사면 시간당 비용이 낮아 보이고 클라우드는 초기투자가 적어 보이지만 실제 경제성은 가동률과 프로젝트 기간, 인력, 데이터 이동과 기술교체에 따라 달라집니다. 장비 가격과 시간당 요금만 비교하면 숨은 비용을 놓칩니다.

필요 GPU시간을 작업별로 측정합니다

학습, 추론, 개발실험과 대기시간을 구분하고 평균·피크 사용량을 기록합니다. 예약자원이 놀거나 클라우드 인스턴스를 끄지 않아 발생한 비용을 제외하면 미래 수요를 과대평가할 수 있습니다.

직접구매의 총비용을 더합니다

서버와 네트워크, 랙, 전력, 냉각, 공간, 유지보수, 장애예비와 운영인력을 포함합니다. 감가상각 기간보다 AI칩 세대교체가 빠르면 장부수명 전에 경쟁력이 떨어질 위험도 반영합니다.

클라우드의 약정과 부가비용을 봅니다

온디맨드, 예약, 스팟 요금의 중단위험과 할인조건을 비교합니다. 데이터 저장·전송, 관리형 서비스, 소프트웨어 라이선스와 다른 클라우드로 옮길 때의 비용을 더합니다.

혼합조달 시나리오를 만듭니다

지속적인 기본수요는 자체 또는 장기예약으로, 일시적 피크는 클라우드로 처리할 수 있습니다. 30%, 60%, 90% 가동률에서 3년 총비용과 프로젝트 지연 손실을 비교합니다.

계산을 틀리게 만드는 항목

비용 비교가 어긋나는 첫 번째 이유는 유휴시간입니다. 직접 구매한 장비는 쓰지 않는 시간에도 감가상각과 전력, 공간 비용이 계속 나갑니다. 실제 가동률을 30퍼센트로 잡을 때와 80퍼센트로 잡을 때 분기점이 크게 달라지므로 두 경우를 모두 계산해 둡니다.

두 번째는 데이터 이동 비용입니다. 학습 데이터를 올리고 결과를 내려받는 데 드는 요금과 시간은 시간당 단가표에 나오지 않지만 반복 실험에서는 무시할 수 없습니다. 저장소와 계산 자원이 다른 지역에 있으면 이 비용이 더 늘어납니다.

세 번째는 대기시간입니다. 원하는 사양을 원하는 때에 확보하지 못하면 일정이 밀리고, 그 지연도 비용입니다. 예약형 계약은 단가를 낮추지만 약정 기간에 수요가 줄면 남은 몫을 그대로 부담하게 되므로 수요 예측의 폭을 함께 봐야 합니다.

가동률에 따른 시간당 실효 원가

장비를 5,000만원에 사서 3년에 걸쳐 나눠 잡고, 전력과 관리에 월 10만원이 든다고 가정했습니다. 한 달을 720시간으로 놓고 가동률만 바꿔 시간당 원가를 계산하면 아래와 같습니다.

월 비용은 가동률과 상관없이 같습니다. 쓰지 않아도 상각과 운영비가 나가기 때문에, 가동률이 낮을수록 시간당 원가가 급격히 올라갑니다. 20퍼센트와 80퍼센트의 차이는 네 배입니다.

그래서 구매와 임차를 비교할 때는 임차 단가와 이 표의 어느 줄을 견줄 것인지가 결론을 정합니다. 실제 사용 시간을 낙관적으로 잡으면 구매가 유리해 보이지만, 낮은 가동률로 다시 계산하면 결과가 뒤집히는 경우가 많습니다.