OWASP Top 10 for LLM 보안 실습 환경을 만들면서 700만~1,000만 원대 NVIDIA 워크스테이션 구매를 진지하게 고민했다. 결론은 의외로 단순했다. 월 GPU 사용시간이 많지 않고 기술 변화가 빠르다면, 코드는 로컬에서 만들고 실제 GPU 검증만 AWS에서 수행하는 편이 더 합리적이었다.
지금 사용하는 LLM 보안 실습 환경
실습 환경은 Terraform, Auto Scaling Group(ASG), Podman Compose로 배포한다. AWS us-east-1의 g6.xlarge는 NVIDIA L4 24GB, 4 vCPU, 16GiB 메모리를 제공한다. GPU가 필요할 때만 ASG의 desired capacity를 1로 올리고, 끝나면 0으로 내린다.
로컬에서는 Markdown 작성, 코드 수정, Git 작업과 정적 테스트를 한다. AWS에서는 Ollama 모델 실행과 Guardrail, LLMGoat, Presidio, NeMo를 묶고 Log·Trace·Metric 수집 및 Grafana 화면까지 검증한다. 실제 개발시간 대부분은 GPU가 필요 없다. 더구나 Terraform과 ASG를 포함한 실제 AWS 배포 실습은 로컬 GPU 한 대만으로 완전히 대체할 수 없다.
AWS 시간당 비용은 얼마인가
이 글은 g6.xlarge Linux On-Demand를 시간당 0.8048달러, 환율을 1달러당 1,400원으로 가정한다. 부가세와 공인 IPv4 비용까지 보수적으로 반영해 실행비를 시간당 약 1,250원으로 잡았다. 인스턴스를 꺼도 유지하는 gp3 100GB는 EBS 요금을 참고해 월 12,000원으로 계산했다.
AWS 월 비용 = 1,250원 × 월 GPU 실행시간 + 12,000원
가격, 환율, 세금, 리전과 네트워크 구성은 시점에 따라 달라진다. 실제 배포 전에는 AWS On-Demand 가격과 Cost Explorer에서 다시 확인해야 한다.
로컬 서버의 숨은 비용
로컬 장비는 700만 원 또는 1,000만 원, 평균 소비전력은 650W, 전기요금은 kWh당 200원으로 가정했다. 전기료는 시간당 약 130원이다. 그러나 구매비만 내면 끝나는 것은 아니다. 감가상각, 고장과 수리, 소음, 발열, 냉방, 설치 공간, 드라이버와 CUDA 유지보수가 따라온다.
RTX 4090은 24GB로 L4와 VRAM 용량은 같지만 소비자용 GPU와 데이터센터 GPU의 안정성·전력·드라이버·운영 특성은 다르다. 어느 쪽이 항상 빠르다고 단정할 수는 없다. RTX 5090은 32GB VRAM과 575W TGP를 제공하지만, 전원과 냉각을 포함한 전체 시스템 가격도 커진다.
월 사용시간별 손익분기점
| 월 GPU 시간 | AWS 월 비용 | 로컬 전기료 | 700만 원 장비 | 1,000만 원 장비 |
| 50시간 | 7.5만 원 | 0.7만 원 | 약 8.6년 | 약 12.3년 |
| 100시간 | 13.7만 원 | 1.3만 원 | 약 4.7년 | 약 6.7년 |
| 176시간 | 23.2만 원 | 2.3만 원 | 약 2.8년 | 약 4.0년 |
| 200시간 | 26.2만 원 | 2.6만 원 | 약 2.5년 | 약 3.5년 |
| 300시간 | 38.7만 원 | 3.9만 원 | 약 1.7년 | 약 2.4년 |
| 400시간 | 51.2만 원 | 5.2만 원 | 약 1.3년 | 약 1.8년 |
월 300시간은 평일 22일 기준 하루 약 13.6시간이다. 개인 개발자가 매일 그만큼 GPU를 실제로 돌리기는 쉽지 않다. 평일 하루 8시간을 전부 GPU 작업에 써도 월 176시간이다. 이 경우 AWS는 월 약 23만 원, 연간 약 276만 원, 3년 약 828만 원이다.
3년 손익분기 계산을 그대로 믿기 어려운 이유
3년 뒤에는 GPU 세대, 필요한 VRAM, 모델 크기, 양자화 기술과 CUDA 환경이 크게 달라질 수 있다. 오늘 산 24GB 장비가 3년 뒤에도 원하는 모델과 실습을 충분히 처리한다는 보장은 없다. 클라우드 요금에는 단순 임대료뿐 아니라 하드웨어 노후화와 교체 위험을 클라우드 사업자에게 넘기는 비용도 들어 있다.
물론 월 수백 시간을 안정적으로 사용하고, 데이터 반출이 어렵거나 인터넷 없이 실험해야 한다면 로컬 장비가 유리할 수 있다. 반대로 AWS는 사용량을 방치하면 비용이 빠르게 늘고, GPU 용량 부족이나 네트워크 장애의 영향을 받을 수 있다.
내가 선택한 혼합 운영 방식
로컬에서는 문서, Git, 코드와 정적 테스트를 끝낸다. GPU가 필요한 통합 테스트만 ASG를 1로 올려 실행하고, Ollama·NeMo·Presidio와 관측 스택 검증이 끝나면 즉시 0으로 내린다. 여기에 다음 세 가지를 추가하면 비용 통제가 쉬워진다.
- 테스트 종료 후 ASG를 자동으로 0으로 내리는 예약 작업과 최대 실행시간 제한
- AWS Budgets 알림과 월별 비용 한도
- 시작·종료 시각을 기록해 GPU 사용시간과 테스트별 비용 측정
현재 사용 패턴이라면 1,000만 원 이하 서버를 미리 사는 것보다 이 방식이 유연하다. 다만 다음 공식에 자신의 가격과 시간을 넣어 판단하는 것이 가장 정확하다.
AWS 월 비용 = 시간당 AWS 비용 × 월 GPU 실행시간 + 고정 스토리지 비용
로컬 손익분기 개월 =
장비 구매가격 ÷
((AWS 시간당 비용 - 로컬 시간당 전기료) × 월 사용시간 + AWS 고정비)
이 계산에는 장비 잔존가치, 수리비, 냉방비, 금융비용, 클라우드 데이터 전송비와 두 환경의 생산성 차이가 완전히 반영되지 않았다. 숫자는 결론이 아니라, 자신의 실제 GPU 실행시간을 확인하기 위한 출발점으로 보는 것이 맞다.
공식 참고 자료
'클라우드' 카테고리의 다른 글
| Amazon Bedrock A to Z: GPU 없이 여러 생성형 AI 모델을 쓰는 AWS의 방법 (0) | 2026.09.01 |
|---|---|
| 클라우드 시대에도 TPS, CPU, Memory, IOPS 산정은 필요한가? (0) | 2026.07.07 |
| CloudWatch 로그 비용이 부담될 때, OpenSearch를 직접 구성하는 선택은 맞을까? (0) | 2026.06.20 |
| AWS Client VPN으로 VPC에 안전하게 접속하기 (0) | 2026.06.14 |
| Bastion Host를 대체하는 AWS Systems Manager Session Manager (0) | 2026.06.14 |
