Supermicro AS-4124GQ-TNMI 5U에 AMD Instinct MI250 GPU 4장을 탑재한 엔터프라이즈급 AI 학습·추론 서버. NVIDIA H100 80GB 대비 메모리 1.6배, FP64 4.6배 우위. 누리인프라 17년 IT 인프라 전문성으로 함께합니다.
Supermicro AS-4124GQ-TNMI 5U 섀시에 AMD Instinct MI250 OAM 모듈 4장이 통합된 데이터센터 표준 구성.
Frontier 슈퍼컴퓨터(Top500 1위)에 채택된 검증된 데이터센터 GPU 아키텍처.
한 카드에 GCD(Graphics Compute Die) 2개 통합. Infinity Fabric으로 코히런트 메모리 연결되어 단일 GPU처럼 동작.
정밀도별 Peak Theoretical Performance. 4-Way 시스템 합산 1.45 PFLOPS (FP16/BF16).
8개 P2P 링크가 양방향 100GB/s로 연결. 4-Way All-to-All 메시 토폴로지로 PCIe 우회.
PyTorch 공식 ROCm 빌드 제공. HIPify로 CUDA 코드 자동 변환. 멀티벤더 정책에 부합.
데이터센터 표준 5U 폼팩터. PSU 한 장 고장 시 무중단 동작. IPMI 원격관리 지원.
"메모리 큰 GPU"의 결정판.
70B+ LLM을 단일 GPU에 적재하고, FP64 HPC를 4.6배 빠르게,
그리고 NVIDIA에 대한 의존을 끊는 — 동시에 모두 만족하는 유일한 선택지.
70B 파라미터 모델을 FP16으로 적재하면 약 140GB. H100 80GB는 두 장 이상 분산 적재해야 하지만, 본 서버는 카드 한 장(128GB)으로 단일 GPU 추론 가능.
학습 처리량은 H100, 메모리·HPC·오픈성·TCO는 MI250 — 워크로드에 따른 최적 선택.
| 항목 | NVIDIA A100 80GB | NVIDIA H100 SXM | AMD MI250 (본 제품) |
|---|---|---|---|
| 아키텍처 | Ampere (7nm) | Hopper (4nm) | CDNA2 (6nm) |
| 메모리 용량 | 80 GB HBM2e | 80 GB HBM3 | 128 GB HBM2e |
| 메모리 대역폭 | 2.04 TB/s | 3.35 TB/s | 3.27 TB/s |
| FP64 Matrix | 19.5 TFLOPS | 67 TFLOPS | 90.5 TFLOPS |
| FP16 / BF16 | 312 TFLOPS | 989 TFLOPS | 362 TFLOPS |
| TDP | 400W | 700W | 560W |
| 소프트웨어 | CUDA (벤더 락인) | CUDA (벤더 락인) | ROCm (오픈소스) |
Llama 70B, Qwen 72B, Mixtral 8x22B 등 Hugging Face 대형 모델을 단일 서버에서 vLLM/TGI로 서빙.
기업 도메인 데이터로 LLM 파인튜닝, 멀티노드 데이터·모델 병렬. Databricks·Moreh가 검증.
분자동역학, 기후모델, 양자화학, 몬테카를로 시뮬레이션. Frontier 검증 정밀 연산.
금융·의료·국방·공공 등 데이터 보안 중요 기관의 RAG, 챗봇, 코드 어시스턴트, 문서 분석.
초기 투자 부담을 줄이고 싶은 AI 스타트업, 대학 연구실, 정부 R&D 과제. H100 대비 30~50% 저렴.
엔비디아 독점 의존을 피하고 싶은 대기업·정부기관. ROCm 오픈소스로 장기 운영 리스크 분산.
의료·AI 스타트업·공공 — 누리인프라가 제안 가능한 현실 시나리오. (가상 시나리오 · 실제 도입 시 조건 변동 가능)
환자 의무기록(EMR) 5년치, 영상판독지 50만건을 외부 클라우드로 보낼 수 없는 환경에서 AI 임상의사결정지원시스템(CDSS) 구축 필요. 의료법상 환자 정보는 병원 내부망 외부로 반출 불가.
MI250 서버 1대 + 자체 서버룸 설치. 의료 특화 LLM(Llama 70B 파인튜닝)을 vLLM으로 서빙, BGE-M3 임베딩 + Milvus 벡터 DB로 환자 차트 RAG 검색. 모든 데이터는 병원 내부망에서만 처리.
Series A 펀딩 30억원으로 한국어 특화 30B 파라미터 LLM 사전학습 필요. H100 8-Way 서버는 대당 4억원 + 1년 대기열, 클라우드 시간당 임대는 펀딩의 80%를 소진하는 구조. 18개월 내 MVP 출시 압박.
MI250 서버 4대로 16-Way 클러스터 구성 (총 GPU 메모리 2,048GB). HDR 200G InfiniBand로 노드 간 연결, ROCm + PyTorch FSDP로 30B 모델 분산학습. GPU 전용 코로케이션(가비아) 입주.
연간 50만건 민원 응대 + 내부 규정·판례 문서 100만건 검색 자동화 필요. 공공기관 정보보안 정책상 외부 클라우드 사용 제한. 정부 멀티벤더 권장 정책에 따라 NVIDIA 단독 의존 회피.
MI250 서버 2대 (이중화 운영). 누리인프라 AICC 플랫폼(LangGraph 기반) 적용 — Voice ARS, Visual ARS, 챗봇 통합. Qwen3-32B + 내부 규정 RAG (Milvus + Neo4j 지식그래프). ROCm 오픈소스 = 멀티벤더 정책 부합.
한전 산업용(을) 고압A 단가 기준 — 추론 22만원/월, 학습 풀가동 32만원/월. H100 대비 전력비 1/3 수준.
| 구성요소 | 단위 | 수량 | 합계 |
|---|---|---|---|
| AMD MI250 OAM | 560W | 4 | 2,240W |
| AMD EPYC 7413 | 180W | 2 | 360W |
| DDR4 메모리 | 5W | ~24 | ~120W |
| NIC · SSD · 팬 · MB | — | — | ~180W |
| 최대 소비전력 (DC) | 약 2,900W |
PSU 96% 효율 적용 시 벽 콘센트 입력 약 3,020W. PSU 4×3000W는 2+2 이중화로 운영.
기본요금 별도: 7,220원/kW × 계약전력 · 냉방 포함 시 PUE 1.5 적용
| 시나리오 | 평균 부하 | 월 사용량 | 월 전기료 | 3년 누적 |
|---|---|---|---|---|
| 추론 위주 | 2.0 kW | 1,440 kWh | 약 22만원 | 약 790만원 |
| 표준 운영 | 2.5 kW | 1,800 kWh | 약 27만원 | 약 980만원 |
| 학습 풀가동 | 2.9 kW | 2,088 kWh | 약 32만원 | 약 1,150만원 |
본 서버 1대 = 약 3kW로 표준랙 한도 36% 초과 → 1대도 설치 불가. 일반 코로케이션 사용 중인 고객은 GPU 전용 상품 전환 또는 자체 서버룸 구축 필요. 누리인프라가 사전 협의로 적합한 데이터센터를 함께 찾아드립니다.
2026.5.11 ~ 6.30 한정 · 부가세 포함 · 배송비·설치비 옵션 별도 견적
홈페이지 또는 전화로 문의
당일전기·냉방·랙 환경 점검
1~3일본체 + 옵션 + 설치 견적서
2~5일표준 계약서 + 30% 선금
1~7일운송 + 랙 마운트 + 환경 구성
1~2주동작 검수 + 70% 잔금
1~3일계약 시 30% 선금 · 납품 검수 후 70% 잔금 · 세금계산서 발행
USED 장비 · 무상보증 3개월 · 데이터센터 호환성 사전 확인 필수
서버 공급부터 전력 설계, 설치, 운영 환경 구성까지 — 누리인프라가 함께합니다. 17년 IT 인프라 경험으로 검증된 파트너.
아래 내용을 작성해주시면 이규홍 부장(마케팅)이 직접 회신드립니다.