DGX 스파크와 RTX 5090 비교: 로컬 AI 메모리와 비용 읽는 법

로컬 AI는 모델을 내 컴퓨터에서 실행하는 방식입니다. DGX 스파크는 완제품 컴퓨터이고 RTX 5090은 PC에 꽂는 그래픽카드이므로 가격과 메모리 숫자만으로 우열을 정하기 어렵습니다. 이 글은 DGX 스파크의 128GB 구성을 중심으로 비교합니다. 현재 공식 페이지에는 별도의 64GB 파트너 구성도 예고돼 있으니 제품 이름만 보고 용량을 같다고 생각하지 않습니다.

GPU는 AI 계산을 빠르게 처리하는 장치이며, GPU가 전용으로 쓰는 메모리를 VRAM이라고 부릅니다. DGX 스파크의 통합 메모리는 CPU와 GPU가 함께 쓰는 공간입니다. PC의 RAM 32GB와 그래픽카드의 VRAM 32GB도 서로 다른 항목입니다.

첫 단계: 장비 없이 필요한 메모리 계산하기

메모장에 모델 이름 / 전체 파라미터 / 저장 형식 / 가중치 파일 크기 / 실행 도구 / 입력 길이 / 동시 요청 수를 적습니다. 파라미터는 모델이 학습한 수치이며, 저장된 수치들을 가중치라고 부릅니다. B는 10억 개를 뜻합니다. 아직 정하지 못한 항목은 ‘미정’으로 남겨도 됩니다.

27B 모델의 모든 가중치를 4비트로 저장한다고 가정하면 27 × 0.5 = 13.5GB입니다. 4비트는 0.5바이트이기 때문입니다. 여기서는 GB를 10억 바이트로 계산합니다. 도구가 GiB로 표시하면 단위가 달라 같은 용량의 숫자가 조금 작게 보입니다. 이것은 가중치만의 단순 계산이며 13.5GB 메모리에서 실행된다는 뜻은 아닙니다. 저장 형식을 줄이는 양자화에는 부가 정보가 필요하고, 일부 값은 더 높은 정밀도로 남을 수 있습니다.

두 번째로 Qwen3.5 397B-A17B를 계산하면 397 × 0.5 = 198.5GB입니다. 이름의 A17B는 한 번의 계산에 활성화되는 부분을 뜻하므로 전체 저장 용량 계산에 17을 넣지 않습니다. 128GB 한 대에는 이 가중치 전체를 담기 어렵다는 것까지 판단할 수 있습니다.

기록을 저장했다가 다시 열어 두 결과가 13.5GB와 198.5GB인지 확인합니다. 맞지 않으면 B를 10억으로 바꿨는지, 4비트를 4바이트로 계산하지 않았는지 살펴봅니다. 다음에는 같은 27B를 8비트로 가정해 27GB가 되는지 계산합니다. 장비 구매나 모델 다운로드는 이 연습에 필요하지 않습니다.

실제 실행 과정은 Qwen3.8 27B 로컬 실행 글에서 별도로 다룹니다. 그 글의 맥 환경을 RTX나 DGX에 그대로 적용하지 말고 실행 도구의 운영체제와 하드웨어 지원을 확인합니다.

위 이미지는 엔비디아가 DGX 스파크 출시 때 공개한 사진입니다. 본체는 가로세로 150mm에 높이 50.5mm, 무게 1.2kg이고, 사진은 이 본체를 노트북에 연결해 쓰는 모습입니다.

제품 종류와 사양 비교

아래는 공식 제품 페이지와 2026년 9월 발표를 기준으로 한 비교입니다. RTX 스파크는 9월 발표에서 10월 출시를 예고한 PC 계열이며, 구입 가능한 모델의 세부 사양과 출하 여부는 제조사별로 확인합니다.

DGX 스파크 128GB의 용량은 RTX 5090의 네 배지만 운영체제도 그 공간을 사용합니다. DGX 스테이션의 748GB도 전부 같은 속도의 GPU 메모리는 아닙니다. GPU의 252GB와 CPU의 496GB를 합한 값입니다. TOPS와 페타플롭은 연산량 단위이고, FP4 같은 정밀도와 계산 조건이 달라 숫자를 그대로 속도 배수로 비교하지 않습니다.

DGX 스파크 파운더스 에디션은 공식 가격 변경 안내에서 3,999달러에서 4,699달러로 조정됐습니다. RTX 5090의 1,999달러는 미국 출시 기준 가격입니다. 현지 세금, 유통 가격과 PC 나머지 부품을 더해야 구매 비용을 비교할 수 있습니다.

전력 표의 240W는 어댑터 정격이고 1,000W는 RTX 5090을 넣는 PC의 권장 전원장치 조건입니다. 두 값은 실제 소비 전력이 아닙니다. 월 전기 사용량은 콘센트에서 측정한 평균 전력과 가동 시간으로 계산합니다. 가령 평균 100W로 하루 8시간씩 30일 사용했다면 100 ÷ 1,000 × 8 × 30 = 24kWh입니다. 가상의 소비량 예이며 실제 전기요금은 계약과 요금 구간에 따라 다릅니다.

메모리 용량과 대역폭이 정하는 것

모델 전체를 GPU 메모리에 올리면 CPU 메모리와 오가는 일을 줄일 수 있습니다. 전부 담지 못해도 일부를 CPU 메모리로 옮기는 오프로딩을 지원하는 도구가 있지만 속도와 지원 범위가 달라집니다. 따라서 ‘GPU 메모리에 전부 담기 어렵다’와 ‘어떤 방법으로도 실행할 수 없다’를 구분합니다.

다운로드한 파일 크기는 저장장치에서 차지하는 용량입니다. 실행 중에는 가중치 외에 대화 상태를 보관하는 KV 캐시, 실행 프로그램의 작업 공간, 운영체제의 여유 메모리가 필요합니다. 긴 입력과 동시 요청을 늘리면 추가 사용량도 커질 수 있습니다. 고정 비율 하나를 더해 모든 모델의 실행 용량을 확정하지 않습니다.

대역폭은 메모리에서 데이터를 옮기는 속도입니다. RTX 5090의 1,792GB/s와 DGX 스파크의 273GB/s는 약 6.6배 차이지만 응답이 6.6배 빠르다는 뜻은 아닙니다. 모델 구조, 저장 형식과 실행 도구도 영향을 줍니다.

MoE는 여러 전문가 부분 중 일부를 선택해 계산하는 모델 구조입니다. 397B-A17B의 전체 397B는 저장 용량을, 활성 17B는 계산 부담을 가늠하는 데 쓰지만 두 숫자만으로 실제 속도를 정할 수는 없습니다.

첫 응답과 답변 완료 시간을 따로 봅니다

답변 과정은 입력을 처리하는 프리필(prefill)과 출력 토큰을 만드는 디코드(decode)로 나눌 수 있습니다. 토큰은 모델이 글을 처리하는 단위입니다. 프리필에서는 연산 성능, 디코드에서는 메모리 대역폭의 영향이 큰 경우가 많지만, 모든 구조와 동시 요청 조건에서 같은 병목이 생기지는 않습니다.

이미 장비와 로컬 모델이 있다면 같은 가상 자료로 비교합니다. 월요일 3건, 화요일 5건을 처리했다. 합계와 일평균을 계산해 줘.라는 질문의 예상 답은 합계 8건, 일평균 4건입니다. 같은 모델 버전, 저장 형식과 출력 길이를 사용해 세 번 반복하고, 처음 모델을 불러오는 시간은 따로 기록합니다. 빠른 답이 틀리면 성공으로 집계하지 않습니다. 추론 과정이 먼저 표시되는 모델은 첫 출력 시간과 최종 답변 시작 시간을 구분합니다. 다음에는 화요일을 7건으로 바꿔 합계 10건, 일평균 5건인지 확인하고 기존 기록 아래에 저장합니다.

메모리 부족 오류가 나면 다른 모델을 종료하고 입력 길이나 동시 요청 수를 줄여 다시 확인합니다. 그래도 실패하면 더 작은 모델이나 지원되는 양자화 파일을 선택합니다. 지원하지 않는 모델/형식 오류라면 메모리 증설 전에 실행 도구의 지원 목록과 버전을 확인합니다.

Qwen과 GLM의 가중치 용량을 비교하는 예

아래 계산은 전체 파라미터를 모두 4비트로 저장한다는 가정입니다. 모델 카드는 제작자가 모델 구조와 사용법을 설명하는 페이지입니다. 실제 배포 파일의 정밀도와 크기는 그 페이지의 Files에서 확인합니다. 표는 장비별 실행 시험 결과가 아닙니다.

Flash-Next의 임베딩은 단어 등의 정보를 저장하는 부분이고 MTP는 여러 토큰 예측에 쓰는 추가 부분입니다. 이름 앞의 125B만 곱하면 저장 용량을 작게 잡게 됩니다. 모델의 실제 배포 파일이 추가 부분을 어떤 정밀도로 포함하는지도 확인합니다.

이론값이 메모리보다 작다는 이유로 실행을 보장할 수 없습니다. 예를 들어 GLM-4.5 Air를 32GB 카드 두 장에 올리는 구상은 합계 64GB 중 53GB를 가중치만으로 사용한다는 계산에서 시작합니다. 양자화 부가 정보와 실행 상태가 더해지므로 남은 용량과 카드별 배분을 확인해야 합니다. 라이선스도 모델마다 다르므로 선택한 버전의 모델 카드에서 사용 조건을 읽습니다.

위 카드가 RTX 5090 파운더스 에디션입니다. 전용 메모리는 32GB이고, 대역폭 1,792GB/s는 위에서 비교한 RTX PRO 6000과 같습니다. 사진의 크기만으로 PC 안에 설치할 수 있는지 판단하지 말고 구매할 카드의 치수를 확인합니다.

여러 대 묶기: DGX 스파크 연결과 RTX 다중 GPU

한 대로 모자랄 때 늘리는 방법이 두 계열에서 다릅니다.

DGX 스파크는 고속 네트워크로 본체를 연결할 수 있습니다. ConnectX-7은 내장 네트워크 장치이며 표시 속도는 200Gbps입니다. 현재 공식 페이지는 128GB 두 대를 합친 256GB에서 최대 400B, 네 대의 512GB에서 최대 700B 규모를 안내합니다. 특정 모델을 모든 설정에서 실행한다는 보장은 아닙니다.

케이블만 연결하면 하나의 메모리가 되는 것은 아닙니다. vLLM이나 llama.cpp 같은 실행 프로그램이 모델을 나누고 장비 사이의 통신을 처리해야 합니다. 지원되는 모델, 운영체제, 양자화와 프로그램 버전을 맞춥니다.

RTX 5090은 NVLink를 지원하지 않지만 여러 GPU에 모델을 나눌 수 있습니다. NVLink는 GPU 사이를 연결하는 전용 기술이며, RTX 5090 구성에서는 PCIe와 지원되는 소프트웨어 병렬 방식을 사용합니다. vLLM도 여러 GPU와 여러 컴퓨터에 걸친 실행을 문서로 안내합니다. 따라서 분산 실행이 DGX만의 기능은 아닙니다. PCIe는 PC 내부 부품의 연결 규격이고, 여러 카드를 쓸 때는 메인보드 슬롯, 전원, 냉각과 통신 지원까지 확인합니다.

RTX PRO 6000은 한 장이 96GB라서 여러 장을 묶기 전에 단일 카드로 해결되는 범위가 넓습니다. 워크스테이션용이라 한 본체에 여러 장을 꽂는 구성이 흔하고, 그때도 PCIe 5.0으로 통신합니다.

NVIDIA PAIR는 성격이 다릅니다. 엔비디아가 IFA에서 공개한 무료 오픈소스 도구인데, 같은 네트워크의 PC들에 서로 다른 추론 요청을 나눠 보내는 방식입니다. 하나의 큰 모델을 여러 대에 걸쳐 올리는 것이 아니라, 각 PC가 따로 돌리는 모델에 요청을 분배하는 구조입니다. RTX 20 시리즈 이상과 DGX 스파크, 애플 M4 이상을 지원한다고 발표됐습니다. 그래서 큰 모델 하나를 쪼개는 용도로는 쓸 수 없고, 작은 모델 여러 개를 동시에 돌릴 때 유휴 PC를 활용하는 용도입니다.

한 모델을 나누는 방식과 여러 요청을 나누는 방식은 목적이 다릅니다. 전자는 큰 모델을 담기 위한 것이고 후자는 여러 작업의 대기 시간을 줄이기 위한 것입니다. 어느 쪽도 연결한 장비 수만큼 속도가 늘어난다고 보장하지 않습니다.

용도별로 먼저 확인할 구성

DGX 스파크의 공식 ‘최대 70B 미세조정’ 안내도 학습 방법과 설정을 확인해야 합니다. 70B 전체 가중치를 모든 정밀도에서 학습할 수 있다는 뜻으로 확대하지 않습니다. 이미 가진 PC에서 작은 모델을 써 보고 부족한 점을 기록하면 필요한 업그레이드 범위를 좁힐 수 있습니다.

위 이미지는 DGX 스테이션과 DGX 스파크의 크기 차이를 보여 줍니다. 왼쪽 아래의 작은 상자가 DGX 스파크이고, 오른쪽 타워가 748GB 메모리를 가진 DGX 스테이션입니다.

집에서 계속 실행하는 컴퓨터로 쓸 때

집 컴퓨터에서 모델을 실행하고 노트북이나 스마트폰으로 접속하는 구성도 가능합니다. 원격 연결과 tmux 설정은 맥 환경의 예이며, DGX의 리눅스나 윈도우 PC에서는 해당 환경의 연결 방법을 확인합니다.

작은 모델과 큰 모델을 별도 장비에 배치할 수 있지만 처음부터 두 대를 구매할 필요는 없습니다. 현재 장비에서 시간이 오래 걸리는 작업과 메모리가 부족한 작업을 구분해 적습니다. 새 장비 비용에는 그래픽카드 외의 PC 부품, 저장장치, 케이블과 운영 시간을 포함합니다. 클라우드와 비교할 때도 같은 품질의 작업을 한 달에 얼마나 처리하는지 기준을 맞춥니다.

여러 대를 상시 운영할 때 더 필요한 것

한 대로 모델을 띄워 보는 것과 여러 대를 24시간 돌리는 것은 준비물이 다릅니다. 장비를 늘리면 모델을 어디에 올릴지 정하는 문제 말고도 몇 가지가 따라옵니다.

• 모델 서빙: 가중치를 올리고 요청을 받는 부분입니다. 모델을 나누는 병렬 실행과 여러 요청을 묶는 배칭은 다른 기능입니다. 원하는 방식이 실행 프로그램에서 지원되는지 확인합니다.
• 진입점 하나로 묶기: 장비가 늘면 주소도 늘어납니다. 여러 모델을 OpenAI 호환 주소 하나로 모아 두면 도구 쪽에서는 주소를 바꾸지 않아도 됩니다. 무료 LLM API를 묶는 방식과 구조가 같고, 대상이 외부 업체가 아니라 집 안의 장비라는 점만 다릅니다.
• 화면: 터미널로만 쓰지 않는다면 웹 화면이 따로 필요합니다. Open WebUI처럼 여러 모델을 골라 쓸 수 있는 화면을 붙이는 구성이 흔합니다.
• 관측: 어느 장비가 얼마나 바쁜지, 언제 메모리가 모자랐는지 남지 않으면 문제가 생겨도 원인을 찾기 어렵습니다.
• 외부 접근: 밖에서 쓰려면 통로가 필요합니다. 준이아빠블로그에서 쓰는 방식은 테일스케일로 연결하는 구성에 정리해 두었습니다.

장비를 늘리기 전에 한 대에서 모델 시작, 질문 응답, 프로그램 종료와 다시 시작을 확인합니다. 여러 대의 구성에서는 어느 장비에서 오류가 났는지와 모델을 다시 불러오는 순서까지 기록해야 합니다.

두 대를 연결하면 속도도 두 배가 되나요?

아닙니다. 모델을 나눠 담을 수 있는 용량과 처리 속도는 별개입니다. 통신과 동기화에 시간이 들며, 각 단계에서 필요한 데이터만 주고받는 방식도 실행 도구에 따라 다릅니다. 큰 모델 전체를 매 토큰마다 전송한다고 이해할 필요는 없습니다.

RTX 5090 두 장과 DGX 스파크 한 대 중 무엇을 고르나요?

카드 두 장의 전용 메모리 합계는 64GB이고, 여기서 비교하는 DGX 스파크의 통합 메모리는 128GB입니다. 모델 파일과 실행 상태가 들어가는지 먼저 확인한 뒤 같은 작업을 비교합니다. 합계 용량만으로 어떤 모델의 실행이나 속도를 확정하지 않습니다.

DGX 스테이션은 개인용으로 적합한가요?

GPU와 CPU 메모리를 합쳐 748GB가 필요한 작업이라면 검토할 수 있지만, 시스템 전력 사양과 설치 환경, 파트너 견적을 함께 확인해야 합니다. 작은 모델 학습이나 대화를 시작하는 분에게 필요한 기본 장비는 아닙니다.

Sources

• NVIDIA DGX Spark 공식 가격 변경 안내

• NVIDIA 공식 페이지: DGX Spark

• NVIDIA 공식 페이지: DGX Station

• NVIDIA 보도자료: NVIDIA DGX Spark Arrives for World's AI Developers

• NVIDIA 공식 페이지: GeForce RTX 5090

• NVIDIA GeForce 뉴스: RTX 50 시리즈 발표

• NVIDIA 공식 페이지: RTX PRO 6000 Blackwell

• NVIDIA 공식 블로그: Local AI at IFA 2026 (NVIDIA PAIR, RTX Spark)

• Hugging Face: Qwen/Qwen3.8-27B

• Hugging Face: Qwen/Qwen3.5-397B-A17B

• Hugging Face: Qwen/Qwen3.8-Flash-Next

• Hugging Face: zai-org/GLM-5.3

• Hugging Face: zai-org/GLM-5.3-Flash

• Hugging Face: zai-org/GLM-4.5-Air

• vLLM 공식 문서: Parallelism and Scaling

• llama.cpp 공식 저장소: RPC 백엔드

3줄 요약

1. DGX 스파크 128GB는 큰 모델을 담을 여유가 있고 RTX 5090은 32GB GPU 메모리와 높은 대역폭을 가진 카드입니다.

2. 파라미터 수로 구한 4비트 가중치 용량에 대화 상태, 실행 프로그램과 운영체제의 메모리까지 더해 실행 가능성을 판단합니다.

3. 장비 가격만 비교하지 말고 PC 전체 구성, 전력 실측과 내 작업의 첫 응답 및 완료 시간을 함께 확인합니다.