DGX Spark 한 대와 두 대 비교: 속도 표와 대기 시간 읽기
DGX Spark 두 대를 연결해 Qwen3.8-27B와 Qwen-Image-2.1을 한 대와 두 대에서 실행한 결과입니다. 분산 설정, 단독 요청 속도, 첫 응답 시간, 동시 요청, 이미지 생성 시간 다섯 단계로 비교했습니다.

세 줄로 먼저 읽기
- DGX Spark 두 대를 QSFP 케이블로 연결해도 한 작업을 나눠 계산하려면 SGLang 같은 실행 프로그램에 참여 장비 수와 텐서 병렬화 값을 따로 지정해야 합니다.
- 2026년 9월 23일 실험에서 Qwen3.8-27B는 두 대에서 초당 출력이 24~44% 늘었고 한국어 256토큰 완료 시간은 14.56초에서 11.00초로 줄었습니다.
- Qwen-Image-2.1의 1024픽셀 이미지 한 장은 SGLang 한 대 36.45초와 두 대 36.90초로 거의 같았고 같은 장비에서 Diffusers를 SGLang으로 바꾼 쪽이 29.9% 빨랐습니다.
DGX Spark 두 대를 케이블로 연결해 두고 이런 생각이 들었습니다. 이제 한 대에 작업을 요청하면 다른 한 대도 같이 계산할까요? 그렇다면 글쓰기나 이미지 생성도 두 배쯤 빨라질까요?
DGX Spark는 NVIDIA가 만든 소형 AI 컴퓨터입니다. 외부 AI 서비스에 요청을 보내는 대신, 장비 안에 모델을 내려받아 실행할 수 있습니다. 제가 쓰는 두 대는 NVIDIA Sync로 연결 설정을 마친 상태였습니다. NVIDIA Sync는 Spark에 원격으로 접속하고 장비 사이의 연결을 설정하는 도구입니다.
2026년 9월 23일, 두 장비에서 언어 모델과 이미지 모델을 각각 실행해 봤습니다. 언어 모델은 두 대에서 더 빨랐고, 이미지 생성은 한 대와 거의 차이가 없었습니다. 어떤 작업에 두 대가 맞는지부터 정리하면 아래와 같습니다. 근거는 이어지는 다섯 단계 비교에 있습니다.
이런 작업이라면 한 대, 이런 작업이라면 두 대
| 이런 경우 | ||
|---|---|---|
| 설정을 단순하게 유지하고 싶다 | 제공 | – |
| 언어 모델의 긴 답을 끝까지 빨리 받고 싶다 | – | 제공 |
| 글쓰기와 코드 요청을 동시에 처리한다 | – | 제공 |
| 첫 글자가 뜨는 시간을 줄이고 싶다 | 차이 없음 | 차이 없음 |
| 1024픽셀 이미지 한 장을 만든다 | 제공 | – |
1. 분산 설정: 케이블만으로는 함께 계산하지 않습니다
두 Spark는 QSFP 케이블로 연결했습니다. QSFP는 고속 네트워크 연결에 쓰는 단자 규격입니다. 연결 상태를 보니 두 포트 모두 200Gbps로 표시됐습니다. Gbps는 초당 10억 비트 단위이고, 이 숫자는 링크가 연결된 속도입니다. 모델이 실제로 주고받는 데이터의 속도는 이보다 낮을 수 있습니다.
NVIDIA Sync에서 연결을 마쳐도, Spark 1에서 실행한 프로그램이 Spark 2의 GPU를 자동으로 쓰지는 않습니다. GPU는 AI 계산을 맡는 칩입니다. 두 대가 한 작업을 나눠 하려면 모델 실행 프로그램에 참여할 장비와 계산을 나누는 방식을 지정해야 합니다. NVIDIA의 연결 점검 문서도 네트워크 설정과 AI 프로그램 실행을 따로 다룹니다.
이번에는 SGLang을 썼습니다. SGLang은 AI 모델을 메모리에 올리고 요청을 받아 답을 생성하는 프로그램입니다. 언어 모델에는 텐서 병렬화(TP)를 적용했습니다. 모델 내부의 큰 계산을 여러 GPU로 나누는 방식이고, TP=2는 GPU 두 개가 나눠 계산하도록 지정한 값입니다.
두 대에서 언어 모델을 나눠 실행하기까지
1. 네트워크 확인두 장비가 연결되고
서로 접속되는지
2. NCCL 통신 시험두 장비에서 보낸 값이
올바르게 합쳐지는지
3. 같은 파일 준비두 장비에 같은 모델 파일과
실행 소프트웨어 설치
4. SGLang 분산 설정장비 수 2, 장비 번호 0과 1
텐서 병렬화 값 2
5. 생성 요청통신 주소를 고속 연결로
지정한 뒤 요청
2번의 NCCL은 GPU 사이의 데이터 교환을 맡는 NVIDIA 라이브러리입니다. 5번에서는 SGLANG_HOST_IP 설정으로 각 장비가 쓸 주소를 고속 연결 쪽으로 지정해야 정상적으로 기동했습니다. 장비에 연결된 네트워크가 여러 개라면 프로그램이 어느 주소로 상대 장비와 통신하는지부터 봅니다.
이 단계에서는 한 대가 유리합니다. 두 대는 한 대에 없는 통신 시험과 분산 설정을 더 거쳐야 합니다.
2. 단독 요청 처리 속도: 두 대에서 24~44% 빨랐습니다
언어 모델은 Qwen3.8-27B를 썼습니다. Qwen은 알리바바가 개발하는 AI 모델 계열이고, 3.8은 버전입니다. 27B는 모델이 학습한 내부 수치인 파라미터가 약 270억 개라는 뜻입니다. 실제로 내려받은 모델은 원래 수치를 낮은 정밀도로 저장해 메모리 사용량을 줄인 양자화 배포본 RadixArk/Qwen3.8-27B-NVFP4이고, 이름 끝의 NVFP4는 NVIDIA의 저정밀 수치 형식입니다. 구성은 모델 배포 문서에 있습니다.
한 대와 두 대 모두 같은 모델과 생성 설정으로 실행했습니다.
| 항목 | 실험 조건 |
|---|---|
| 한국어 작성 | 동네 서점의 마케팅 실행안 작성 |
| 코드 생성 | Python으로 오래 쓰지 않은 항목부터 비우는 LRU 캐시와 테스트 코드 작성 |
| 긴 기록 요약 | 회의 기록을 반복해 만든 입력 4,629토큰 요약 |
| 출력 길이 | 요청당 최대 256토큰 |
| 생성 설정 | temperature 0, seed 42, 추론 모드 끔, DFlash2 가속 켬 |
| 반복 | 작업마다 3회 실행 후 중앙값 |
토큰은 모델이 글을 처리하는 단위이고 한 글자나 한 단어와 항상 같지는 않습니다. temperature는 답의 무작위성을 정하는 값이고 seed는 생성에 쓰는 난수의 초기값입니다. DFlash2는 작은 보조 모델이 다음 토큰을 먼저 제안하고 본 모델이 검증하는 생성 가속 방식으로, 두 구성 모두 켜 두었습니다. 중앙값은 측정값을 순서대로 놓았을 때 가운데 값입니다.
아래 속도(token/s)는 출력 토큰 수를 요청부터 완료까지 걸린 전체 시간으로 나눈 값입니다. 첫 답을 기다린 시간이 들어 있어서, 답이 나오기 시작한 뒤의 생성 속도만 측정한 수치보다 낮게 나옵니다.
요청을 하나씩 보냈을 때 초당 출력 토큰(중앙값)
코드 생성은 같은 장비와 모델에서도 한국어 작성보다 네 배쯤 빨랐습니다. 대수와 상관없이 작업 종류에 따라 속도가 크게 달라진다는 점도 위 막대에서 드러납니다.
속도가 32% 늘었다고 기다리는 시간이 32% 줄지는 않습니다. 한국어 작성에서 같은 256토큰을 받는 데 걸린 시간으로 다시 계산하면 이렇습니다.
한국어 작성 256토큰, 속도 증가율과 시간 감소율
32.3%초당 출력 증가(23.28 - 17.59) ÷ 17.59
24.5%완료 시간 감소14.56초에서 11.00초로
출력이 256토큰에서 끊기므로 이 비교는 완성된 글이나 코드의 품질이 아니라 속도만 보여 줍니다. 짧은 계산, 함수 실행, 지정한 도구 호출 시험은 두 구성 모두 통과했습니다.
이 단계에서는 두 대가 유리합니다. 세 작업 모두 두 대에서 빨랐지만, 증가 폭은 두 배에 못 미치는 24~44%였습니다.
3. 첫 응답 시간: 차이가 없었습니다
요청을 보내고 첫 글자가 화면에 나타나기까지 걸린 시간은 다른 결과를 보였습니다.
요청부터 첫 응답까지 걸린 시간(중앙값)
한국어 작성은 0.01초 빨라졌고 긴 기록 요약은 0.01초 늦어졌습니다. 두 대 구성의 이점은 첫 답이 빨리 뜨는 데가 아니라 요청한 분량을 다 받는 시간이 줄어든 데 있었습니다.
이 단계에서는 한 대와 두 대가 같습니다. 사람이 체감할 만한 차이가 없습니다.
4. 동시 요청: 두 작업 모두 두 대에서 빨랐습니다
이번에는 한국어 작성 하나와 코드 생성 하나를 함께 보냈습니다. 아래 수치는 시스템 전체 처리량이 아니라 각 요청의 처리 속도입니다. 전체 처리량을 구하려면 두 요청이 함께 돌아간 구간 동안 완료한 출력량을 그 구간의 시간으로 나눠야 하므로, 두 막대의 값을 더해서는 구할 수 없습니다.
두 요청을 함께 보냈을 때 요청별 초당 출력 토큰(중앙값)
한 대도 두 요청을 처리했지만, 하나씩 보낼 때보다 각각의 속도가 낮아졌습니다. 한국어 작성은 17.59에서 16.31 token/s로, 코드 생성은 71.70에서 58.80 token/s로 내려갔습니다.
이 단계에서는 두 대가 유리합니다. 두 작업을 함께 돌려도 두 대에서는 각 요청이 한 대의 단독 실행보다 빨랐습니다.
5. 이미지 한 장 생성 시간: 대수보다 실행 환경의 차이가 컸습니다
이미지 모델은 Qwen 계열의 이미지 생성 및 편집 모델인 Qwen-Image-2.1을 썼고, 문장으로 그림을 만드는 기능만 시험했습니다. 모델과 실행 예제는 공식 저장소에 공개돼 있습니다.
일반 사물 이미지, 한국어 포스터, 투명 배경 로봇을 두 번씩 요청해 구성마다 6장, 네 구성에서 모두 24장을 만들었습니다. 크기는 1024×1024픽셀, 이미지를 다듬는 반복 계산은 40단계, seed는 42로 맞췄습니다. 모델을 처음 불러오는 시간과 예열 실행은 생성 시간에서 뺐습니다. 예열은 본 측정 전에 미리 한 번 실행해 준비하는 과정이어서, 프로그램을 처음 켠 사람이 기다리는 시간은 아래 값보다 깁니다.
위 그림은 SGLang 한 대에서 빨간 머그잔과 초록 식물, 파란 공책을 요청해 만든 실제 결과입니다.
실행 방법은 Diffusers와 SGLang을 비교했습니다. Diffusers는 이미지 생성 모델을 Python 코드에서 실행하게 해 주는 라이브러리입니다. 두 대를 쓰는 SGLang에는 시퀀스 병렬화(SP)를 적용했습니다. 이미지 한 장을 만드는 계산 중 시퀀스에 해당하는 부분을 여러 GPU가 나눠 처리하는 방식이고, 두 GPU로 나누는 SP=2 구성을 썼습니다.
1024픽셀 이미지 한 장 생성 시간(중앙값)
SGLang 한 대와 두 대는 0.45초 차이로, 두 대로 한 장을 더 빨리 만드는 효과는 나타나지 않았습니다. 같은 Spark 2에서 실행 환경을 Diffusers에서 SGLang으로 바꿨을 때는 51.97초가 36.45초로 약 29.9% 줄었습니다.
이 29.9%에는 실행 프로그램 말고 다른 차이도 들어 있습니다. 두 환경은 AI 계산 기반인 PyTorch의 버전이 달랐고, 시간을 측정한 범위도 달랐습니다. Diffusers는 GPU 계산 완료까지, SGLang은 요청 응답과 PNG 이미지 변환까지 포함한 시간입니다.
이 단계에서는 한 대와 두 대가 같습니다. 이번 실험에서는 대수를 늘리는 것보다 한 대의 실행 환경을 바꾼 쪽이 생성 시간을 더 많이 줄였습니다.
단계별 판정과 두 대의 쓰임
다섯 단계의 판정을 모으면 아래와 같습니다.
단계별로 유리한 구성
| 비교 단계 | ||
|---|---|---|
| 1. 분산 설정 | 제공 | – |
| 2. 단독 요청 처리 속도 | – | 제공 |
| 3. 첫 응답 시간 | 같음 | 같음 |
| 4. 동시 요청 | – | 제공 |
| 5. 이미지 한 장 생성 | 같음 | 같음 |
두 대를 쓰는 목적도 나눠서 봐야 합니다. 한 요청을 빨리 끝내는 것, 여러 요청을 동시에 처리하는 것, 한 대의 메모리에 들어가지 않는 큰 모델을 실행하는 것은 서로 다른 문제입니다. 이번 실험은 첫 번째를 중심으로 하고 동시 요청 일부를 함께 봤습니다.
지금의 이미지 설정이라면 저는 두 대가 한 장을 나눠 그리게 묶기보다, 각 장비가 한 장씩 따로 만들거나 한 대는 언어 모델, 다른 한 대는 이미지 모델을 맡는 구성을 다음에 비교해 보려고 합니다.
두 대를 연결한 다음에는 쓰는 프로그램이 실제로 계산을 나누는지, 그리고 내가 기다리는 시간이 줄었는지를 봐야 합니다. 이번 결과에서 얻은 판단 기준 중 가장 구체적인 것이 이 두 가지입니다.
측정 기록과 적용 범위
실험일은 2026년 9월 23일이고, 이 글의 수치와 공식 문서는 9월 24일에 대조했습니다.
이번 실험의 측정 규모
30회언어 모델 속도 요청한 대와 두 대 각 15회
24장이미지 생성네 구성 각 6장
3회언어 모델 조건별 반복중앙값으로 비교
언어 모델 요청 30회는 단독 요청 세 종류와 한국어, 코드 동시 요청을 한 대와 두 대에서 각 3회씩 실행한 수입니다. 속도 증가율은 표의 소수 둘째 자리 값으로 다시 계산해 소수 첫째 자리까지 적었습니다. 언어 모델은 SGLang의 Qwen3.8용 개발 버전과 qwen38-dflash2:v1.2.3 실행 환경에서 돌렸습니다.
반복은 조건마다 3회였고, 긴 기록 요약의 입력은 실제 긴 회의록이 아니라 회의 기록을 반복해 만든 문장입니다. 그래서 이 수치는 이 모델과 이 설정의 결과로 보고, 다른 모델이나 업무 전반의 성능으로 넓히지 않습니다.
직접 측정한다면 모델 파일과 실행 프로그램의 버전, 출력 길이, 가속 기능, 예열 여부를 함께 기록하고, 첫 요청과 예열 뒤 요청, 잘린 요청과 정상 완료한 요청을 나눠 보관합니다. 프로그램이 시작되지 않으면 네트워크 연결과 모델 실행을 따로 확인하고, 장비 번호와 통신 주소, 양쪽의 모델과 프로그램 버전을 차례로 대조합니다.
두 대의 구매비, 전력 사용량, 관리 시간은 이번 속도 표에 들어 있지 않습니다. 필요한 작업의 품질과 시간을 먼저 정하고 한 대의 설정부터 비교하면, 두 번째 장비가 필요한 이유를 숫자로 설명할 수 있습니다.
Sources
- NVIDIA Sync 클러스터 네트워크 점검 문서
- RadixArk/Qwen3.8-27B-NVFP4 모델 배포 문서
- LMSYS DFlash v2 소개
- Qwen-Image-2.1 공식 저장소
3줄 요약
-
DGX Spark 두 대를 QSFP 케이블로 연결해도 한 작업을 나눠 계산하려면 SGLang 같은 실행 프로그램에 참여 장비 수와 텐서 병렬화 값을 따로 지정해야 합니다.
-
2026년 9월 23일 실험에서 Qwen3.8-27B는 두 대에서 초당 출력이 24~44% 늘었고 한국어 256토큰 완료 시간은 14.56초에서 11.00초로 줄었습니다.
-
Qwen-Image-2.1의 1024픽셀 이미지 한 장은 SGLang 한 대 36.45초와 두 대 36.90초로 거의 같았고 같은 장비에서 Diffusers를 SGLang으로 바꾼 쪽이 29.9% 빨랐습니다.

제대로 이해했는지 한 문제로 확인해 볼까요?
답을 고르면 바로 풀이가 나와요.
이번 실험 조건에서 Qwen-Image-2.1의 생성 시간을 줄이려면 무엇부터 비교하는 것이 적절할까요?

새 글과 AI 소식을 메일로 받아 보세요
AI가 바꾸는 일과 도구, 측정 실무 이야기를 매주 한 번 보내 드려요.
이 글이 도움이 되었나요?
내 컴퓨터에서 AI를 돌릴 때 필요한 하드웨어, 모델 크기, 실행 도구를 순서대로
코스 전체 보기 →