Qwen3.8 27B 로컬 실행 결과: 24GB 맥에서는 CPU로 떨어집니다

Qwen3.8 27B를 내려받기 전에 확인할 것

내 컴퓨터에서 도는 AI 모델이 늘고 있습니다. 클라우드에 보내지 못하는 자료를 다룰 때, 또는 토큰 요금 없이 계속 돌려야 할 때 쓰는 방식입니다.

문제는 사양입니다. 모델 파일 크기와 내 컴퓨터 메모리를 견주면 될 것 같지만, 그 계산이 맞지 않습니다. 파일이 메모리보다 작아도 GPU에 올라가지 못하는 경우가 있습니다.

“

Qwen3.8 27B는 알리바바 Qwen 팀이 2026년 8월 공개한 Apache 2.0 오픈 웨이트 모델입니다. 가중치를 내려받아 자기 컴퓨터에서 제한 없이 실행할 수 있습니다.

메모리 24GB 맥미니 M4 프로에 직접 설치해 돌려 봤습니다. 결론부터 적으면 이 기기에서는 GPU가 아니라 CPU에서 실행됐고, 실용적인 속도가 나오지 않았습니다. 18GB를 내려받기 전에 알면 시간을 아낄 수 있는 내용이라 측정한 값을 그대로 정리했습니다.

Qwen3.8 27B가 어떤 모델인지

같은 이름을 쓰는 모델이 둘이라 먼저 구분하겠습니다. 준이아빠블로그에서 앞서 다룬 Qwen3.8-Max (Max 사양과 가격 바로가기)와는 다른 모델입니다.

Apache 2.0은 가중치를 내려받아 고치고 상업적으로 써도 되는 라이선스입니다. 자체 서버에 올려 쓰는 선택지가 열린다는 뜻이라, 클라우드에 자료를 보내기 어려운 곳에서 볼 만한 모델이라고 할 수 있습니다.

공식 모델 카드에 적힌 사양은 이렇습니다.

벤치마크는 SWE-bench Pro 61.7, GPQA Diamond 89.2, OSWorld 84.3으로 발표됐습니다. 알리바바가 직접 낸 수치이므로 참고용으로만 봅니다.

설치와 내려받기

Ollama를 쓰면 명령 두 줄로 끝납니다. Ollama는 로컬 모델을 내려받아 실행해 주는 프로그램입니다.

다른 터미널 창에서 모델을 받습니다.

18GB를 받는 동안 기다립니다. 이 컴퓨터에서는 40분쯤 걸렸습니다. 회선에 따라 달라집니다.

받고 나면 목록에 나옵니다. 표시 크기는 17GB입니다.

모델이 어떤 기능을 갖췄는지는 ollama show로 봅니다. 이미지를 읽는 기능(vision)과 도구 호출(tools), 생각 과정(thinking)이 함께 들어 있고, 라이선스가 Apache 2.0으로 적혀 있습니다.

실행하자 CPU로 떨어졌습니다

여기서 예상과 다른 일이 생겼습니다. 모델을 올린 뒤 ollama ps로 확인하니 실행 장치가 CPU였습니다.

PROCESSOR 열의 100% CPU가 그 표시입니다. 애플 실리콘에서 GPU를 쓰고 있으면 이 열에 GPU라고 나옵니다.

실행 기록을 열어 보면 모델 전체가 CPU 쪽으로 올라간 것이 보입니다.

이미지를 읽는 모듈(CLIP)까지 CPU로 갔습니다.

왜 24GB로 모자랐는지

메모리가 24GB인데 모델이 17GB이니 7GB가 남는 것처럼 보입니다. 그런데 그 7GB를 모델이 다 쓸 수 있는 것은 아닙니다.

애플 실리콘은 메모리 하나를 CPU와 GPU가 나눠 씁니다. 창고 하나를 두 사람이 함께 쓰되 한쪽이 채울 수 있는 칸수가 정해져 있듯, macOS는 GPU에 내줄 수 있는 몫에 한도를 둡니다. 기본값은 대략 전체의 75%이고, 24GB 기기에서는 약 18GB입니다.

여기에 실제로 필요한 양을 더해 보면 이렇습니다.

18GB 한도에 17GB가 들어가니 될 것 같지만, 여유가 거의 없어 실제로는 들어가지 못했습니다.

여기서 확인해 둘 점이 있습니다. 모델이 한도를 넘긴 만큼만 CPU로 가는 것이 아닙니다. 창고 칸이 하나라도 모자라면 짐을 통째로 다른 곳에 두게 되듯, 한도를 넘으면 모델 전체가 CPU에서 실행됩니다. 조금 모자란 것과 많이 모자란 것의 결과가 같습니다.

실제로 잰 속도

CPU에서 도는 27B 모델이 얼마나 느린지 재 봤습니다. 질문은 1+1은? 한 줄이고, 생각 과정을 끄고 출력을 40토큰으로 제한한 조건입니다.

한 문장을 답하는 데 3분 38초가 걸렸습니다. 초당 0.08토큰이면 300토큰짜리 답변 하나에 한 시간이 넘습니다.

앞서 생각 과정을 켜고 세 문장짜리 한국어 질문을 던졌을 때는 10분을 기다려도 답이 나오지 않아 중간에 멈췄습니다. 실무에 쓸 수 있는 속도가 아닙니다.

더 작은 것으로 맞출 수 없는 이유

보통은 양자화를 낮춰 파일 크기를 줄입니다. 이 모델에는 그 방법이 없습니다.

Ollama에 올라온 27B 계열 태그를 보면 가장 작은 것이 18GB입니다.

기본 태그가 이미 Q4_K_M입니다. 더 줄인 태그가 없습니다. Qwen3.8은 27B 한 가지 크기로만 나와 있어서 같은 계열의 더 작은 모델로 바꾸는 선택지도 없습니다.

그래서 어떤 기기가 필요한가요?

측정한 기기가 한 대뿐이라 단정하기는 어렵습니다. 다만 나온 값으로 추정하면 이렇게 볼 수 있습니다.

macOS의 GPU 할당 한도는 sysctl 설정으로 올릴 수 있다고 알려져 있습니다. 다만 이 글에서는 확인하지 않았으므로 된다고 적지 않겠습니다. 시스템 설정을 바꾸는 일이라 되돌리는 방법까지 알고 하시는 편이 안전합니다.

그러면 24GB 맥에서는 로컬 모델을 못 쓰나요?

27B급이 어려울 뿐입니다. 파일 크기가 GPU 한도 안에 넉넉히 들어가는 모델이라면 같은 기기에서도 GPU로 실행될 것으로 보입니다. 다만 이번에는 27B만 측정했으므로 다른 크기의 결과는 확인하지 않았습니다.

판단 기준을 하나로 정리하면 이렇습니다. 모델 파일 크기가 기기 메모리의 절반을 넘으면 내려받기 전에 확인합니다. 24GB 기기에서는 12GB 안쪽이 무난한 편입니다.

클라우드 대신 로컬 모델을 쓰는 경우는 언제인가요?

속도만 놓고 보면 클라우드 쪽이 앞섭니다. 그런데도 로컬을 보는 이유가 있습니다.

• 밖으로 내보내면 안 되는 자료를 다룰 때입니다. 계약서, 고객 명단, 사내 문서가 여기 해당합니다.
• 같은 작업을 아주 많이 반복할 때입니다. 토큰 요금이 쌓이는 구간에서는 전기값이 더 쌉니다.
• 인터넷이 끊긴 곳에서 써야 할 때입니다.

이 세 가지에 해당하지 않으면 클라우드 쪽이 편합니다. 코덱스 CLI나 클로드 코드를 쓰는 방법은 코덱스 CLI 사용법 (빈 폴더에서 도구 만들기 바로가기)과 두 도구 비교 (같은 일을 시켜 비교한 결과 바로가기)에 정리해 두었습니다.

3줄 요약

• Qwen3.8 27B는 알리바바 Qwen 팀이 2026년 8월 공개한 Apache 2.0 오픈 웨이트 모델입니다. 설치 크기는 17GB이고 텍스트, 이미지, 영상을 읽습니다.
• 메모리 24GB 맥미니 M4 프로에서는 GPU 할당 한도를 넘겨 전체가 CPU에서 실행됐습니다. 1+1은? 한 줄에 218초, 초당 0.08토큰이 나왔습니다.
• Q4_K_M이 이미 가장 작은 양자화라 줄여서 맞출 방법이 없습니다. 모델 파일이 기기 메모리의 절반을 넘으면 내려받기 전에 확인하는 편이 낫습니다.

Sources

• Qwen3.8-27B 공식 모델 카드 (Hugging Face)
• Ollama Qwen3.8 라이브러리