AI 모델 증류 뜻과 과정: 로컬 LLM이 좋아지는 이유

AI 모델 증류(distillation)는 큰 모델이 만든 답과 확신의 분포를 작은 모델에 옮겨 학습시키는 방법입니다. 큰 쪽을 교사 모델, 작은 쪽을 학생 모델이라고 부릅니다.

증류라는 말은 술을 만드는 공정에서 왔습니다. 소주나 위스키를 내릴 때 원액을 끓여 증기를 받고 다시 식혀 모으는 그 과정입니다. 부피는 줄고 알맹이는 남습니다.

모델에 붙은 증류도 부피를 줄인다는 점은 같습니다. 다만 무엇이 옮겨 가는지가 술과 다르고, 그 차이를 알아야 요즘 작은 모델들이 왜 이렇게 빨리 좋아지는지가 설명됩니다. 힌턴 연구진의 원논문과 DeepSeek 공식 자료, Epoch AI 데이터를 근거로 2026년 9월 10일 기준으로 정리하겠습니다.

위스키 증류와 겹치는 곳, 어긋나는 곳

두 공정을 나란히 놓으면 이렇습니다.

겹치는 곳은 부피입니다. 671B짜리가 하던 일을 7B가 대신하게 되면 개인 컴퓨터에도 들어갑니다.

모델 이름 뒤에 붙는 B는 파라미터의 개수입니다. 671B는 6,710억 개, 7B는 70억 개라는 뜻입니다. 파라미터는 모델이 학습하면서 조금씩 맞춰 둔 조절값입니다. 나사가 많은 기계일수록 세밀하게 맞출 수 있지만 덩치가 커지듯, 파라미터가 많은 모델도 섬세해지는 만큼 무거워집니다.

어긋나는 곳이 둘입니다. 첫째, 위스키는 원액의 성분이 물리적으로 옮겨 가지만 모델 증류는 교사의 내부를 뜯어 옮기지 않습니다. 학생은 완전히 다른 모델이고, 교사가 내놓은 답을 보고 따라 배웁니다. 둘째, 위스키는 내릴수록 도수가 올라가지만 증류한 모델은 대체로 교사보다 성능이 낮습니다.

그래서 실제 과정에 더 가까운 그림은 술을 내리는 공정보다 견습생이 장인의 작업을 보고 익히는 쪽입니다. 다만 이 견습생은 장인이 만든 결과물만이 아니라 장인이 어느 쪽을 얼마나 망설였는지까지 함께 봅니다. 망설임까지 본다는 대목은 이어서 풀어 보겠습니다.

증류가 실제로 거치는 과정

지금의 형태는 2015년에 정리됐습니다. 제프리 힌턴, 오리올 비니얼스, 제프 딘이 낸 논문에서 나온 방법입니다.

논문이 풀려던 문제는 성능이 아니라 배포였습니다. 여러 모델을 묶어 쓰면 정확도가 올라가는데 그 묶음을 그대로 서비스에 올리면 너무 무겁습니다. 그 지식을 배포하기 쉬운 모델 하나로 압축하자는 것이 출발점이었습니다.

과정은 세 단계입니다.

1. 교사 모델에 데이터를 넣어 출력을 받습니다. 이때 정답 하나만 받는 것이 아니라 모든 후보에 매긴 확률을 함께 받습니다.
2. 그 확률을 부드럽게 폅니다. 온도(temperature)라는 값을 올리면 확률 분포가 완만해집니다. 어두운 방에 불을 밝히면 구석에 놓인 물건까지 눈에 들어오듯, 0.1%와 0.05%처럼 작아서 보이지 않던 차이가 이때 드러납니다.
3. 학생 모델을 그 분포에 맞춰 학습시킵니다. 학습이 끝나면 온도를 원래대로 되돌려 씁니다.

두 번째와 세 번째 단계가 왜 필요한지가 이 방법의 핵심입니다. 고양이 사진 한 장을 예로 들겠습니다.

• 정답만 주는 경우: 고양이 100%, 나머지 0%. 학생은 이 사진이 고양이라는 것만 배웁니다.
• 분포까지 주는 경우: 고양이 90%, 개 7%, 호랑이 2%, 자동차 0.1%. 고양이가 자동차보다 개에 가깝다는 관계까지 학생에게 넘어갑니다.

두 번째 쪽이 훨씬 많은 것을 알려 줍니다. 힌턴 연구진은 이렇게 분포 안에 숨어 있는 정보를 다크 놀리지(dark knowledge)라고 불렀습니다. 쉽게 말하면 교사가 답을 고르면서 무엇과 무엇을 헷갈렸는지에 담긴 정보입니다. 정답표만 외운 학생과 채점자의 고민까지 들은 학생의 차이입니다. 앞에서 견습생이 장인의 망설임까지 본다고 한 것이 이 대목입니다.

증류의 두 가지 방식

실무에서 증류라고 부르는 방식은 사실 두 가지입니다. 구분해 두면 뉴스에 나오는 분쟁이 이해됩니다.

앞서 설명한 확률 분포 방식이 로짓 증류입니다. 로짓(logit)은 확률이라는 말보다 낯설 수 있는데, 모델이 확률을 계산해 내놓기 직전에 후보마다 매겨 둔 원점수를 가리킵니다. 심사위원이 점수판을 들기 전 수첩에 적어 둔 점수를 보면 2등과 3등이 얼마나 붙어 있었는지까지 드러나듯, 로짓에는 최종 확률만 봐서는 알기 어려운 정보가 남아 있습니다.

정보가 많이 넘어가지만, 그러려면 교사 모델의 내부를 열어 볼 수 있어야 합니다. 다른 회사의 모델은 그 안을 볼 수 없으니 자사 모델이거나 가중치가 공개된 모델에만 씁니다.

요즘 화제가 되는 쪽은 데이터 증류입니다. 교사에게 문제를 잔뜩 풀게 해서 그 답변을 모은 다음, 학생에게 그 답변을 정답처럼 놓고 학습시킵니다. 확률 분포는 못 받지만 API만 있으면 됩니다. 큰 모델이 추론 과정을 길게 써 내려가는 요즘 방식에서는 그 과정 자체가 좋은 학습 자료 노릇을 합니다.

DeepSeek가 공개한 증류 결과

데이터 증류로 어디까지 되는지를 공개 자료로 보여 준 사례가 DeepSeek입니다. 2025년 1월에 R1을 공개하면서 증류 모델 여섯 개를 함께 열었습니다.

이름을 읽는 방법부터 보겠습니다. DeepSeek-R1-Distill-Qwen-32B는 교사가 DeepSeek-R1, 학생 구조가 Qwen, 크기가 32B라는 뜻입니다. 교사는 671B짜리이고 학생은 Qwen2.5와 Llama3 계열에서 가져왔습니다.

방식은 데이터 증류였습니다. R1이 만든 추론 데이터로 기존 오픈소스 모델들을 미세조정했다고 공식 문서에 적혀 있습니다.

미세조정(fine-tuning)은 모델을 처음부터 만드는 것이 아니라 이미 완성된 모델에 추가 학습을 얹어 성격을 바꾸는 작업입니다. 기성복을 사서 소매와 기장만 몸에 맞게 고쳐 입듯, DeepSeek는 모델의 뼈대를 Qwen과 Llama의 것으로 두고 그 안에서 문제를 푸는 방식만 자기 모델의 것으로 바꿔 넣었습니다. 모델을 처음부터 학습시키는 쪽보다 시간과 비용이 훨씬 적게 듭니다.

공식 문서에 있는 문장 하나가 이 글의 두 번째 질문에 답을 줍니다.

“

큰 모델의 추론 패턴을 작은 모델에 증류하는 쪽이, 작은 모델에서 강화학습으로 추론 패턴을 직접 찾게 하는 것보다 더 나은 성능을 냅니다.

여기 나오는 강화학습은 자전거를 여러 번 넘어져 가며 익히듯, 정답지 없이 시도를 반복하다가 잘된 쪽에 점수를 받아 방법을 스스로 찾아 가는 학습입니다.

정리하면 작은 모델이 혼자 시행착오를 겪게 두는 것보다, 큰 모델이 이미 찾아낸 방법을 물려주는 편이 낫다는 뜻입니다. DeepSeek는 32B 증류 모델이 여러 벤치마크에서 OpenAI o1-mini를 앞섰다고 밝혔습니다. 벤치마크는 여러 모델을 같은 문제로 재 보는 표준 시험입니다.

모델 진화가 점점 빨라지는 이유

증류가 산업 공정이 되면서 성능이 오르는 속도 자체가 달라졌습니다. 서로를 밀어 올리는 구조가 세 겹으로 걸려 있기 때문입니다.

첫째, 교사 하나가 좋아지면 학생 여럿이 한꺼번에 좋아집니다. 앞의 DeepSeek 사례에서 R1이 나오자 크기가 다른 여섯 모델이 같은 날 함께 올라갔습니다. 예전에는 작은 모델을 좋게 만들려면 그 모델을 따로 오래 학습시켜야 했습니다.

둘째, 좋아진 작은 모델이 다시 데이터를 만듭니다. 학습 자료를 만드는 비용이 내려가면 다음 모델을 만드는 비용도 내려갑니다.

셋째, 답을 만드는 비용보다 답을 채점하는 비용이 쌉니다. 수학 문제나 코드처럼 정답 확인이 기계로 되는 영역에서는 교사가 만든 답 가운데 맞은 것만 골라 씁니다. 틀린 답을 걸러 내는 데 사람이 거의 필요 없습니다.

이 구조가 가격에 어떻게 나타났는지는 Epoch AI가 정리한 자료에서 볼 수 있습니다. 아래에서 말하는 추론(inference)은 학습을 마친 모델이 실제로 질문을 받아 답을 내놓는 단계입니다. 요리를 배우는 과정이 학습이라면 주문을 받아 한 접시를 내는 쪽이 추론이고, 쓰는 사람이 돈을 내는 것도 이쪽입니다.

같은 성능을 내는 데 드는 가격이 해마다 떨어지는데, 그 속도가 과제마다 다릅니다. 가장 느린 축이 연 9배, 중간이 연 40배, 가장 빠른 축이 연 900배입니다. 일반 지식 문제에서 GPT-3 수준을 내는 가격은 2021년 11월 100만 토큰당 60달러에서 2024년 10월 0.07달러가 됐습니다. 토큰은 모델이 글을 다루는 최소 단위이고, 한국어는 보통 한두 글자가 토큰 하나에 해당합니다.

숫자를 뒤집어 읽으면 이렇습니다. 작년에 가장 비싼 모델만 하던 일을 올해는 훨씬 싼 모델이 합니다. 그 싼 모델 가운데 상당수가 증류로 만들어졌고, 크기가 작아 개인 장비에서도 돌아갑니다.

증류를 둘러싼 분쟁

기술이 강력해지면서 법적 다툼도 함께 생겼습니다. 주요 사업자들은 자사 서비스의 출력으로 경쟁 모델을 만드는 것을 약관에서 금지합니다. OpenAI와 앤트로픽, 미스트랄, xAI가 비슷한 조항을 두고 있습니다.

DeepSeek의 R1을 두고 OpenAI 쪽에서 자사 시스템의 출력을 걷어 학습에 썼다는 의혹을 제기한 것도 이 조항과 이어집니다. 확인된 사실과 주장을 나눠 보면, DeepSeek가 자사 모델 R1의 출력으로 증류 모델을 만들었다는 것은 공식 문서에 적힌 사실이고, R1 자체가 어떤 자료로 학습됐는지를 두고는 양쪽 주장이 엇갈립니다.

이 다툼은 한쪽 방향으로만 보기 어렵습니다. 웹 문서와 책으로 모델을 학습시킨 쪽이 이제는 자기 모델의 출력을 가져다 쓰는 것을 문제 삼고 있어서, 어느 선까지가 정당한 학습인지에 관한 합의가 아직 없다는 점이 드러납니다.

로컬 LLM은 2027년에 어떤 모습일까요?

여기서부터는 확인된 사실이 아니라 지금 흐름을 놓고 하는 짐작입니다.

올라가는 쪽은 분명해 보입니다. 증류가 공정이 된 이상 큰 모델이 좋아질 때마다 작은 모델이 따라 올라가는 구조는 당분간 유지될 것으로 봅니다. 개인 장비에서 돌릴 수 있는 크기대에서 지금 수준을 훌쩍 넘는 모델이 나올 가능성이 적지 않아 보입니다.

다만 몇 가지 제약이 그대로 남아 있습니다.

• 메모리 대역폭: 저장된 데이터를 계산 장치로 초당 얼마나 보낼 수 있는지를 가리킵니다. 물탱크가 커도 수도관이 가늘면 물이 천천히 나오듯, 메모리를 넉넉히 꽂아도 대역폭이 좁으면 모델은 느리게 답합니다. 노트북과 스마트폰의 대역폭은 데이터센터 장비보다 수십 배 낮고, 모델이 작아져도 이 차이는 하드웨어 세대가 바뀌어야 좁혀집니다. 준이아빠블로그에서 Qwen3.8 27B를 24GB 맥에서 돌려 본 기록을 보면 메모리가 모자란 순간 속도가 급격히 떨어집니다.
• 긴 추론의 벽: 여러 단계를 거치는 문제에서는 작은 모델의 한계가 아직 남아 있다는 평가가 많습니다. 증류는 교사가 가진 것을 옮기는 방법이라 교사가 못 하는 일은 학생도 못 합니다.
• 장비 가격: 큰 모델을 집에서 돌리려면 결국 메모리가 큰 장비가 필요합니다. DGX 스파크와 RTX 5090을 비교한 글에서 정리한 조건이 크게 달라지지는 않을 것으로 보입니다.

그래서 2027년의 모습을 굳이 그려 보면, 모든 일을 로컬로 하는 쪽보다 일을 나누는 쪽에 가깝지 않을까 싶습니다. 문서 정리와 요약, 분류, 개인 자료 검색처럼 반복되는 일은 로컬 모델이 맡고, 여러 단계를 거치는 판단은 클라우드 모델에 넘기는 구성입니다. 시장조사 쪽에서도 생성형 AI를 기기에서 처리할 수 있는 스마트폰 비중이 2027년에 절반을 넘길 것으로 내다봅니다.

한 가지는 지금도 말할 수 있습니다. 로컬 모델의 수준을 정하는 것은 내 장비의 성능만이 아닙니다. 그해에 가장 좋았던 교사 모델이 무엇인지가 함께 작용합니다.

증류한 모델은 원래 모델만큼 똑똑한가요?

전체로 보면 그렇지 않습니다. 교사가 가진 것을 옮기는 방법이라 크기가 줄어든 만큼 잃는 것이 있고, 특히 여러 단계를 거치는 문제에서 차이가 드러납니다. 다만 좁은 영역에서는 이야기가 달라집니다. DeepSeek는 32B 증류 모델이 여러 벤치마크에서 OpenAI o1-mini를 앞섰다고 밝혔는데, 이때 비교 대상은 교사인 R1이 아니라 비슷한 크기대의 다른 모델입니다. 증류 모델을 고를 때는 교사와 비교하지 말고 같은 크기의 다른 모델과 비교하는 편이 맞습니다.

내 컴퓨터에서 돌리는 모델도 증류 모델인가요?

이름을 보면 알 수 있습니다. Distill이 들어가 있으면 증류 모델이고, 그 뒤에 교사와 학생 구조가 적혀 있는 경우가 많습니다. 이름에 표시가 없어도 요즘 작은 모델은 대부분 큰 모델이 만든 합성 데이터를 학습에 쓰고 있어서, 넓게 보면 증류의 결과물에 가깝습니다. 실제로 모델을 고를 때 확인할 것은 증류 여부보다 어느 모델에서 무엇을 물려받았는지입니다. 수학 위주로 증류한 모델과 코딩 위주로 증류한 모델은 같은 크기라도 잘하는 일이 다릅니다.

3줄 요약:

• AI 모델 증류는 큰 교사 모델이 만든 출력과 확신의 분포를 작은 학생 모델에 옮겨 학습시키는 방법이고, 2015년 제프리 힌턴 연구진의 논문에서 지금의 형태가 정리됐습니다.
• DeepSeek는 671B 모델이 만든 추론 과정을 Qwen2.5와 Llama3 계열 여섯 모델에 옮겨 1.5B부터 70B까지 공개했고, 작은 모델이 직접 학습해 얻는 것보다 물려받는 쪽이 성능이 높다고 밝혔습니다.
• 같은 성능을 내는 데 드는 추론 가격은 벤치마크에 따라 해마다 9배에서 900배까지 떨어졌고, 이 하락이 로컬에서 돌릴 수 있는 모델의 수준을 끌어올리고 있습니다.

Sources:

• Distilling the Knowledge in a Neural Network (Hinton, Vinyals, Dean, 2015)
• DeepSeek-R1 공식 저장소 (DeepSeek)
• LLM inference prices have fallen rapidly but unequally across tasks (Epoch AI, CC-BY)