AI 모델 증류 뜻과 과정: 로컬 LLM이 좋아지는 이유

AI 모델 증류(distillation)는 교사 모델이 만든 출력 등을 이용해 학생 모델을 학습시키는 방법입니다. 교사는 학습 자료를 제공하는 모델, 학생은 그 자료로 배우는 모델을 뜻합니다. 실행 비용을 줄이기 위해 작은 학생 모델을 쓰는 경우가 많지만, 학생이 항상 작아야 하는 것은 아닙니다.

예를 들어 큰 모델이 고객 문의를 “배송 문의”와 “환불 문의”로 분류한 결과를 모으고, 그 결과를 작은 모델의 학습 자료로 쓸 수 있습니다. 작은 모델이 새 문의도 잘 분류하는지는 학습에 쓰지 않은 자료로 따로 확인해야 합니다. 교사의 답을 모았다는 사실만으로 학생 학습까지 끝난 것은 아닙니다.

무엇이 옮겨 가는지 구분합니다

술의 증류는 일부 성분을 분리해 모으는 공정입니다. 모델 증류도 필요한 능력을 다른 모델에 학습시킨다는 점에서 비유가 되지만, 모델 파일에서 성능 좋은 부분만 물리적으로 추출하는 작업은 아닙니다.

모델의 학습값을 파라미터라고 합니다. 모델 이름에 쓰이는 B는 십억을 뜻해 7B는 약 70억 개의 파라미터를 가리킵니다. 파라미터 수만으로 성능, 실행 속도, 필요한 메모리를 모두 알 수는 없습니다.

증류는 교사의 모든 파라미터를 그대로 복사하는 것과 다릅니다. 학생은 이미 학습된 다른 모델을 기반으로 추가 학습할 수도 있습니다. 이 추가 학습을 미세조정(fine-tuning)이라고 부릅니다.

확률을 이용하는 방식과 답변을 이용하는 방식

2015년 Hinton, Vinyals, Dean의 논문은 여러 모델의 예측을 하나의 모델에 학습시키는 방법을 발전시켰습니다. 오늘날 증류를 이해하는 데 자주 인용되는 자료입니다.

위 논문에서 다루는 대표적인 방법은 교사가 각 답 후보에 부여한 확률을 학생도 비슷하게 내도록 학습시키는 것입니다. 높은 확률의 답뿐 아니라 낮은 확률의 후보들 사이 차이도 학습 신호가 됩니다. 논문 원문

다음 수치는 원리를 설명하는 가상 예시입니다.

오른쪽은 교사가 이 사진을 자동차보다 개와 더 혼동했다는 정보를 줍니다. 이것이 동물 종의 객관적인 유사도나 실제 정답 확률을 보장하지는 않습니다. 교사가 잘못 판단한 특성도 학생에게 전달될 수 있습니다.

확률을 계산하기 전 후보별 점수를 로짓(logit)이라고 합니다. 학습할 때 온도(temperature)라는 값을 조정해 확률 차이가 덜 극단적으로 되게 할 수 있습니다. 이때의 온도는 증류 학습에서 쓰는 설정으로, 평소 챗봇의 답변 다양성을 조절하는 설정과 목적을 구별해야 합니다. 처음 모델을 고르는 사람은 이 계산을 직접 구현하지 않아도 됩니다.

전체 로짓을 제공하지 않는 서비스도 있습니다. 반대로 필요한 출력을 제공받을 수 있다면 교사의 내부 가중치를 직접 갖고 있어야만 하는 것은 아닙니다. 답변 텍스트로 학습하는 방식에서는 전체 확률 분포가 필수 조건이 아닙니다. 이 표는 자주 접하는 두 방식을 비교한 것이며 모든 증류 기법을 둘로만 나눈 분류는 아닙니다.

DeepSeek 공개 모델로 이름 읽기

DeepSeek는 2025년 1월 R1을 공개하면서 Qwen2.5와 Llama3 계열을 기반으로 한 증류 모델 여섯 개를 공개했습니다. R1이 만든 자료로 기반 모델을 추가 학습했다는 설명과 기반 모델의 이름이 공식 저장소에 나와 있습니다.

처음에는 내려받거나 실행하지 말고 모델 카드, 즉 모델의 구성과 사용 조건을 설명한 문서를 읽어 봅니다. 위 이미지 또는 공식 저장소의 모델 목록에서 DeepSeek-R1-Distill-Qwen-32B 행을 찾습니다.

이미지 글씨가 작다면 아래 두 행으로도 연습할 수 있습니다.

메모에 다음 세 항목을 적어 보세요.

확인 결과는 교사 DeepSeek-R1, 기반 모델 Qwen2.5-32B, 크기 32B입니다. “학생도 DeepSeek-R1의 파라미터 671B를 그대로 가진다”고 적었다면 교사와 학생을 혼동한 것입니다. Base Model 열은 교사가 아니라 추가 학습의 출발 모델을 가리킵니다.

혼자 반복할 때는 DeepSeek-R1-Distill-Llama-8B 행을 봅니다. 교사는 DeepSeek-R1로 같지만 기반 모델은 Llama-3.1-8B, 이름에 표시된 크기는 8B로 달라집니다. 모델 이름만 추측하지 말고 표의 기반 모델 열과 설명을 함께 읽는 연습입니다.

공식 자료의 성능 비교는 지정된 시험과 설정에서 얻은 결과입니다. 증류 모델이 다른 모델을 앞선 항목이 있어도 모든 업무에서 우수하다는 뜻은 아닙니다. 특히 공개되지 않은 비교 모델의 파라미터 수를 이름의 “mini”만 보고 추정해서는 안 됩니다.

증류와 양자화는 무엇이 다른가요?

양자화는 모델의 숫자를 더 낮은 정밀도로 표현해 메모리 부담 등을 줄이는 방법입니다. 증류는 교사의 출력 등을 이용하는 학습 방법, 양자화는 숫자 표현을 줄이는 방법이라는 차이가 있습니다. 증류한 모델을 다시 양자화해 배포할 수도 있습니다.

로컬 LLM은 내 컴퓨터에서 실행하는 대형 언어 모델입니다. 로컬에서 실행된다는 이유만으로 증류 모델은 아닙니다. 이름에 Distill이 없다면 증류를 하지 않았다고 단정할 수도 없으므로 학습 방법을 설명한 문서를 확인해야 합니다.

가격 하락과 로컬 성능을 구별합니다

위 이미지는 Epoch AI의 과거 추론 가격 분석입니다. 여기서 추론은 학습을 마친 모델이 입력을 받아 결과를 만드는 실행 단계입니다. 모델이 답변에서 긴 풀이를 쓰는 경우에만 한정한 말은 아닙니다. 가로축은 모델 출시 시점, 세로축은 100만 토큰당 달러 가격입니다. 토큰은 모델이 텍스트를 나누어 처리하는 단위이며 언어와 모델에 따라 나누는 방식이 다릅니다.

차트의 선은 같은 시험에서 정해진 성능 수준 이상을 만족한 모델들의 가격 변화를 보여줍니다. 세로축은 0.1, 1, 10, 100처럼 열 배씩 커지는 로그 눈금입니다. 이미지의 연 9배, 40배, 900배는 과거 자료에서 기준별로 추정한 하락 속도이며 앞으로 매년 같은 속도로 싸진다는 예측이 아닙니다. 예를 들어 가격이 9배 낮아졌다는 표현은 같은 기준에서 가격이 약 9분의 1이 됐다는 뜻입니다. 가격 분석과 데이터

API는 프로그램이 다른 서비스의 기능을 호출하는 방식입니다. 여기서 API 가격은 외부 모델 서비스를 이용하는 가격을 말합니다.

API 서비스 가격이 내려갔다는 사실만으로 그 원인이 증류라고 결론 내릴 수는 없습니다. API 가격에는 사업자의 가격 정책 등도 영향을 줍니다. 내 컴퓨터에서 모델을 실행하는 속도와 필요한 메모리도 이 차트만으로 알 수 없습니다.

학생 모델이 항상 교사보다 못하나요?

항상 그렇다고 정할 수는 없습니다. 학습 자료와 평가 과제에 따라 특정 작업에서 교사와 비슷하거나 더 좋은 결과를 낼 수도 있습니다. 같은 크기의 학생 모델을 학습시켜 교사보다 높은 시험 성능을 얻은 연구도 있습니다. Born Again Neural Networks 반대로 교사의 넓은 능력을 충분히 배우지 못하거나 오류를 따라 배울 수도 있습니다.

교사 모델이 업데이트됐다고 이미 내려받은 학생 모델이 자동으로 개선되는 것은 아닙니다. 새 자료로 다시 학습한 모델이 공개되고, 그 모델을 실제로 사용해야 변화가 반영됩니다. 비교할 때는 이름과 크기뿐 아니라 정확한 버전과 시험 조건을 함께 봅니다.

실행하거나 추가 학습하기 전에 확인할 것

이미 공개된 모델을 실행하는 일과 교사 모델에서 답변을 모아 새 모델을 학습시키는 일은 구분해야 합니다. 라이선스는 모델을 사용하거나 수정하고 배포할 수 있는 조건을 정한 문서입니다. 모델별 라이선스와 사용한 서비스의 약관이 다를 수 있습니다.

DeepSeek-R1 공식 저장소는 증류를 포함한 파생 모델 학습을 허용한다고 안내하면서, Qwen 기반 모델과 Llama 기반 모델의 원래 라이선스도 각각 명시합니다. 이 사례를 다른 회사 서비스의 출력에도 그대로 적용해서는 안 됩니다. 실제 사용할 모델 카드와 이용 조건을 확인해야 합니다. 공식 라이선스 설명

개인 장비에서는 메모리 용량, 데이터를 읽어 오는 속도, 모델 파일의 정밀도, 입력 길이가 실행에 영향을 줍니다. 2027년에 모든 일이 로컬 모델로 대체된다고 단정할 근거는 없습니다. 지금 선택할 때는 원하는 작업의 예시로 결과를 확인하고, 필요한 메모리와 실행 시간을 함께 비교하는 편이 낫습니다.

3줄 요약

1. 모델 증류는 교사 모델의 출력 등을 이용해 학생 모델을 학습시키는 방법으로 모델 파일을 그대로 압축하는 작업과 다릅니다.

2. 확률 분포를 이용하는 방식과 답변 텍스트를 이용하는 방식이 있으며 모든 증류에 전체 확률이 필요한 것은 아닙니다.

3. 모델을 고를 때는 공개 설명서에서 교사와 기반 모델, 평가 조건과 이용 조건을 확인하고 실제 작업에서 결과를 비교합니다.