AI는 어떻게 답을 만들까요? 언어 모델(LLM)과 다음 말 예측
ChatGPT, 클로드, 제미나이 안에는 대규모 언어 모델(LLM)이 들어 있습니다. 언어 모델은 아주 많은 글을 읽으며 다음에 올 말을 맞히는 연습을 반복해 만든 계산식이고, 답을 쓸 때도 질문과 이미 쓴 답을 읽고 다음 말을 하나씩 골라 이어 붙입니다.
같은 말:LLM대규모 언어 모델언어 모델Large Language Model
목차
AI에게 날짜나 금액을 물으면 망설임 없이 답합니다. 그런데 같은 질문에 원문을 붙여 주면 다른 날짜가 나오기도 합니다. 이 차이는 AI가 답을 만드는 방식에서 생깁니다. 지금부터 AI 채팅 서비스 안에서 실제로 답을 쓰는 언어 모델이 무엇인지, 왜 그럴듯한 답이 사실과 다를 수 있는지를 차례로 설명합니다.
정의: 서비스 안에서 답을 쓰는 계산식
ChatGPT, 클로드(Claude), 제미나이(Gemini)는 사람이 쓰는 서비스 이름입니다. 그 안에서 글을 읽고 답을 쓰는 것은 언어 모델입니다. 아주 많은 글을 학습해 만들었기 때문에 대규모 언어 모델(LLM, Large Language Model)이라고 부릅니다.
언어 모델은 사람의 지식을 문장 그대로 저장한 데이터베이스가 아닙니다. 책, 웹 문서, 논문, 코드 같은 글에서 말이 이어지는 패턴을 숫자로 저장한 거대한 계산식에 가깝습니다. 그래서 "어디에 적혀 있던 답을 찾아 준다"기보다 "이 다음에 올 말로 가장 그럴듯한 것을 계산해 낸다"고 이해하는 편이 정확합니다.
학습은 다음 말 맞히기를 끝없이 반복하는 일입니다
학습 과정을 아주 단순하게 줄이면 빈칸 맞히기입니다. 예를 들어 "제주도는 한국에서 가장 큰 ___입니다"라는 문장이 있다고 해 보겠습니다.
- 모델이 빈칸을 추측합니다. "관광지" 45%, "섬" 40%처럼 후보마다 가능성을 매깁니다.
- 실제 문장과 비교합니다. 정답은 "섬"이었습니다.
- 계산식을 조금 고칩니다. 다음에는 비슷한 문장에서 "섬"의 가능성이 조금 더 높아집니다.
이 과정을 수많은 문장에서 반복하면 모델은 문법과 말투뿐 아니라 자주 함께 나오는 사실도 익힙니다. 위의 확률은 원리를 보여 주기 위한 가상의 숫자입니다.
답은 한 토큰씩 이어 붙여 만들어집니다
답을 쓸 때도 같은 원리를 씁니다. AI는 글을 토큰이라는 조각으로 읽고 씁니다. 토큰은 글자 몇 개나 단어 하나 정도의 조각입니다. 토큰 클래스에서 자세히 설명합니다.
"교육 신청 마감이 언제야?"라고 물으면 모델은 아래 순서를 반복합니다.
- 지금까지의 글을 읽습니다. 질문과 자기가 이미 쓴 답까지 모두 포함합니다.
- 다음에 올 토큰 후보 가운데 가능성이 높은 것을 고릅니다.
- 고른 토큰을 답 뒤에 붙이고 다시 1번으로 돌아갑니다.
화면에서 답이 한 글자씩 흘러나오는 것처럼 보이는 이유가 여기에 있습니다. 답 전체를 미리 정해 두고 보여 주는 것이 아니라, 앞에서 쓴 말을 읽으며 다음 말을 계속 골라 붙입니다.
그럴듯한 문장과 확인된 사실은 다릅니다
다음 말을 예측하는 방식에는 분명한 약점이 있습니다. 근거가 없을 때도 문장은 매끄럽게 이어집니다. 아래는 가상의 사내 교육 공지로 같은 질문을 두 번 한 예입니다.
| 묻는 방법 | 받은 답(가상 예시) | 근거 |
|---|---|---|
| 자료 없이 "교육 신청 마감이 언제야?" | 이런 신청은 보름 정도 받는 경우가 많아 10월 17일 전후일 가능성이 있습니다. | 비슷한 경우에서 추정 |
| 공지를 붙이고 "이 공지 기준으로 마감을 알려 주고, 원문 문장도 붙여 줘" | 마감은 10월 11일(일)입니다. 원문: "신청 기간: 2026년 10월 1일(목) ~ 10월 11일(일)" | 붙여 준 공지 |
첫 번째 답은 틀린 날짜를 말하지만 문장만 보면 그럴듯합니다. 두 번째 답은 원문 문장을 함께 돌려주기 때문에 사람이 그 한 줄만 대조하면 됩니다. 원문을 주면 AI도 원문을 반영해 답합니다.
AI가 사실과 다른 내용을 사실처럼 말하는 현상을 환각(할루시네이션)이라고 부릅니다. 원인과 확인 방법은 할루시네이션 클래스에서 더 자세히 다룹니다.
직접 확인해 보기
계정이 있다면 사용 중인 AI 채팅에서 아래 순서로 해 볼 수 있습니다. 계정이 없다면 표의 두 답을 비교하는 것으로 대신해도 됩니다.
- 새 대화에서 자료 없이 "우리 회사 다음 교육 신청 마감이 언제야?"라고 묻습니다. AI가 모른다고 하거나, 일반적인 경우로 추정하는지 확인합니다.
- 새 대화를 열고 아래 가상 공지를 붙여 넣은 뒤 "이 공지 기준으로 신청 마감을 알려 주고, 근거가 된 원문 문장도 그대로 붙여 줘"라고 요청합니다.
[가상 공지] 하반기 문서 작성 교육
신청 기간: 2026년 10월 1일(목) ~ 10월 11일(일)
교육일: 10월 15일(목) 오후 2시, 3층 회의실- 답에 붙은 원문 문장이 실제 공지에 있는지 눈으로 대조합니다.
- 공지의 마감일을 10월 13일로 바꿔 다시 요청합니다. 답도 13일로 바뀌면 AI가 붙여 준 자료를 근거로 답했다는 뜻입니다.
AI가 원문 문장을 붙이지 않았다면 "근거 문장을 따옴표로 붙여 달라"고 다시 요청합니다. 날짜를 맞혔더라도 근거 문장을 확인하는 습관이 이 클래스의 목표입니다.
관련 개념
제대로 이해했는지 한 문제로 확인해 볼까요?
답을 고르면 바로 풀이가 나와요.
AI에게 자료 없이 "사내 교육 신청 마감이 언제야?"라고 물었더니 날짜를 하나 말해 줬습니다. 이 날짜를 어떻게 받아들여야 할까요?
예제나 확인 질문을 직접 시도한 뒤 완료 표시해요. 더 연습할 내용이 남으면 표시하지 않고 다음 글을 읽어도 됩니다. 완료 버튼은 이해도를 채점하지 않으며 잘못 표시하면 취소할 수 있어요.
