AI를 잘 쓴다는 건 무엇일까요? 언어 모델, 토큰, 학습 시점, 환각

같은 챗GPT를 쓰는데 어떤 팀은 바로 제출할 보고서를 받고, 어떤 팀은 고칠 곳이 많은 초안을 받습니다. 도구가 같으니 차이는 쓰는 사람 쪽에 있습니다. 결과물이 맞는지, 어디가 틀렸는지 판단할 기준이 있는 팀은 AI 초안에서 틀린 숫자와 빠진 내용을 찾아 고치고, 기준이 없는 팀은 초안을 그대로 냅니다.

이 글은 준이아빠유튜브 AI 기초 시리즈 첫 영상의 내용을 글로 정리했습니다. 판단 기준을 세우는 데 필요한 네 가지 개념, 언어 모델과 토큰, 학습 시점, 환각을 차례로 설명하고, 마지막에 직접 해 볼 순서를 붙였습니다.

언어 모델: 다음에 올 말을 예측하는 프로그램

언어 모델은 아주 많은 글을 학습해서 다음에 올 말을 예측하는 프로그램입니다. 영어로는 Large Language Model이고 줄여서 LLM이라고 부릅니다. 챗GPT, 클로드, 제미나이에서 답을 만드는 부분이 언어 모델입니다.

휴대폰 자동완성을 떠올리면 이해가 쉽습니다. "오늘 회의는"까지 치면 키보드 위에 "내일", "오후", "취소" 같은 다음 단어 후보가 뜹니다. 언어 모델은 이 일을 훨씬 큰 규모로 합니다. "대한민국의 수도는"이라고 쓰면 다음 말로 "서울"이 올 가능성이 가장 높아서 서울이라고 답합니다. 정답을 찾아본 것이 아니라, 그 말이 가장 그럴듯하게 이어지기 때문입니다.

이 예측 실력은 연습으로 만듭니다. 책, 웹 문서, 논문, 코드에서 문장을 가져와 다음 말을 가리고 맞히게 한 뒤, 원래 문장의 말이 나올 확률이 높아지도록 계산식을 고칩니다. 이 과정을 수없이 반복합니다. 그래서 AI가 아는 것은 학습한 글에 있던 내용입니다. 우리 회사 내부 규정이나 이번 달 회의 내용처럼 공개된 적 없는 글은 학습할 수 없으므로, 이런 내용은 직접 알려 줘야 합니다.

토큰: AI가 글을 읽고 쓰는 단위

토큰은 AI가 글을 읽고 쓰는 가장 작은 조각입니다. AI는 글자 하나하나가 아니라 토큰 단위로 읽습니다. 영어는 대개 단어 하나가 토큰 하나이고, 한국어는 한 단어가 여러 토큰으로 나뉘는 경우가 많습니다. 그래서 같은 뜻이라도 한국어가 토큰을 더 쓰는 편입니다. 옛 토크나이저를 대상으로 한 연구에서는 차이가 컸지만, 현행 모델 기준의 정확한 비율은 공개된 1차 자료가 없어 숫자로 단정하지 않았습니다.

토큰이 중요한 이유는 AI가 한 번에 읽을 수 있는 양(컨텍스트)과 API로 쓸 때 내는 요금이 토큰을 기준으로 계산되기 때문입니다. 앱의 사용 한도는 서비스마다 안내 방식이 다릅니다. 클로드처럼 글과 첨부가 길수록 한도가 빨리 줄어드는 앱도 있습니다. 긴 PDF를 넣었는데 뒷부분 내용을 놓친다면 한 번에 읽을 수 있는 양을 넘었을 수 있습니다.

토큰 때문에 생기는 일이 하나 더 있습니다. 보고서를 500자로 맞춰 달라고 하면 480자나 530자처럼 조금씩 어긋납니다. AI가 글자를 세면서 쓰는 것이 아니라 토큰 단위로 쓰기 때문입니다. 정확한 글자 수가 필요하면 글자 수 세기 도구로 확인합니다.

AI는 답도 토큰 하나씩 이어서 내보냅니다. 그래서 첫 문장이 틀린 방향으로 시작하면 뒤 문장도 그 방향을 따라 그럴듯하게 이어지기 쉽습니다. 답이 엉뚱하다 싶으면 이어서 고치기보다 질문을 고쳐서 처음부터 다시 받는 편이 빠릅니다.

학습 시점: 그 뒤의 일은 모델 안에 없다

학습 시점은 모델이 학습한 글이 끝나는 날짜입니다. 영어로는 Knowledge Cutoff라고 합니다. 그 날짜 뒤의 일은 모델 안에 없습니다. 작년 말까지 학습한 모델에게 올해 바뀐 요금제를 물으면 작년 가격을 자신 있게 말할 수 있습니다. 인쇄된 백과사전에 인쇄한 날 이후의 소식이 없는 것과 같습니다.

그래서 최신 정보는 검색을 시킵니다. 웹 검색을 쓰는 앱에서는 "웹 검색됨" 같은 줄에 AI가 어떤 말로 검색했는지가 나옵니다. 어떤 페이지를 보고 답했는지는 답에 달린 출처 링크로 확인합니다. 검색해도 나오지 않는 회사 규정, 회의록, 내부 보고서는 파일을 직접 첨부합니다. 검색이든 첨부든 AI가 무엇을 읽고 답했는지 출처를 열어 보는 것은 사람이 할 일입니다.

환각: 그럴듯하게 지어낸 내용

환각은 AI가 사실이 아닌 내용을 그럴듯하게 지어내는 것입니다. 영어로는 Hallucination이라고 합니다. 다음 말을 예측하는 방식이라 모르는 내용도 문장으로 이어 쓸 수 있어서 생깁니다.

요즘 환각은 티가 잘 나지 않습니다. 보고서를 첨부하고 요약을 시켰더니 "매출이 12% 늘었다"면서 "14쪽"이라고 출처까지 달아 주는 식입니다. 그런데 14쪽을 열어 보면 그런 숫자가 없습니다. 있지도 않은 논문 제목이나 법 조항 번호를 대는 경우도 있습니다. 형식이 그럴듯해서 오히려 더 믿게 됩니다.

확인하는 방법을 정해 두면 됩니다. 숫자, 날짜, 이름, 출처는 원문을 열어 맞춰 보고, 출처 링크는 직접 눌러 그 내용이 정말 있는지 봅니다. 질문할 때 "모르면 모른다고 답해 줘"를 덧붙이면 지어낸 답이 줄어드는 편입니다. 앤트로픽과 구글의 공식 가이드가 권하는 방법이지만, 환각이 사라지지는 않습니다.

따라 해 보기

1. 쓰는 AI 앱에 "우리 회사 출장비 규정 알려 줘"처럼 공개되지 않은 내용을 물어보고, 답이 짐작인지 확인합니다. 그다음 규정 파일을 첨부해 같은 질문을 하고 답을 비교합니다.
2. 최근에 바뀐 요금이나 정책을 물어보고, 답에 출처 링크가 있는지 봅니다. 링크를 열어 답의 숫자가 실제로 있는지 대조합니다.
3. 긴 보고서를 요약시킨 뒤, 요약에 나온 숫자 세 개를 골라 원문에서 찾습니다. 찾지 못한 숫자가 있으면 그 문장은 쓰지 않습니다.
4. 같은 질문 끝에 "모르면 모른다고 답해 줘"를 붙여 다시 물어보고, 답이 어떻게 달라지는지 봅니다.

이 네 가지를 한 번씩 해 보면, AI 결과물에서 무엇을 먼저 확인할지 기준이 생깁니다.

출처와 기준일

이 글과 영상의 사실 정보는 2026년 10월 10일에 확인했습니다. 이후 서비스 화면이나 요금 정책이 바뀌면 이 글을 고칩니다.

• 젠슨 황 발언: 밀컨 연구소 글로벌 콘퍼런스 2025 대담 녹취록
• 언어 모델 학습 방식: GPT-4 기술 보고서
• 토큰과 컨텍스트, 요금: 앤트로픽 컨텍스트 윈도 문서, 앤트로픽 요금, 구글 제미나이 API 요금
• 앱 사용 한도: 클로드 Pro 요금제 안내
• 한국어 토큰 연구: Korean Penalty of Large Language Models Derived by the Tokenizer(2024)
• 여러 단어를 미리 계획하는 현상: 앤트로픽 연구, Tracing the thoughts of a large language model
• 환각 줄이는 방법: 앤트로픽 환각 줄이기 가이드
• 웹 검색 표시: 클로드 웹 검색 사용 안내