추론 모드와 생각의 사슬(Chain of Thought): 뜻, 켜는 곳, 언제 켜고 끄는지

AI에게 계산을 물었더니 답은 금방 왔는데 틀린 적이 있을 겁니다. 같은 질문인데 어떤 서비스는 "생각하는 중"을 한참 띄운 뒤에야 답하고, 그 답은 맞기도 합니다. 차이는 AI가 답을 쓰기 전에 문제를 따져 보았는지에 있습니다.

AI가 먼저 따져 보게 하는 방법은 두 가지입니다. 묻는 방법으로 중간 단계를 쓰게 하는 생각의 사슬(Chain of Thought), 그리고 모델 설정으로 생각을 켜는 추론 모드입니다. 지금부터 같은 질문을 생각 없이, 생각하며 받아 보는 장치로 차이를 먼저 보고, 아래에서 서비스별 설정과 켜는 기준을 자세히 설명합니다.

생각의 사슬과 추론 모드는 다른 말입니다

생각의 사슬(Chain of Thought, CoT)은 답에 이르는 중간 풀이 단계를 예시로 보여 주거나 요청해서, AI가 단계를 밟아 답하게 하는 프롬프트 기법입니다. 사용자가 질문을 어떻게 쓰느냐의 문제입니다.

추론 모드는 모델이 답을 쓰기 전에 보이지 않는 생각을 먼저 만들어 문제를 따져 보게 하는 모델 설정입니다. 챗GPT의 Thinking 슬라이더, 클로드의 effort 메뉴처럼 앱이나 API에서 고릅니다. 질문 문장에 "깊이 생각해 줘"라고 써도 이 설정은 바뀌지 않습니다. 오픈AI 도움말도 챗GPT Plus와 Pro에서 그런 말이 추론 수준을 바꾸지 않는다고 안내합니다.

생각의 사슬은 2022년 구글 연구에서 이름이 붙었습니다

생각의 사슬이라는 이름은 구글 리서치 브레인 팀이 2022년 신경정보처리시스템학회(NeurIPS)에 발표한 논문에서 나왔습니다. 논문은 생각의 사슬을 "최종 답으로 이어지는 일련의 중간 추론 단계"라고 정의합니다. 연구진은 풀이가 들어간 예시 8개를 질문 앞에 붙여, 5,400억 매개변수 모델 PaLM 540B의 초등 수학 문제(GSM8K) 정답률을 18%에서 57%로 올렸습니다(논문 그림 2). 논문은 이 효과가 약 1,000억 매개변수 이상의 큰 모델에서만 나타났다고 적었습니다.

같은 해 도쿄대와 구글 연구진은 예시 없이 "Let's think step by step(단계별로 생각해 봅시다)" 한 줄만 덧붙여도 정답률이 오른다는 논문을 냈습니다. text-davinci-002 모델의 GSM8K 정답률이 10.4%에서 40.7%로 올랐습니다. 다만 같은 논문은 손으로 잘 만든 풀이 예시를 주는 방식보다는 성능이 낮았다고 밝힙니다.

추론 모드를 켜면 생기는 일

추론 모드를 켜면 모델은 답을 쓰기 전에 생각 토큰을 먼저 만듭니다. 토큰은 AI가 글을 처리하는 조각이고, AI 토큰과 LLM에서 설명했습니다. 생각 토큰에는 조건 나누기, 식 세우기, 검산 같은 과정이 들어갑니다.

세 회사의 개발자 문서가 공통으로 밝히는 점은 다음과 같습니다.

• 생각도 출력 토큰으로 계산됩니다. 앤트로픽, 오픈AI, 구글 모두 생각 토큰을 출력 토큰으로 요금에 넣습니다. 구글 가격표는 출력 가격 항목에 "생각 토큰 포함"이라고 적습니다.
• 화면에는 요약만 보이거나 아예 숨겨집니다. 앤트로픽은 보이는 생각 텍스트가 전체 사고 과정의 요약이며 다른 모델이 요약을 만든다고 설명합니다. 최신 클로드 모델은 API에서 생각 텍스트를 기본으로 비워서 돌려줍니다. 숨겨도 요금은 전체 생각만큼 나가고, 줄어드는 것은 기다리는 시간뿐이라고 문서가 적습니다.
• 생각을 늘리면 시간이 늘어납니다. 오픈AI는 노력을 낮추면 속도가 빠르고 토큰을 덜 쓴다고, 구글은 높은 생각 수준에서는 첫 답 토큰이 나오기까지 훨씬 오래 걸릴 수 있다고 안내합니다. 클로드 도움말도 effort가 높을수록 답이 철저해지지만 시간이 더 걸리고 토큰을 더 쓴다고 설명합니다.
• 쉬운 질문에는 생각을 줄이기도 합니다. 클로드의 적응형 사고(adaptive thinking)는 질문이 얼마나 복잡한지 보고 더 깊은 생각이 필요한지 판단해서, 간단한 질문에는 생각 없이 답하기도 합니다.

서비스별로 추론을 고르는 곳

2026년 10월 22일 각 서비스 도움말과 개발자 문서 기준입니다.

클로드 추론 강도는 effort로 조절합니다. 앱 도움말에 따르면 Haiku 5.5, Sonnet 5.5, Opus 5.5, Fable 5.1에서는 앱에서 사고를 끌 수 없고, 사고 토글과 effort는 따로 고를 수 있습니다. 개발자 문서는 effort를 "엄격한 토큰 예산이 아니라 행동 신호"라고 부르고, 생각뿐 아니라 답 전체의 토큰에 영향을 준다고 설명합니다. 클로드 앱에서 생각 과정을 보려면 답 위의 "Thinking" 부분을 누릅니다.

제미나이 추론 설정은 앱에서는 모델을 고르는 방식입니다. 제미나이 앱은 기본으로 질문에 맞는 모델을 자동으로 고르고, 직접 고르려면 메뉴에서 모델을 선택합니다. 앱에서 생각의 양을 단계별로 고르는 메뉴는 공식 도움말에 안내되어 있지 않습니다.

예시 세 가지로 보는 추론의 효과

위 장치의 세 예시를 단계별로 풀어 보겠습니다. 질문과 결과는 모두 원리를 보여 주기 위한 가상 예시입니다.

쉬운 계산: 생각해도 답은 같습니다

"30,000원을 3명이 나누면 한 사람당 얼마예요?"는 생각 없이도 10,000원으로 바로 맞힙니다. 생각을 켜면 "30,000을 3으로 나눈다, 10,000이다, 나머지가 없다"를 거친 뒤 같은 답을 씁니다. 바뀐 것은 기다린 시간과 생각 토큰뿐입니다. 합계, 나누기, 날짜 계산, 단위 환산처럼 한 단계로 끝나는 질문은 추론을 켜지 않거나 낮게 둡니다.

함정 문제: 바로 떠오른 답이 틀립니다

"배트와 공이 합쳐 1,100원이고 배트가 공보다 1,000원 비싸면 공은 얼마일까요?"에서 바로 떠오르는 답은 100원입니다. 그러면 배트는 1,100원이 되어 합계가 1,200원이므로 틀립니다. 생각하며 답하면 다음 단계를 거칩니다.

핵심은 마지막 검산입니다. 바로 쓴 답에는 이 확인 단계가 없습니다. 요즘 모델은 이처럼 널리 알려진 문제를 생각 없이도 맞히는 경우가 많지만, 처음 보는 함정이 섞인 문제에서는 같은 일이 생깁니다.

조건 많은 일정: 조건 하나만 놓쳐도 틀립니다

90분 회의를 잡는데 조건이 다섯 개입니다. 김 팀장은 12시 전에 끝나야 하고, 이 대리는 9시 30분부터 되고, 박 주임은 11시 30분부터 점심이며, 회의실은 9시~9시 30분과 10시~12시만 비어 있습니다.

생각 없이 받은 답 "9시 30분부터 11시"는 세 사람 조건은 지키지만 9시 30분~10시에 회의실이 비어 있지 않다는 조건을 놓쳤습니다. 생각하며 답하면 조건을 나누고, 세 사람이 모두 되는 범위(9시 30분~11시 30분)를 구하고, 90분 후보 두 개를 회의실 조건으로 걸러 10시~11시 30분을 찾습니다. 조건이 많고 서로 얽힌 일일수록 추론이 차이를 만듭니다.

"단계별로 생각해" 한 줄은 지금도 필요할까

추론 모드를 켠 모델에 "단계별로 생각해 줘"를 붙이는 효과는 회사와 모델마다 다르게 안내됩니다.

• 오픈AI: o1, o3 같은 초기 추론 모델용 모범 사례 문서에서, 이런 모델은 내부에서 추론하므로 "단계별로 생각하라"나 "추론을 설명하라"는 지시가 필요 없고 성능을 높이지 않을 수 있다고 적었습니다. 현재 추론 가이드는 과제와 제약, 원하는 출력 형식을 주되 중간 단계를 일일이 지정하지 말라고 안내합니다.
• 앤트로픽: 문장으로 생각의 방향을 이끌 수 있다고 안내합니다.
• 와튼 스쿨 연구진의 2025년 보고서: 추론 모델에서는 생각의 사슬 지시가 정확도를 거의 높이지 못하면서 시간과 토큰을 크게 늘렸다고 보고했습니다.

그래서 추론 모드를 켠 모델에는 "단계별로 생각해"보다 확인할 수 있는 계산식, 적용한 조건, 근거 문장을 답에 넣어 달라고 요청하는 편이 쓸모 있다고 생각하는 편이에요. 추론 모드가 없는 모델이나 빠른 모델에는 풀이 예시를 보여 주는 생각의 사슬이 여전히 도움이 될 수 있습니다.

생각 과정을 그대로 믿으면 안 되는 이유

화면에 보이는 생각 과정이 그럴듯해도 그것이 모델의 실제 처리를 그대로 보여 준다고 볼 수는 없습니다. 앤트로픽은 2025년 확장 사고를 소개하면서 생각 과정에 보이는 내용이 모델 안에서 실제로 일어나는 일을 정말로 나타내는지 확실히 알 수 없다고 밝혔습니다. 같은 해 연구 글 「추론 모델은 생각한 것을 늘 말하지는 않는다」에서는 문제에 힌트를 주고 답에 그 힌트를 쓰게 했을 때, 생각 과정에서 힌트를 썼다고 밝힌 비율이 평균 25%(Claude 3.7 Sonnet)와 39%(DeepSeek R1)에 그쳤다고 보고했습니다.

생각의 사슬 원논문도 생각 과정이 모델 행동을 들여다보는 창이 될 수 있지만, 답을 만든 계산 전체를 설명하는지는 열린 질문이라고 적었습니다. 그래서 검증은 생각 과정이 아니라 최종 답을 계산기와 원문으로 대조하는 방식으로 합니다.

언제 켜고 언제 끌까

1. 기본 설정으로 시작합니다. 답이 조건을 놓치거나 계산이 틀릴 때 한 단계 올려 같은 질문을 새 대화에서 다시 합니다.
2. 자료 부족은 생각으로 해결되지 않습니다. 모델이 모르는 사실은 오래 생각해도 생기지 않습니다. 원문을 붙이거나 검색을 켭니다. 자료를 찾아 붙이는 방법은 RAG(검색 증강 생성)에서 다뤘습니다.
3. 같은 사례로 비교합니다. 설정을 바꿀 때는 같은 질문, 같은 자료로 정확성과 시간을 함께 기록합니다. 한 번의 결과로 우열을 정하지 않습니다.
4. 사용량을 생각합니다. 높은 설정을 계속 켜 두면 쉬운 질문에도 사용 한도를 빨리 씁니다. 한도가 차는 방식은 AI 사용 한도와 새 대화에서 다룹니다.

직접 해 보기: 가상 주문 금액 계산하기

사용 중인 AI 채팅의 새 대화에 아래를 붙여 넣습니다. 금액은 모두 가상입니다.

1. 답이 44,200원인지, 계산식이 위 표와 같은지 계산기로 대조합니다. 41,200원만 답했다면 배송비 조건을 놓친 것입니다.
2. 추론 설정을 바꿀 수 있다면 같은 질문을 낮은 설정과 높은 설정으로 새 대화에서 각각 보내고, 답과 걸린 시간을 적습니다.
3. 정가만 55,000원으로 바꿔 다시 묻습니다. 할인 후 49,500원, 쿠폰 후 47,500원이라 배송비 3,000원이 붙어 50,500원이 맞습니다. 정가가 5만 원을 넘는다고 무료 배송이라고 답하면 기준을 잘못 적용한 것입니다.

계산식으로 답이 맞는지 직접 확인할 수 있으면 연습은 끝입니다.

자주 묻는 질문

생각의 사슬은 무슨 뜻인가요?

답에 이르는 중간 풀이 단계를 예시로 보여 주거나 요청해서 AI가 단계를 밟아 답하게 하는 프롬프트 기법입니다. 2022년 구글 리서치 논문에서 이름이 붙었고, 풀이 예시 8개만으로 큰 모델의 수학 문제 정답률을 크게 올렸습니다.

풀이를 요청하면 추론 모드가 켜지나요?

아닙니다. 풀이를 답에 쓰게 하는 것은 묻는 방법이고, 추론 모드는 앱이나 API의 모델 설정입니다. 오픈AI 도움말도 "깊이 생각해 줘" 같은 말이 챗GPT의 추론 수준을 바꾸지 않는다고 안내합니다.

클로드 추론 강도는 어디서 바꾸나요?

전송 버튼 옆 모델 메뉴에서 effort(Low, Medium, High, Extra high, Max)를 고릅니다. Haiku 5.5, Sonnet 5.5, Opus 5.5, Fable 5.1은 앱에서 사고를 끌 수 없어 effort로 생각의 양을 조절합니다.

제미나이에서는 추론을 어떻게 설정하나요?

제미나이 앱은 모델 드롭다운에서 모델을 고르는 방식입니다. 기본은 자동 선택이고, 더 깊은 추론이 필요하면 Pro 같은 모델을, Google AI Ultra 요금제에서는 딥싱크를 고릅니다. 개발자용 API에서는 thinkingLevel로 생각 수준을 정합니다.

생각 과정을 보면 답을 검증할 수 있나요?

충분하지 않습니다. 화면의 생각 과정은 전체 과정의 요약이고, 앤트로픽 연구에서도 생각 과정이 실제 처리를 다 드러내지 않는 경우가 많았습니다. 최종 답의 계산식과 근거를 계산기와 원문으로 대조합니다.

추론을 켜면 사용량을 더 쓰나요?

더 쓸 수 있습니다. 생각 토큰도 출력 토큰으로 계산되므로 생각이 길어질수록 시간과 사용량이 늘어납니다. 클로드처럼 쉬운 질문에는 생각을 줄이는 모델도 있지만, 높은 설정을 계속 켜 두면 한도를 빨리 씁니다.

마무리: 추론 설정을 바꾸기 전에 볼 것

마무리로 짚어 볼 것

1. 구분: 생각의 사슬은 묻는 방법, 추론 모드는 모델 설정입니다. 문장으로 설정을 켤 수는 없습니다.
2. 양 고르기: 기본으로 시작해 조건을 놓칠 때만 올리고, 쉬운 일은 낮게 둡니다.
3. 검증: 생각 과정이 아니라 최종 답의 계산식과 근거를 계산기와 원문으로 대조합니다.

직접 해 보기

• 장치에서 세 예시를 끝까지 눌러 생각 토큰과 시간이 느는 모습을 봤습니다
• 가상 주문 계산을 계산식으로 대조했습니다
• 정가를 바꿔 배송비 조건이 달라지는 답을 확인했습니다

참고 자료

• Wei 외, Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(2022)
• Kojima 외, Large Language Models are Zero-Shot Reasoners(2022)
• 클로드 앱: 모델, effort, 사고 설정 바꾸기
• 앤트로픽 개발자 문서: 사고(Thinking)
• 앤트로픽 개발자 문서: effort
• 앤트로픽 개발자 문서: 사고 조절과 비용
• 앤트로픽 연구: Reasoning models don't always say what they think(2025)
• 오픈AI 추론 모델 가이드
• 오픈AI 추론 모범 사례
• 구글 제미나이 API: 생각(Thinking)
• 제미나이 앱 릴리스 노트
• Meincke 외, The Decreasing Value of Chain of Thought in Prompting(2025)