생각의 사슬(Chain of Thought)과 추론 모드, 언제 켜고 언제 끄는지 알아보기

🤔 답이 빨리 오는데 틀릴 때

할인율과 배송비와 쿠폰이 얽힌 주문 금액을 물으면 답이 바로 오는데 계산이 틀려 있습니다. 여러 조건을 한 번에 따져야 하는 문제를 모델이 한 호흡에 답하려다 중간 단계를 건너뛴 결과입니다. 사람도 암산으로는 틀리는 계산을 종이에 적어 가며 풀면 맞히듯, 모델에게도 중간 과정을 적을 공간을 주면 정확도가 올라갑니다.

그 공간을 프롬프트로 만드는 방법이 생각의 사슬이고, 모델 설정으로 켜는 방법이 추론 모드입니다. 어느 작업에 켜고 어느 작업에 끄는지가 실무의 핵심입니다.

🔑 생각의 사슬과 추론 모드의 정의

생각의 사슬(Chain of Thought)은 모델이 답을 내기 전에 풀이 과정을 단계별로 먼저 적게 하는 프롬프트 기법이고, 추론 모드는 같은 일을 모델 설정으로 켜는 기능입니다. 둘 다 모델이 최종 답을 쓰기 전에 생각할 토큰을 쓰게 한다는 점은 같고, 프롬프트 문장으로 유도하는지 설정으로 켜는지가 다릅니다.

추론 모드라는 말은 회사마다 이름이 다릅니다. 앤트로픽은 사고(thinking)라고 부르고 클로드 앱에서는 사고 토글과 effort로 나타나며, 제미나이 앱에서는 사고 모델과 사고 수준으로 나타납니다. 앤트로픽 문서의 확장 사고(extended thinking)라는 이름은 확장 사고 정리에서 따로 다루고, 여기서는 프롬프트에서 어떻게 다루는지에 집중합니다.

✍️ 프롬프트로 생각을 시키는 세 단계

설정을 건드릴 수 없는 환경이거나 추론 모드가 꺼진 모델에서는 프롬프트 문장으로 생각을 시킵니다. 앤트로픽 공식 문서는 사고가 꺼져 있을 때 단계별 추론을 유도하는 방법으로 <thinking>과 <answer> 같은 태그로 생각과 답을 분리하라고 안내합니다. 단계를 나누면 세 수준입니다.

구조형이 실무에서 쓸모가 큽니다. 생각 과정과 답이 섞여 나오면 답만 복사할 때 불편한데, 태그로 나눠 두면 프로그램이나 사람이 답 부분만 가져갑니다.

마지막 줄이 앤트로픽 문서가 권하는 자기 검증입니다. "끝내기 전에 답을 기준과 대조해 확인하라"는 요청이 코딩과 수학에서 오류를 잘 잡는다는 설명입니다.

⚙️ 설정으로 켜는 추론 모드

2026년 9월 28일 앤트로픽 공식 문서 기준으로 클로드의 추론 설정은 세대에 따라 다릅니다.

• 클로드 4.6 이후 모델: 적응형 사고(adaptive thinking)를 씁니다. 모델이 질문의 난이도와 effort 설정을 보고 언제 얼마나 생각할지 스스로 정합니다. 쉬운 질문에는 생각 없이 바로 답합니다
• 클로드 페이블 5.1, 오퍼스 5.5 등 최신 모델: 사고가 항상 켜져 있고 적응형이 유일한 모드입니다. 깊이는 effort로 조절합니다
• 클로드 4.5 이하: 생각에 쓸 토큰 수를 budget_tokens로 직접 정하는 수동 방식입니다. 최소 1,024토큰이고, 이 방식은 4.6에서 권장하지 않으며 4.7 이후 모델에 보내면 400 오류가 납니다

앱에서는 전송 버튼 옆의 모델 메뉴에서 바꿉니다. 앤트로픽 도움말 기준으로 모델 이름을 눌러 모델을 고르고, 같은 메뉴에서 effort와 사고 토글을 조절합니다. effort는 낮음과 중간이 일상 작업에 맞고 사용량을 아끼며, 높음이 전반적인 균형이고, 최대는 가장 철저한 분석에 씁니다. 켜면 답 위에 사고 표시와 시간이 나타나고 펼치면 요약된 생각 과정을 볼 수 있습니다.

효과가 어느 정도인지도 문서에 있습니다. 앤트로픽 내부 평가에서 적응형 사고가 수동 확장 사고보다 꾸준히 나은 성능을 냈다고 밝히고, 여러 단계의 도구 사용과 복잡한 코딩과 긴 에이전트 작업에 쓰라고 권합니다.

🎚️ 켜야 할 작업과 꺼야 할 작업

추론은 공짜가 아닙니다. 앤트로픽 도움말은 높은 effort가 더 오래 걸리고 토큰을 더 써서 사용 한도에 빨리 닿는다고 적고, 공식 문서는 사고가 지연을 더하므로 답의 품질을 실제로 올릴 때만 써야 한다고 안내합니다.

판정 기준은 하나입니다. 한 번에 답하면 중간 단계를 건너뛸 위험이 있는지 봅니다. 그 위험이 없는 작업에 켜면 시간과 사용량만 늘어납니다. 반복 작업이라면 열 건쯤을 켜고 끄고 두 번 돌려 결과 차이가 있는지 확인한 뒤 정하는 편이 확실한데, 그 비교 방법은 프롬프트 테스트와 개선 절차에 있습니다.

🧭 프롬프트에서 생각을 다루는 원칙

추론 모드가 켜진 모델에서 프롬프트로 무엇을 더 적을지도 문서에 정리되어 있습니다.

• 단계를 손으로 정해 주기보다 일반 지시가 낫습니다. "충분히 생각한 뒤 답하라"가 사람이 짜 준 단계별 계획보다 나은 추론을 내는 때가 많다고 문서는 설명합니다. 모델의 추론이 사람이 정해 준 순서를 넘어서기 때문입니다
• 예시 안에 생각을 보여 줄 수 있습니다. 퓨샷 예시에 <thinking> 태그로 추론 방식을 넣어 두면 모델이 그 방식을 자기 사고에 일반화합니다
• 생각이 너무 길어지면 줄이는 문장을 넣습니다. "접근법을 하나 골라 밀고 나가고, 반대 근거가 나오지 않는 한 결정을 다시 따지지 마라"는 예시가 문서에 있습니다. 그래도 길면 effort를 낮춥니다
• 답하기 전 검증을 요청합니다. "끝내기 전에 답을 기준과 대조하라"는 한 줄이 오류를 줄입니다. 다만 오퍼스 5는 스스로 검증을 잘해서 이 지시가 과잉 검증을 부르므로 빼라는 예외가 있습니다

한 가지 주의점이 있습니다. 생각 과정이 보인다고 그 과정이 모두 맞는 것은 아닙니다. 그럴듯한 단계를 밟고도 틀린 답에 이르는 일이 있어서, 숫자와 사실은 결과를 따로 확인합니다. 모델이 그럴듯한 거짓을 만드는 현상은 할루시네이션 정리에 있습니다.

⚠️ 자주 하는 실수

• 모든 작업에 최대 effort를 켭니다: 단순 작업은 정확도가 거의 오르지 않고 사용량만 늘어납니다
• 생각 과정과 답을 한 묶음으로 받습니다: 태그로 나눠야 답만 골라 쓸 수 있습니다
• 단계를 열 개씩 손으로 정해 줍니다: 일반 지시가 더 나은 추론을 낼 때가 많습니다
• 오래된 코드의 budget_tokens를 새 모델에 그대로 보냅니다: 4.7 이후 모델은 400 오류를 돌려줍니다
• 생각 과정이 보이면 답도 맞다고 믿습니다: 과정이 그럴듯해도 틀릴 수 있어 결과를 따로 확인합니다

❓ 자주 묻는 질문

생각의 사슬과 추론 모드 가운데 무엇을 써야 하나요?

설정을 바꿀 수 있으면 추론 모드가 먼저입니다. 앤트로픽 문서는 적응형 사고가 프롬프트로 유도한 수동 추론보다 평가에서 나았다고 밝힙니다. 프롬프트 기법은 추론 모드가 꺼진 모델이나 설정을 건드릴 수 없는 환경에서 쓰는 대체 수단입니다.

추론 모드를 켜면 항상 정확해지나요?

아닙니다. 여러 단계를 거쳐야 하는 문제에서 정확도가 오르고, 답이 한 단계로 정해지는 작업에서는 차이가 거의 없습니다. 반복 작업이라면 켜고 끄고 두 번 돌려 결과를 견줘 본 뒤 정합니다.

제미나이와 챗GPT에도 같은 설정이 있나요?

이름은 다르지만 비슷한 설정이 있습니다. 제미나이 앱에는 사고 모델과 사고 수준이 있고 확장된 사고는 사용량을 더 씁니다. 자세한 조건은 각 서비스의 도움말이 기준이고, 켜고 끄는 판단 기준은 이 글과 같습니다.

생각 과정을 화면에서 볼 수 있나요?

클로드 앱은 사고 토글을 켜면 답 위에 펼칠 수 있는 사고 구간이 나타나고 요약된 과정을 보여 줍니다. API에서는 응답에 사고 블록이 따로 들어오고, 최신 모델에서는 그 블록을 다음 요청에 그대로 돌려보내야 한다는 조건이 있습니다.

📋 3줄 요약

1. 생각의 사슬(Chain of Thought)은 모델이 답을 내기 전에 풀이 과정을 단계별로 먼저 적게 하는 프롬프트 기법이고 추론 모드는 같은 일을 모델 설정으로 켜는 기능이라 둘 다 여러 단계를 거치는 문제에서 정확도를 올리는 대신 응답이 느려지고 사용량이 늘어납니다.

2. 2026년 9월 28일 기준 클로드 4.6 이후 모델은 언제 얼마나 생각할지 스스로 정하는 적응형 사고를 쓰고 깊이는 effort로 조절하며, 앱에서는 전송 버튼 옆 모델 메뉴에서 effort와 사고 토글을 바꾸고 예전의 budget_tokens 방식은 4.7 이후 오류를 돌려줍니다.

3. 조건이 얽힌 계산과 긴 자료 해석과 코딩에는 켜고 분류와 번역과 짧은 초안에는 끄며, 프롬프트에서는 단계를 손으로 정해 주기보다 "충분히 생각한 뒤 답하라"는 일반 지시와 답하기 전 스스로 검증하라는 요청이 더 잘 통합니다.

📚 참고 자료

• Prompting best practices: Thinking and reasoning, Claude Platform Docs
• Extended thinking, Claude Platform Docs
• Change the model, effort, and thinking settings, Claude Help Center
• 확장 사고 정리, 준이아빠블로그

2026년 9월 28일 기준으로 공식 문서를 확인했습니다.