프롬프트 캐시(Prompt Caching) 뜻과 비용이 줄어드는 조건

🤔 같은 작업인데 어떤 날은 싸고 빠르고 어떤 날은 비싸고 느릴 때

에이전트로 비슷한 크기의 작업을 했는데 사용량 표시가 어떤 날은 조금만 줄고 어떤 날은 크게 줄어들기도 합니다. 같은 질문에 답이 바로 나올 때도 있고 한참 멈춰 있다가 나올 때도 있습니다. 작업이 어려워져서가 아니라, 대부분 프롬프트 캐시가 살아 있었는지 깨졌는지의 차이입니다.

에이전트 루프는 한 바퀴를 돌 때마다 도구 정의와 그때까지의 대화 전체를 다시 보냅니다. 세션이 길어질수록 같은 앞부분을 수십 번 반복해서 보내는 셈이라, 에이전트를 쓰는 비용에서 캐시가 차지하는 몫이 큽니다. 이 편에서는 캐시가 언제 적중하고 언제 깨지는지를 원리부터 봅니다. 클로드 코드와 코덱스의 실제 세션 비용 계산은 프롬프트 캐시 정리에 있습니다.

🔑 프롬프트 캐시의 정의

프롬프트 캐시는 이미 보낸 요청의 앞부분을 서버가 계산해 보관했다가, 다음 요청의 앞부분이 똑같으면 다시 계산하지 않고 꺼내 쓰는 기능입니다.

캐시(cache)는 자주 쓰는 결과를 가까운 곳에 보관해 두고 다시 쓰는 방식을 가리킵니다. 모델은 요청을 받으면 입력 전체를 먼저 훑어 계산한 뒤에 답을 만들기 시작하는데, 입력이 길수록 이 계산에 시간이 걸립니다. 앞부분의 계산 결과를 보관해 두면 다음 요청에서는 새로 붙은 뒷부분만 계산하면 되므로 요금과 대기 시간이 함께 줄어듭니다.

보관하는 것은 답이 아니라 입력을 계산한 중간 결과입니다. 답은 매번 새로 만들어지므로, 캐시가 적중해도 같은 질문에 같은 답이 돌아온다는 뜻은 아닙니다.

📚 앞부분부터 똑같아야 적중하는 원리

캐시는 요청을 앞에서부터 비교합니다. 이런 방식을 프리픽스(prefix, 앞부분) 일치라고 부릅니다. 첫 글자부터 순서대로 지난번과 같은 곳까지만 캐시를 쓰고, 달라진 지점부터는 전부 새로 계산합니다.

책꽂이에 전집을 1권부터 순서대로 꽂아 둔 모습을 떠올리면 이해가 쉽습니다. 맨 끝에 새 권을 하나 꽂는 일은 금방이지만, 3권을 바꿔 끼우려면 그 뒤의 책을 전부 꺼냈다가 다시 꽂아야 합니다. 그래서 요청 안에서 무엇이 앞에 오는지가 중요합니다. 앤트로픽 API에서 요청은 다음 순서로 쌓입니다.

1. 도구 정의: 쓸 수 있는 도구 목록과 설명
2. 시스템 지시: 기본 지침과 프로젝트 지침 파일
3. 대화: 지금까지 주고받은 메시지와 도구 결과, 그리고 새 메시지

에이전트가 한 바퀴를 돌면 3번의 맨 끝에 새 내용이 붙습니다. 앞의 1, 2번과 대화의 앞부분은 그대로이므로 거의 전부 캐시에서 꺼내 쓸 수 있습니다. 반대로 1번의 도구 목록이 바뀌면 그 뒤의 시스템 지시와 대화까지 모두 다시 계산해야 합니다.

💰 캐시 요금이 계산되는 방식

2026년 9월 28일 앤트로픽 요금 문서 기준 가격입니다. 100만 토큰당 달러입니다.

규칙은 배수로 보면 간단합니다. 캐시를 처음 만들 때는 기본 입력 단가에 5분 보관이면 1.25배, 1시간 보관이면 2배를 냅니다. 캐시에서 읽을 때는 0.1배이고, 오퍼스 5.5는 0.05배로 더 낮습니다. 출력에는 캐시가 적용되지 않습니다.

공식 문서는 손익분기도 밝혀 두었습니다. 5분 캐시는 한 번만 다시 읽어도 본전을 넘기고, 1시간 캐시는 두 번 다시 읽으면 넘깁니다. 한 번 보내고 끝낼 요청이라면 캐시를 만드는 비용만 더 나갑니다.

오퍼스 5로 12만 토큰이 쌓인 세션을 예로 들면 차이가 분명합니다. 캐시에서 읽으면 12만 토큰 입력이 약 0.06달러이고, 캐시가 깨져 1시간 캐시로 새로 저장하면 약 1.2달러입니다. 같은 한 번의 요청이 20배 차이가 납니다. 가상의 계산이며 출력 요금은 빼고 입력만 비교했습니다.

🔨 캐시를 깨는 변경

앞부분이 조금이라도 바뀌면 캐시가 깨집니다. 앤트로픽 문서가 정리한 변경별 영향은 다음과 같습니다.

이 밖에도 시스템 지시를 고치면 그 뒤의 대화가 모두 다시 계산됩니다. 세션 중간에 CLAUDE.md 같은 지침 파일을 고치는 일이 여기에 해당합니다. 캐시는 모델마다 따로 만들어지므로 모델을 바꿔도 처음부터 다시 쌓입니다.

캐시가 걸리려면 최소 길이도 넘어야 합니다. 2026년 9월 28일 문서 기준으로 오퍼스 5와 5.5는 512토큰, 소네트 5는 1,024토큰, 하이쿠 4.5는 4,096토큰보다 짧은 앞부분은 캐시 대상에서 빠집니다.

⏱️ 도구마다 다른 유효 시간

캐시는 무기한 보관되지 않습니다. 마지막으로 쓴 뒤 정해진 시간이 지나면 사라지고, 그 뒤의 요청은 처음부터 다시 계산합니다.

2026년 9월 28일 각 공식 문서 기준입니다. OpenAI는 캐시를 따로 켤 필요 없이 1,024토큰 이상인 요청에 자동으로 적용하고, 캐시 쓰기 1.25배와 읽기 0.1배라는 구조는 앤트로픽과 같습니다. 클로드 코드의 한도와 사용 크레딧 구조는 클로드 코드 플랜과 사용량 한도에서 다뤘습니다.

✅ 에이전트 작업에서 캐시를 살리는 습관

원리를 알면 지킬 것이 몇 가지로 모입니다.

• 바뀌지 않는 것을 앞에 둡니다: 직접 에이전트를 만든다면 도구 정의와 고정 지시를 앞에, 매번 바뀌는 날짜나 사용자 정보를 뒤에 둡니다
• 설정은 세션을 시작하기 전에 바꿉니다: 도구 추가, 모델 변경, 지침 파일 수정은 작업 도중이 아니라 시작 전에 몰아서 합니다
• 한 주제는 한 번에 몰아서 합니다: 유효 시간 안에 이어서 요청해야 캐시를 계속 씁니다. 생각날 때마다 한 번씩 요청하면 매번 처음부터 계산합니다
• 주제가 바뀌면 대화를 비웁니다: 캐시 적중분도 공짜는 아니라서, 참고할 필요가 없는 긴 대화를 끌고 가면 매 요청 읽는 양이 계속 커집니다

⚠️ 캐시를 두고 자주 하는 오해

• 구독이라 상관없다고 봅니다: 구독 사용자는 청구서 대신 사용량 한도가 줄어듭니다. 캐시가 깨질 때마다 같은 작업에 한도를 더 씁니다
• 캐시를 살리려고 대화를 계속 이어 갑니다: 앞의 대화가 필요 없는데도 이어 가면 읽는 양이 늘어납니다. 참고할 내용이 있을 때만 이어 갑니다
• 캐시가 오래된 파일 내용을 보여 줄까 걱정합니다: 캐시는 이미 보낸 앞부분을 다시 계산하지 않을 뿐입니다. 파일을 새로 읽으면 그 결과는 새 내용으로 대화 뒤에 붙습니다

❓ 자주 묻는 질문

캐시는 따로 켜야 하나요?

도구마다 다릅니다. 클로드 코드와 OpenAI API는 자동으로 적용되고, 앤트로픽 API를 직접 쓸 때는 요청에 캐시 표시를 넣어야 합니다. 앤트로픽 API는 요청 맨 위에 표시 하나만 넣으면 알아서 적용하는 자동 방식도 제공하고, 직접 위치를 지정할 때는 최대 네 곳까지 표시할 수 있습니다.

같은 질문에 답이 바로 나오다가 갑자기 느려지면 무엇을 의심하나요?

대개 캐시가 깨진 상태입니다. 캐시를 읽으면 입력 전체를 훑는 계산을 건너뛰는데, 대화가 길수록 이 계산이 대기 시간의 대부분을 차지합니다. 직전에 모델을 바꿨는지, 도구나 지침 파일을 바꿨는지, 유효 시간보다 오래 자리를 비웠는지를 되짚으면 원인이 보입니다.

1시간 캐시와 5분 캐시 가운데 무엇을 고르나요?

같은 앞부분을 5분 안에 다시 쓸 일이 많으면 5분 캐시가 싸고, 확인하거나 기다리느라 요청 사이 간격이 5분을 넘기는 작업이면 1시간 캐시가 낫습니다. 1시간 캐시는 만들 때 2배를 내므로 두 번 이상 다시 읽어야 본전을 넘깁니다.

📋 3줄 요약

1. 프롬프트 캐시는 이미 보낸 요청의 앞부분을 서버가 보관했다가 다음 요청의 앞부분이 똑같으면 다시 계산하지 않고 꺼내 쓰는 기능이고 앞에서 한 글자만 달라져도 그 뒤는 적중하지 않습니다.

2. 2026년 9월 28일 앤트로픽 요금 기준 캐시 적중분은 입력 단가의 0.1배이고 캐시를 만들 때는 5분 보관이 1.25배, 1시간 보관이 2배라서 각각 한 번과 두 번 다시 읽으면 본전을 넘깁니다.

3. 에이전트는 한 바퀴마다 도구 정의와 대화 전체를 다시 보내므로 세션 중간에 도구나 지침 파일을 바꾸지 않고 한 주제를 한 번에 몰아서 작업할수록 비용과 대기 시간이 줄어듭니다.

📚 참고 자료

• 앤트로픽 개발자 문서, Prompt caching: https://platform.claude.com/docs/en/build-with-claude/prompt-caching
• 앤트로픽 개발자 문서, Pricing: https://platform.claude.com/docs/en/about-claude/pricing
• 클로드 코드 문서, Manage costs: https://code.claude.com/docs/en/costs
• OpenAI, Prompt caching: https://developers.openai.com/api/docs/guides/prompt-caching