긴 문서 프롬프트 설계하기: 나누기, 요약 사슬, 컨텍스트 한도

🤔 긴 자료를 올렸는데 앞부분을 놓칠 때

200쪽짜리 계약서를 올리고 조항 사이의 관계를 물었는데 뒤쪽 조항만 근거로 든 답이 옵니다. 회의록 40개를 한 번에 넣었더니 최근 회의 위주로 정리됩니다. 파일이 아예 올라가지 않거나 "대화가 너무 길다"는 안내가 뜨기도 합니다.

세 가지는 원인이 다릅니다. 하나는 자료가 모델이 한 번에 읽는 양을 넘은 것이고, 다른 하나는 들어가기는 했는데 프롬프트 안의 위치 때문에 놓친 것이며, 마지막은 자료 안에서 필요한 부분을 찾지 못한 것입니다. 원인마다 고치는 방법이 다릅니다.

🔑 긴 문서 프롬프트 설계의 정의

긴 문서 프롬프트 설계는 컨텍스트 윈도우에 다 들어가지 않거나 들어가도 앞부분을 놓치기 쉬운 긴 자료를 나누어 넣고, 인용을 먼저 뽑게 하고, 부분 요약을 이어 붙이는 방식으로 다루는 작성법입니다.

컨텍스트 윈도우는 모델이 한 대화에서 동시에 읽어 두는 글의 양입니다. 2026년 9월 28일 앤트로픽 도움말 기준으로 클로드 유료 요금제의 최신 모델은 최대 100만 토큰을 지원하고 일부 모델은 50만이나 20만 토큰입니다. 토큰은 한국어 한 글자가 한두 개쯤이라 100만 토큰이면 A4 수백 장이 들어가지만, 대화 기록과 프롬프트와 답도 같은 창을 나눠 쓰므로 자료에 전부 쓸 수는 없습니다. 개념과 모델별 수치는 컨텍스트 윈도우 들여다보기에 있습니다.

📐 자료를 위에, 질문을 아래에 두는 이유

들어가기는 했는데 놓치는 문제는 대부분 순서로 풀립니다. 앤트로픽 공식 문서는 20,000토큰이 넘는 긴 문서를 다룰 때 자료를 프롬프트 맨 위에 두고 질문과 지시와 예시를 맨 끝에 두라고 권하고, 시험에서 이 배치가 답변 품질을 최대 30%까지 올렸으며 여러 문서를 넣을 때 특히 그렇다고 밝힙니다.

여러 문서를 넣을 때는 각각을 태그로 감싸고 출처를 붙입니다.

출처 태그가 있으면 답에 "9월 회의록 3번 항목"처럼 근거가 붙어 사람이 확인하기 쉽습니다. 자료를 그냥 이어 붙이면 모델도 어디까지가 한 문서인지 알기 어렵고 답에 출처도 남지 않습니다. 이 구조는 프롬프트 구조 설계의 자료 요소를 긴 자료에 맞게 늘린 것입니다.

🔎 답하기 전에 인용을 먼저 뽑게 하기

자료가 길수록 필요한 부분은 그 안의 일부입니다. 앤트로픽 문서가 권하는 방법은 답을 내기 전에 관련 부분을 먼저 인용하게 하는 것입니다. 인용을 먼저 뽑으면 모델이 그 부분에 집중하고 나머지를 무시하게 된다는 설명입니다.

이 방식의 장점은 두 가지입니다. 답의 근거가 원문 인용으로 함께 나오므로 사람이 대조할 수 있고, 인용에 없는 것을 넣지 말라는 조건이 지어낸 조항을 막습니다. 계약서와 규정처럼 한 글자가 중요한 자료에서 특히 쓸모가 있습니다.

🔗 한도를 넘는 자료는 요약 사슬로

자료가 창에 들어가지 않으면 나눠야 합니다. 나눈 조각을 하나씩 요약한 뒤 그 요약들만 모아 최종 답을 받는 방식을 요약 사슬이라고 부릅니다. 구글 제미나이 문서가 프롬프트 분해의 한 형태로 설명하는 연결 방식, 즉 앞 단계의 출력을 다음 단계의 입력으로 넘기는 구조와 같습니다.

순서는 네 단계입니다.

1. 의미 단위로 나눕니다. 글자 수로 자르지 않고 장이나 절, 회의 한 건처럼 내용이 끊기지 않는 단위로 나눕니다. 자르는 지점에서 문맥이 끊기면 그 부분의 요약이 어긋납니다.
2. 조각마다 같은 형식으로 부분 요약을 받습니다. "이 장에서 결정된 것, 미해결 사항, 숫자가 나온 문장"처럼 뽑을 항목을 고정해 두면 나중에 합치기 쉽습니다.
3. 부분 요약을 모아 최종 질문을 합니다. 요약들을 다시 documents 구조로 감싸 맨 위에 두고 질문을 아래에 둡니다.
4. 최종 답의 근거를 원문에서 확인합니다. 요약을 거치는 동안 조건이 빠질 수 있으므로 중요한 숫자와 조건은 해당 조각의 원문으로 돌아가 대조합니다.

부분 요약 단계에서 "다른 장을 참조하는 문장"을 따로 뽑게 하는 이유가 있습니다. 조각으로 나누면 장 사이의 관계가 끊기는데, 참조를 표시해 두면 최종 단계에서 그 관계를 다시 이을 수 있습니다.

요약 사슬은 정보가 조금씩 빠지는 방식입니다. 한 번 요약할 때마다 세부가 줄어들므로 단계를 두 번 넘게 겹치지 않는 편이 안전하고, 자료가 창에 들어간다면 나누지 않고 통째로 넣는 쪽이 정확합니다.

🧰 자료 기반 도구가 더 맞는 경우

같은 자료를 여러 번 물어보거나 올린 자료만 근거로 답해야 하는 일이라면 프롬프트를 짜는 것보다 자료 기반 도구가 맞습니다. 구글의 노트북LM은 올린 자료만 근거로 답하고 답마다 원문 인용을 붙이며, 클로드 프로젝트는 지식 파일이 한도에 가까워지면 필요한 부분만 찾아 쓰는 방식으로 자동 전환되고 유료 요금제에서 용량이 최대 10배까지 늘어난다고 앤트로픽 도움말이 안내합니다.

판단 기준은 자료를 쓰는 횟수입니다. 한 번 물어보고 끝날 자료는 프롬프트에 넣고, 몇 주 동안 계속 물어볼 자료는 도구에 올려 둡니다.

📉 한도에 걸렸을 때 확인할 것

대화가 길어지면 나타나는 현상도 알아 두면 당황하지 않습니다. 앤트로픽 도움말은 코드 실행이 켜진 사용자의 경우 대화가 컨텍스트 한도에 가까워지면 클로드가 이전 메시지를 요약해 대화를 이어 가고, 화면에 생각을 정리하는 중이라는 안내가 뜨면 그 기능이 동작하는 것이라고 설명합니다. 요약된 앞부분은 세부가 줄어 있으므로, 중요한 조건은 그 시점에 다시 적어 주는 편이 안전합니다.

• 파일이 올라가지 않을 때: 자료가 한도를 넘은 것입니다. 나눠서 올리거나 필요한 장만 올립니다
• 앞부분을 놓칠 때: 위치 문제입니다. 자료를 위로, 질문을 아래로 옮기고 인용을 먼저 뽑게 합니다
• 답이 흐릿할 때: 자료 안에서 필요한 부분을 못 찾은 것입니다. 무엇에 관한 부분을 찾을지 질문에 적습니다
• 대화가 길어져 초반 조건을 잊을 때: 새 대화를 열고 자료와 조건을 처음부터 다시 넣는 편이 빠릅니다

긴 자료를 해석하는 작업은 추론이 필요한 편이라 추론 모드를 켤 후보이기도 합니다. 켜고 끄는 기준은 생각의 사슬과 추론 모드에 있습니다.

⚠️ 자주 하는 실수

• 질문을 위에 쓰고 자료를 아래에 붙입니다: 공식 문서가 권하는 순서와 반대입니다
• 문서 여러 개를 구분 없이 이어 붙입니다: 어디까지가 한 문서인지 모델이 알기 어렵고 답에 출처가 남지 않습니다
• 글자 수로 잘라 나눕니다: 문맥이 끊긴 조각의 요약이 어긋납니다. 장과 절 단위로 나눕니다
• 요약을 세 번 넘게 겹칩니다: 단계마다 세부가 빠져 최종 답이 원문과 멀어집니다
• 요약 사슬의 최종 답을 원문과 대조하지 않습니다: 중간에 빠진 조건은 결과만 보면 보이지 않습니다

❓ 자주 묻는 질문

100만 토큰이면 어떤 자료든 통째로 넣어도 되나요?

넣을 수는 있지만 대화 기록과 프롬프트와 답이 같은 창을 나눠 쓰므로 자료에 전부 쓸 수는 없습니다. 유료 요금제의 최신 모델이 100만 토큰이고 일부 모델은 50만이나 20만 토큰이며 무료 요금제와 다른 서비스는 더 작습니다. 넣을 수 있어도 자료를 위에 두고 인용을 먼저 뽑게 하는 원칙은 그대로 적용됩니다.

PDF를 텍스트로 바꿔서 넣어야 하나요?

서비스가 PDF를 직접 읽는다면 그대로 올려도 됩니다. 다만 표와 도면이 많은 PDF는 읽히는 모양이 달라질 수 있어 결과가 이상하면 텍스트로 변환해 태그 구조로 넣어 봅니다. 나눠야 할 만큼 길다면 텍스트로 바꾸는 편이 장 단위로 자르기 쉽습니다.

요약 사슬은 몇 단계까지 괜찮나요?

두 단계까지가 안전합니다. 조각별 부분 요약 한 번과 그 요약들을 모은 최종 답 한 번입니다. 그보다 자료가 크면 조각을 더 잘게 나누는 대신 부분 요약에서 뽑을 항목을 늘려 세부를 남기는 쪽이 낫습니다.

회의록처럼 계속 쌓이는 자료는 어떻게 다루나요?

매번 전부 넣지 않고 지난번 최종 요약과 새 회의록만 넣어 요약을 갱신하는 방식이 있습니다. 몇 달 동안 계속 물어볼 자료라면 프롬프트보다 자료 기반 도구에 올려 두고 인용으로 확인하는 편이 관리하기 쉽습니다.

📋 3줄 요약

1. 긴 문서 프롬프트 설계는 컨텍스트 윈도우에 다 들어가지 않거나 앞부분을 놓치기 쉬운 긴 자료를 나누어 넣고 인용을 먼저 뽑게 하고 부분 요약을 이어 붙이는 작성법이고, 2026년 9월 28일 기준 클로드 유료 요금제의 최신 모델은 한 대화에 최대 100만 토큰을 읽습니다.

2. 앤트로픽 공식 문서는 20,000토큰이 넘는 자료를 프롬프트 맨 위에 두고 질문을 맨 끝에 두면 답변 품질이 최대 30% 올랐다고 밝히고, 여러 문서는 document 태그에 출처를 붙여 감싸며 답하기 전에 관련 인용을 먼저 뽑게 하라고 권합니다.

3. 한도를 넘는 자료는 장 단위로 나눠 같은 형식으로 부분 요약을 받은 뒤 그 요약들만 모아 최종 답을 받는 요약 사슬로 다루고, 올린 자료만 근거로 답해야 하는 일이면 노트북LM 같은 자료 기반 도구가 맞습니다.

📚 참고 자료

• Prompting best practices: Long context prompting, Claude Platform Docs
• How do usage and length limits work?, Claude Help Center
• What are projects?, Claude Help Center
• Prompt design strategies: Break down prompts, Gemini API Docs
• 컨텍스트 윈도우 들여다보기, 준이아빠블로그

2026년 9월 28일 기준으로 공식 문서를 확인했습니다.