긴 문서 프롬프트 설계하기: 문서 배치, 요약 사슬, 테스트와 템플릿

Q: 프롬프트 템플릿은 어떻게 만들고 어디에 두나요?

시험을 통과한 프롬프트에서 매번 바뀌는 곳만 변수 칸으로 비웁니다. 앤트로픽 문서의 예시는 `{{ANNUAL_REPORT}}`처럼 이중 중괄호와 대문자로 변수를 표시합니다. 회의록 요약이라면 출처, 원문, 형식, 받을 사람이 변수이고, "결정 사항만 뽑는다", "담당자가 없으면 확인 필요로 적는다" 같은 규칙은 고정합니다.

긴 문서 프롬프트 설계는 AI에게 수십 쪽의 자료를 줄 때 필요한 부분만 고르고, 문서마다 출처를 붙여 앞에 두고, 질문은 끝에 두며, 한 번에 다루기 어려운 자료는 나눠 요약한 뒤 합치는 방법입니다. 같은 요청을 자주 쓰면 시험 입력으로 통과 여부를 확인한 뒤 변수 칸이 있는 템플릿으로 저장합니다.

같은 말:긴 문서 프롬프트요약 프롬프트PDF 요약 프롬프트제미나이 요약 프롬프트회의록 요약 프롬프트요약 사슬Lost in the Middle프롬프트 테스트프롬프트 템플릿

홍승협(준이아빠)게시 2026.10.02수정 2026.10.22코스 4 / 6번째 개념

아직 읽은 기록이 많지 않은 개념이에요

#AI #자동화 #마케팅 실무

준이아빠AI가 일하는 법AI 친구들의 작업실 구경하기 ↗

긴 문서에서 AI는 왜 가운데를 놓치나요?
컨텍스트 창이 크면 다 넣는 게 낫나요?
긴 PDF나 회의록을 요약하는 프롬프트는 어떻게 쓰나요?
요약 사슬은 언제 쓰나요?
고친 프롬프트가 나아졌는지 어떻게 확인하나요?
프롬프트 템플릿은 어떻게 만들고 어디에 두나요?
다음 긴 자료에서 직접 해 보기
📚 참고 자료

긴 문서 프롬프트 설계는 AI에게 수십 쪽의 자료를 줄 때 무엇을 넣고, 어떤 순서로 놓고, 어떻게 확인할지 정하는 방법입니다. 컨텍스트 창(AI가 한 번에 읽을 수 있는 분량)이 100만 토큰까지 커졌어도, 앤트로픽 문서는 "맥락이 많다고 저절로 좋아지지 않는다"고 씁니다. 이 글은 가운데 정보를 놓치는 현상을 실측 수치로 보고, 출처 꼬리표와 인용 먼저 뽑기, 요약 사슬, 그리고 자주 쓰는 요청을 시험하고 템플릿으로 저장하는 법까지 다룹니다.

프롬프트 설계 실무

긴 문서,
가운데가 잘 안 보입니다

서가에 문서 20개를 꽂고, 그중 한 문서에만 있는 답을 물었습니다.
정답 문서의 위치를 옮겨 보세요.

질문이 문서들 가운데 답이 들어 있는 한 문서를 찾아 답해 줘.

문서 20개, ★이 정답 문서

정답 문서 위치

정답률75.8%

문서 없이 답할 때56.1%

맨 앞에 있으면 가장 잘 찾습니다.

자료를 많이 넣는다고 다 읽는 것은 아닙니다.
고르고, 꼬리표를 붙이고, 근거부터 뽑게 합니다.

Lost in the Middle(Liu 외, TACL 2024)의 GPT-3.5-Turbo 실험 값입니다. 2023년 모델 기준이며, 최신 모델은 문장 하나 찾기에서 크게 나아졌습니다.

다 넣는다고 더 잘 읽지는 않습니다

자료 분량만 늘려 보세요.
질문과 답이 같은데도 점수가 달라집니다.

짧은 자료

GPT-4o, NoLiMa 시험

99.3%

짧은 자료에서는 거의 다 맞힙니다.

"more context isn't automatically better. As token count grows, accuracy and recall degrade, a phenomenon known as context rot."
맥락이 많다고 저절로 좋아지지 않습니다. 토큰이 늘수록 정확도와 기억이 떨어지며, 이를 컨텍스트 부패(context rot)라고 합니다.

Anthropic, Context windows

NoLiMa(ICML 2025)는 질문과 정답의 낱말이 겹치지 않게 만든 시험입니다. Chroma 보고서(2025)도 18개 모델 모두 약 300토큰의 필요한 부분만 준 쪽이 약 11만 3천 토큰 전체를 준 쪽보다 점수가 높았다고 밝혔습니다.

문서마다 출처 꼬리표, 답하기 전에 인용부터

분기 보고서 두 편과 회의록을 색인 카드처럼 나눠 넣었습니다.
"인용부터 뽑게 하기"를 눌러 보세요.

<source>q2_report.pdf</source>

2분기 마케팅 보고서

광고비 1억 2천만 원, 검색 광고 비중 60%

<source>q3_report.pdf</source>

3분기 마케팅 보고서

광고비 1억 5천만 원, 신제품 출시 캠페인 집행

<source>meeting_0905.txt</source>

9월 5일 회의록

신제품 출시에 맞춰 영상 광고 예산을 늘리기로 결정

질문(맨 끝)3분기 광고비가 늘어난 이유를 근거와 함께 알려 줘.

AI의 답(예시)

3분기에는 광고 효율을 높이기 위해 전반적으로 예산을 늘린 것으로 보입니다.

"For long document tasks, ask Claude to quote relevant parts of the documents first before carrying out its task."
긴 문서 작업에서는 일을 하기 전에 문서의 관련 부분을 먼저 인용하게 하세요.

Anthropic, Prompting best practices

앤트로픽 문서는 여러 문서를 넣을 때 문서마다 document 태그로 감싸고 source 같은 출처 정보를 붙이라고 권합니다. 보고서와 답은 학습용 가상 예시입니다.

한 번에 어려우면 나눠 요약하고 합칩니다

세 장으로 된 긴 보고서를 장마다 요약한 뒤 합칩니다.
합칠 때 규칙 하나를 켜고 꺼 보세요.

1장 시장 현황
국내 협업 툴 시장 규모와 경쟁사 세 곳 비교
시장이 커지고 있고 경쟁이 치열함
2장 우리 실적
분기별 가입자 수와 해지율 추이
가입자가 꾸준히 늘었음
3장 다음 계획
4분기 목표와 예산 배분안
다음 분기에 성장을 이어 갈 계획

마지막 요약

시장이 커지는 가운데 가입자가 꾸준히 늘었고, 다음 분기에도 성장을 이어 갈 계획입니다.

단계마다 조금씩 줄이다 보니 숫자와 날짜가 모두 사라졌습니다. 이 요약으로는 아무것도 확인할 수 없습니다.

오픈AI 쿡북은 긴 문서를 한 번에 요약하면 길이에 비해 지나치게 짧은 요약이 나온다며 조각으로 나눠 요약하는 방법을 보여 줍니다. 앤트로픽은 이런 나누기를 중간 결과를 검사해야 할 때 쓰라고 씁니다. 보고서 수치는 가상 예시입니다.

고친 프롬프트가 정말 나은지 시험하기

매주 쓰는 회의록 요약 프롬프트를 고쳤습니다.
같은 시험 입력 다섯 건에 A안과 B안을 돌려 보세요.

성공 기준(앤트로픽)

Specific무엇을 잘해야 하는지 구체적으로
Measurable숫자나 정해진 척도로 잴 수 있게
Achievable이전 결과나 업계 기준에 비춰 이룰 수 있게
Relevant실제 업무 목적에 맞게

나쁜 기준: 요약을 잘해야 한다좋은 기준: 결정 사항을 하나도 빠뜨리지 않고, 회의록에 없는 담당자를 만들지 않는다

"회의록을 요약해 줘."

결정 세 건, 담당자 모두 있음결정 세 건 모두 정리
결정 두 건, 담당자 없음없는 담당자 "박 대리"가 붙음
잡담이 절반인 회의잡담까지 요약에 섞임
결정 없이 끝난 회의논의 내용을 결정처럼 씀
영어와 한국어가 섞인 회의록결정 두 건 정리

통과 2 / 5

코드 채점가장 빠르고 믿을 만하지만 미묘한 차이는 못 봅니다.
사람 채점가장 유연하고 정확하지만 느리고 비쌉니다.
AI 채점빠르고 복잡한 판단도 하지만 먼저 믿을 만한지 시험합니다.

성공 기준 네 가지와 채점 방식 세 가지는 앤트로픽 문서 기준입니다. 같은 문서는 손으로 공들인 소수 문항보다 자동 채점이 가능한 많은 문항을 권합니다. 시험 결과는 학습용 예시이며, B안도 다섯 번째 입력에서 새 문제가 보입니다.

잘 된 프롬프트는 변수 칸이 있는 템플릿으로

시험을 통과한 프롬프트에서 매번 바뀌는 곳만 빈칸으로 남깁니다.
변수 칸을 눌러 값을 바꿔 보세요.

회의록 요약 템플릿

<회의록 출처="{{SOURCE}}"> {{MINUTES}} </회의록> 위 회의록에서 결정 사항만 뽑아 {{FORMAT}}으로 정리해 줘. 담당자와 기한이 없으면 "확인 필요"로 적어 줘. 받을 사람: {{READER}}

완성된 프롬프트

<회의록 출처="주간 회의 10월 20일"> 회의록 원문 붙여 넣기 </회의록> 위 회의록에서 결정 사항만 뽑아 세 줄 목록으로 정리해 줘. 담당자와 기한이 없으면 "확인 필요"로 적어 줘. 받을 사람: 팀장

앤트로픽 문서의 예시처럼 이중 중괄호와 대문자로 변수를 표시했습니다. 템플릿은 프로젝트 지침이나 공유 문서 한 곳에 두고 고친 날짜를 적어 둡니다. 오픈AI는 API의 프롬프트 저장 기능을 2026년 11월 30일에 끝낸다고 공지했습니다.

정리

1
긴 자료는 다 넣기보다 필요한 부분을 고릅니다. 가운데 둔 정보는 놓치기 쉽고, 자료가 길어질수록 정확도가 떨어집니다.
2
문서마다 출처 꼬리표를 붙여 앞에 두고, 질문은 끝에 두고, 답하기 전에 인용부터 뽑게 합니다. 나눠 요약할 때는 숫자와 날짜를 그대로 옮기게 합니다.
3
자주 쓰는 요청은 성공 기준과 시험 입력으로 고치기 전후를 비교한 뒤, 변수 칸이 있는 템플릿으로 저장합니다.

다음 수업 프롬프트 인젝션 →

긴 문서에서 AI는 왜 가운데를 놓치나요?

긴 입력에서 언어 모델은 앞과 끝의 정보는 잘 쓰지만 가운데 정보는 잘 못 쓰는 경향이 있었습니다. 2023년에 나온 Lost in the Middle 연구(Liu 외, TACL 2024 게재)는 문서 20개 가운데 한 곳에만 정답을 넣고 위치를 바꿔 가며 시험했습니다. GPT-3.5-Turbo의 정답률은 정답 문서가 1번째일 때 75.8%, 10번째일 때 53.8%, 20번째일 때 63.2%로 U자 모양을 그렸고, 가운데에 있을 때는 문서를 하나도 주지 않았을 때(56.1%)보다도 낮았습니다.

정답 문서 위치	1번째	5번째	10번째	15번째	20번째	문서 없음
GPT-3.5-Turbo 정답률	75.8%	57.2%	53.8%	55.4%	63.2%	56.1%

최신 모델은 이 문제가 많이 줄었습니다. 구글은 Gemini 1.5가, 오픈AI는 GPT-4.1이 100만 토큰 안의 어느 위치에서도 문장 하나를 거의 다 찾았다고 발표했습니다. 다만 찾을 항목이 여러 개거나 질문과 정답의 표현이 다르면 여전히 떨어집니다. 그래서 "최신 모델은 위치 문제가 사라졌다"고도, "여전히 그대로다"라고도 단정하지 않고, 중요한 문서는 앞에 두고 필요한 부분만 고르는 습관을 유지하는 편이 안전하다고 생각하는 편이에요.

컨텍스트 창이 크면 다 넣는 게 낫나요?

그렇지 않습니다. 앤트로픽 문서는 맥락이 많다고 저절로 좋아지지 않으며 토큰이 늘수록 정확도와 기억이 떨어진다고 쓰고, 이를 컨텍스트 부패(context rot)라고 부릅니다. 질문과 정답의 낱말이 겹치지 않게 만든 NoLiMa 시험(ICML 2025)에서는 13개 모델 중 11개가 3만 2천 토큰에서 짧은 자료 점수의 절반 아래로 떨어졌고, GPT-4o도 99.3%에서 69.7%로 내려갔습니다. Chroma 보고서(2025)는 18개 모델 모두 약 300토큰의 필요한 부분만 준 쪽이 약 11만 3천 토큰 전체를 준 쪽보다 점수가 높았다고 밝혔습니다.

서비스마다 한 번에 넣을 수 있는 양도 다릅니다. 2026년 10월 22일 기준으로 클로드 최신 모델의 API 컨텍스트 창은 100만 토큰이고, 제미나이 앱은 무료 3만 2천, Plus 12만 8천, Pro와 Ultra 100만 토큰입니다. 파일은 챗GPT가 파일당 512MB, 클로드 채팅이 파일당 500MB에 대화당 20개, 제미나이가 프롬프트당 10개에 파일당 100MB까지 올릴 수 있습니다. 컨텍스트 창의 원리는 컨텍스트 윈도우에서 다룹니다.

긴 PDF나 회의록을 요약하는 프롬프트는 어떻게 쓰나요?

자료는 앞에, 질문은 끝에 두고, 문서마다 출처 꼬리표를 붙인 뒤, 답하기 전에 관련 인용부터 뽑게 합니다. 앤트로픽 문서는 여러 문서를 넣을 때 문서마다 <document> 태그로 감싸고 <source> 같은 출처 정보를 붙이라고 권하며, 긴 문서 작업에서는 일을 하기 전에 문서의 관련 부분을 먼저 인용하게 하면 필요한 내용에 집중한다고 씁니다.

<documents>
<document index="1">
<source>q3_report.pdf</source>
<document_content>(3분기 보고서 본문)</document_content>
</document>
<document index="2">
<source>meeting_0905.txt</source>
<document_content>(9월 5일 회의록)</document_content>
</document>
</documents>

먼저 질문과 관련된 문장을 출처와 함께 <인용> 안에 그대로 옮겨 줘.
그다음 인용만 근거로 3분기 광고비가 늘어난 이유를 세 줄로 정리해 줘.
인용으로 확인할 수 없는 내용은 "확인 필요"로 적어 줘.

질문 위치는 회사마다 조금 다르게 권합니다. 앤트로픽과 구글은 질문을 자료 끝에 두라고 하고, 오픈AI의 GPT-4.1 가이드는 지시를 자료 앞뒤에 모두 두되 한 번만 쓴다면 위에 두라고 합니다. 앞뒤 배치의 근거는 프롬프트 구조 설계에서 다뤘습니다. 질문에 맞는 부분만 자동으로 찾아 넣는 방식은 RAG입니다.

요약 사슬은 언제 쓰나요?

한 번에 넣기 어렵거나, 한 번에 요약하면 너무 짧아지는 자료에 씁니다. 오픈AI 쿡북은 긴 문서를 한 번에 요약하면 길이에 비해 지나치게 짧은 요약이 나온다며, 문서를 조각으로 나눠 각각 요약한 뒤 합치는 방법을 보여 줍니다. 앤트로픽은 최신 클로드가 여러 단계 추론을 대부분 안에서 처리하므로, 프롬프트를 나누는 사슬은 중간 결과를 검사해야 하거나 정해진 순서를 강제해야 할 때 쓰라고 씁니다.

나눠 요약하면 단계마다 조금씩 줄이다가 숫자와 날짜가 사라지기 쉽습니다. 책 길이 요약을 연구한 BooookScore(ICLR 2024)는 조각 요약을 묶어 합치는 방식과 요약을 이어서 고쳐 가는 방식을 비교해, 뒤쪽이 세부는 더 살리지만 일관성 점수는 낮았다고 보고했습니다. 어느 방식이든 "숫자와 날짜는 고치지 말고 그대로 옮긴다" 같은 규칙을 넣고, 마지막 요약을 원문과 대조합니다.

고친 프롬프트가 나아졌는지 어떻게 확인하나요?

성공 기준을 먼저 정하고, 같은 시험 입력 여러 건에 고치기 전과 후를 돌려 비교합니다. 앤트로픽 문서는 좋은 성공 기준이 구체적이고(Specific), 잴 수 있고(Measurable), 이룰 수 있고(Achievable), 업무와 관련 있어야(Relevant) 한다고 씁니다. "요약을 잘해야 한다"는 나쁜 기준이고, "결정 사항을 하나도 빠뜨리지 않고 없는 담당자를 만들지 않는다"는 확인할 수 있는 기준입니다.

원칙	내용
실제 업무와 닮은 입력	잡담이 많은 회의, 결정 없이 끝난 회의처럼 경계 사례를 넣습니다
양을 우선	앤트로픽은 공들인 소수 문항보다 자동 채점이 가능한 많은 문항이 낫다고 씁니다
한 번에 하나만 바꾸기	무엇 때문에 좋아졌는지 알 수 있게 비교합니다(일반적인 실험 원칙)
채점 방식 고르기	코드 채점은 빠르고 믿을 만하지만 미묘한 차이를 못 보고, 사람 채점은 정확하지만 느리며, AI 채점은 빠르지만 먼저 믿을 만한지 시험합니다

같은 프롬프트도 결과가 조금씩 달라지므로 한 번 좋게 나온 결과로 확정하지 않습니다. 위 장면처럼 고친 B안이 네 건을 고치고 한 건에서 새 문제를 만들 수도 있습니다. 도구는 바뀔 수 있습니다. 오픈AI는 대시보드의 Evals 기능을 2026년 11월 30일에 끝낸다고 공지했으므로, 시험 입력과 결과는 스프레드시트나 공유 문서처럼 계속 쓸 수 있는 곳에 남깁니다.

프롬프트 템플릿은 어떻게 만들고 어디에 두나요?

시험을 통과한 프롬프트에서 매번 바뀌는 곳만 변수 칸으로 비웁니다. 앤트로픽 문서의 예시는 {{ANNUAL_REPORT}}처럼 이중 중괄호와 대문자로 변수를 표시합니다. 회의록 요약이라면 출처, 원문, 형식, 받을 사람이 변수이고, "결정 사항만 뽑는다", "담당자가 없으면 확인 필요로 적는다" 같은 규칙은 고정합니다.

템플릿은 한 곳에 두고 고친 날짜를 적습니다. 매번 같은 규칙이면 챗GPT나 클로드의 프로젝트 지침에 넣고, 특정 업무에만 쓰는 절차면 클로드 스킬처럼 필요할 때 불러오는 기능을 씁니다. 팀이 함께 쓰면 공유 문서 한 곳을 원본으로 정하고, 바꿀 때마다 위의 시험 입력으로 다시 확인합니다. 템플릿에 외부 자료를 끼워 넣을 때 그 자료 안의 지시를 AI가 따르는 문제는 다음 수업 프롬프트 인젝션에서 다룹니다.

다음 긴 자료에서 직접 해 보기

요약할 자료에서 질문과 관련 없는 장을 먼저 뺍니다.
남은 문서마다 출처 이름을 붙여 앞에 두고, 질문은 끝에 둡니다.
"관련 문장을 출처와 함께 먼저 인용한 뒤 답해 줘"를 더합니다.
인용된 문장을 원문에서 찾아 실제로 있는지 확인합니다.

인용이 원문과 맞고 답이 인용 안에서만 나왔다면, 그 프롬프트에 변수 칸을 만들어 템플릿으로 저장합니다.

📚 참고 자료

Lost in the Middle: How Language Models Use Long Contexts(Liu 외, TACL 2024): https://aclanthology.org/2024.tacl-1.9/
NoLiMa: Long-Context Evaluation Beyond Literal Matching(ICML 2025): https://arxiv.org/abs/2502.05167
Context Rot(Chroma, 2025): https://www.trychroma.com/research/context-rot
Context windows(Anthropic): https://platform.claude.com/docs/en/build-with-claude/context-windows
Prompting best practices(Anthropic): https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices
Define success criteria and build evaluations(Anthropic): https://platform.claude.com/docs/en/test-and-evaluate/develop-tests
Summarizing Long Documents(OpenAI Cookbook): https://developers.openai.com/cookbook/examples/summarizing_long_documents
GPT-4.1 Prompting Guide(OpenAI Cookbook): https://developers.openai.com/cookbook/examples/gpt4-1_prompting_guide
BooookScore(ICLR 2024): https://arxiv.org/abs/2310.00785
OpenAI Deprecations: https://developers.openai.com/api/docs/deprecations

2026년 10월 22일 위 공식 문서와 논문에서 권장 내용과 수치를 확인했습니다. 보고서, 회의록, 시험 결과와 AI의 답 문장은 이 글의 학습용 가상 예제입니다.

제대로 이해했는지 한 문제로 확인해 볼까요?

답을 고르면 바로 풀이가 나와요.

문서 20개를 넣고 질문했을 때, 2023년 연구(Lost in the Middle)에서 정답 문서가 어디에 있을 때 정답률이 가장 낮았나요?

예제나 확인 질문을 직접 시도한 뒤 완료 표시해요. 더 연습할 내용이 남으면 표시하지 않고 다음 글을 읽어도 됩니다. 완료 버튼은 이해도를 채점하지 않으며 잘못 표시하면 취소할 수 있어요.

5개념 / 클래스챗GPT, 클로드 스킬 만들기: 나만의 명령어 6가지와 규칙 쓰는 법