RAG(검색 증강 생성) 뜻과 파인튜닝의 차이
RAG는 질문에 관련된 자료를 검색해 모델의 답변 입력에 붙이는 방식입니다. 모델을 추가 학습시키는 파인튜닝과 달리 답할 때 참고할 정보를 가져옵니다.
같은 말:RAG 뜻검색 증강 생성RAG 파인튜닝 차이파인튜닝Retrieval-Augmented Generation
목차
🤔 내 문서를 근거로 AI가 답하게 하고 싶을 때
사내 규정이나 제품 매뉴얼을 근거로 AI가 답하게 만들고 싶을 때 가장 먼저 부딪히는 말이 RAG와 파인튜닝입니다. 둘 다 모델에 우리 자료를 알려 주는 방법처럼 들리지만, 바꾸는 대상이 다릅니다. 잘못 고르면 매주 바뀌는 요금표 때문에 모델을 매주 다시 학습시키거나, 답 형식이 매번 달라지는 문제를 자료만 더 붙여서 풀려는 일이 생깁니다.
에이전트에게도 이 구분은 중요합니다. 에이전트가 사내 문서를 찾아 읽고 판단하게 하려면 어떤 자료를 언제 어떻게 가져올지부터 정해야 하기 때문입니다. 이 편에서는 RAG가 무엇이고 파인튜닝과 어디서 달라지는지, 어떤 순서로 고르는지를 정리합니다. 고르는 기준과 문서의 관계를 이용하는 GraphRAG는 RAG와 파인튜닝 차이 정리에 더 자세히 있습니다.
🔑 RAG의 정의
RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 모델이 답을 만들기 전에 관련 자료를 검색해 답변의 입력에 붙여 주는 방식입니다.
AWS 공식 설명은 RAG를 대규모 언어 모델이 답을 만들기 전에 학습 데이터 밖의 신뢰할 수 있는 지식 기반을 참조하게 해 출력을 개선하는 과정으로 정의합니다. 핵심은 모델을 건드리지 않는다는 점입니다. 모델은 그대로 두고, 모델에 들어가는 입력에 찾아온 자료를 덧붙입니다.
파인튜닝(fine-tuning)은 바꾸는 대상이 다릅니다. 입력과 출력 예시를 모아 이미 완성된 모델에 추가로 학습시켜, 모델이 그 형식과 어투와 판단 방식을 따르게 만듭니다. 모델 자체가 바뀝니다.
📚 오픈북 시험과 몸에 밴 습관
시험에 비유하면 차이가 분명해집니다. RAG는 오픈북 시험입니다. 문제를 받으면 참고서에서 관련 쪽을 찾아 펼쳐 놓고 답을 씁니다. 참고서가 새 판으로 바뀌면 새 책을 들고 들어가면 되고, 답에 몇 쪽을 봤는지 적을 수도 있습니다.
파인튜닝은 시험 전에 답안 쓰는 연습을 반복해 습관을 들이는 쪽입니다. 서론, 본론, 결론 순서로 쓰는 습관은 몸에 배지만, 연습할 때 없던 새 사실을 알게 되지는 않습니다. 최신 내용을 계속 반영하는 용도로는 자료 갱신과 검색이 더 직접적일 수 있고, 답의 어느 부분이 어떤 연습에서 왔는지 가리키기도 어렵습니다.
| 항목 | RAG | 파인튜닝 |
|---|---|---|
| 바꾸는 대상 | 모델에 들어가는 입력 | 모델 자체 |
| 잘하는 일 | 최신 자료 반영, 출처 표시 | 형식 고정, 어투 통일, 분류 일관성 |
| 자료가 바뀔 때 | 원자료와 검색 색인을 갱신하고 검색 결과를 확인합니다 | 학습 내용 자체에 반영하려면 추가 학습이 필요합니다 |
| 출처 표시 | 가능합니다 | 어렵습니다 |
| 준비물 | 정리된 문서와 검색 장치 | 잘 만든 입출력 예시 |
🔁 RAG가 도는 네 단계
아래는 임베딩 검색을 쓰는 전형적인 구성입니다. 임베딩 없이 단어 검색이나 데이터베이스 조회로 관련 자료를 가져오는 RAG도 있습니다.
- 문서를 조각냅니다: 긴 문서를 청크(chunk)라고 부르는 작은 조각으로 나눕니다. 한 번에 다 넣을 수 없는 양을 필요한 부분만 꺼내 쓰기 위해서입니다
- 조각을 색인에 넣습니다: 색인은 자료를 다시 찾기 위한 목록이나 검색 구조입니다. 조각마다 임베딩을 만들어 저장합니다. 임베딩은 글의 특징을 숫자 목록으로 나타내 비슷한 내용을 찾게 하는 방식입니다. 가깝게 나온 조각이 질문의 정답을 담았는지는 따로 확인합니다
- 질문으로 찾습니다: 질문도 같은 방식으로 숫자로 바꾼 뒤 가까운 조각을 찾아옵니다. 단어가 그대로 일치하는지 보는 검색을 함께 쓰기도 합니다
- 찾은 조각을 붙여 답을 만듭니다: 질문과 찾아온 조각을 함께 모델에 보내고, 모델이 그 자료를 참고해 답하도록 요청합니다. 실제 답변이 자료와 일치하는지 확인해야 합니다
에이전트에서는 3번이 도구 호출로 들어갑니다. 에이전트가 문서 검색 도구를 필요할 때 불러 자료를 가져오는 구조입니다. 앤트로픽은 에이전트 개발 도구를 소개하면서, 뜻으로 찾는 검색을 붙이기 전에 에이전트가 파일을 직접 검색하고 필요한 부분만 읽는 방식부터 시작하라고 권했습니다. 코드 저장소처럼 파일 이름과 폴더가 잘 정리된 자료는 이 방식으로도 충분한 경우가 많습니다.
그림은 임베딩을 사용하는 RAG의 예시입니다. 검색된 자료의 품질과 답변의 근거를 함께 확인해야 합니다.
🧭 프롬프트, RAG, 파인튜닝을 고르는 순서
RAG와 파인튜닝 가운데 하나를 고르기 전에 더 간단한 방법이 두 가지 있습니다.
먼저 작은 자료를 직접 붙여 봅니다. 짧은 안내문 한 장은 별도 검색 시스템 없이 첨부하거나 요청에 붙여서 질문할 수 있습니다. 다만 자료가 들어가는지만 보지 말고 답변이 내용을 제대로 사용했는지 확인합니다. 컨텍스트 윈도우는 모델이 한 번에 참고할 수 있는 범위이며 지침과 대화 및 출력에 필요한 여유도 고려합니다. 페이지 수는 글과 그림의 양에 따라 달라져 고정 토큰 수로 환산하지 않습니다.
반복해서 보내는 같은 자료의 비용은 프롬프트 캐시의 영향을 받을 수 있습니다.
다음으로 지시문을 다듬습니다. OpenAI 모델 최적화 안내는 먼저 결과를 측정할 평가를 만들고, 프롬프트 엔지니어링만으로 충분할 수도 있다고 적고 있습니다. 파인튜닝 안내도 평가를 먼저 만들고 난 뒤에 파인튜닝에 투자하라고 강조합니다.
그다음 순서는 이렇게 정리됩니다.
| 상황 | 먼저 검토할 방식 |
|---|---|
| 작은 자료가 요청 범위에 들어가고 답변도 정확합니다 | 자료를 직접 붙이는 방식부터 확인합니다 |
| 자료가 많거나 자주 바뀌고 출처를 보여 줘야 합니다 | RAG |
| 답의 형식과 어투가 매번 달라집니다 | 지시문과 예시를 다듬고, 그래도 안 되면 파인튜닝 |
| 자주 바뀌는 사실과 검증 가능한 출처가 필요합니다 | 자료를 갱신하고 검색해 붙이는 방식을 검토합니다 |
파인튜닝은 형식뿐 아니라 특정 작업의 행동과 성능을 조정할 때도 사용합니다. RAG와 함께 쓸 수도 있습니다. 시작하려면 해당 공급사의 현재 지원 모델과 제공 조건 및 학습 자료와 평가 비용을 확인합니다. 초보자의 첫 문서 질의에 추가 학습이 필수인 것은 아닙니다.
🔧 검색 실패와 답변 오류를 나눠 보기
RAG를 붙였는데 답이 시원치 않다면 모델보다 검색부터 봅니다. 앤트로픽은 2024년 9월 공개한 맥락 검색(Contextual Retrieval) 기법에서 검색 방식에 따라 실패율이 얼마나 달라지는지 수치로 밝혔습니다. 실패율은 관련 조각이 상위 20개 검색 결과에 들어오지 못한 비율입니다.
| 검색 구성 | 검색 실패율 | 기존 방식 대비 |
|---|---|---|
| 기존 조각 검색 | 5.7% | 기준 |
| 조각마다 맥락 설명을 붙인 임베딩 | 3.7% | 35% 감소 |
| 위에 단어 일치 검색(BM25)을 더함 | 2.9% | 49% 감소 |
| 위에 결과 재정렬을 더함 | 1.9% | 67% 감소 |
맥락 설명은 "이 조각은 2024년 2분기 실적 보고서의 매출 부분"처럼 조각이 어디서 왔는지 알려 주는 한두 문장입니다. 조각을 자르면서 잃어버린 앞뒤 사정을 되살려 주는 셈입니다. 이 수치는 해당 실험의 검색 결과이며 답변 전체의 오류율이 아닙니다. 관련 조각을 찾아도 모델이 잘못 해석하거나 오래된 자료를 인용할 수 있습니다.
⚠️ RAG를 붙일 때 자주 하는 실수
- 문서 정리 없이 붙입니다: 같은 내용의 문서가 여러 판으로 흩어져 있으면 낡은 판이 검색되어 답에 들어갑니다
- 검색 결과를 확인하지 않습니다: 답이 틀렸을 때 모델이 틀린 것인지, 애초에 엉뚱한 조각을 찾아온 것인지를 나눠 봐야 고칠 곳이 보입니다
- 형식 문제를 RAG로 풀려 합니다: 답의 형식이 들쭉날쭉하면 관련 자료만 늘리기 전에 지시와 출력 예시부터 확인합니다
- 출처를 버립니다: RAG의 큰 장점이 근거 문서를 보여 줄 수 있다는 점인데, 답만 남기면 사람이 확인할 방법이 사라집니다
❓ 자주 묻는 질문
사내 문서를 AI가 읽게 하려면 파인튜닝을 해야 하나요?
추가 학습이 필수는 아닙니다. 작은 자료는 직접 붙여 답을 확인하고 자료가 많아지면 검색을 검토합니다. 최신 원자료와 검색 색인을 함께 관리하고 갱신 내용이 실제로 검색되는지 확인합니다.
클로드 프로젝트에서 RAG를 따로 켜야 하나요?
켤 필요가 없습니다. 앤트로픽 도움말은 클로드 프로젝트에 올린 자료가 컨텍스트 한계에 가까워지면 RAG가 자동으로 켜지고, 저장할 수 있는 분량이 최대 10배까지 늘어난다고 설명합니다. 플랜과 현재 제공 조건은 연결된 프로젝트 수업과 공식 도움말에서 확인합니다.
RAG를 쓰면 할루시네이션이 사라지나요?
줄어들 수는 있지만 사라지지는 않습니다. 엉뚱한 조각을 찾아오면 모델은 그 자료를 근거로 그럴듯한 답을 만들고, 찾아온 자료에 없는 내용을 덧붙이기도 합니다. 출처를 함께 보여 주게 하고 링크가 열리는지뿐 아니라 그 문서가 답의 주장을 실제로 뒷받침하는지 확인합니다. 원인은 할루시네이션에서 다뤘습니다.
📝 공지 두 개에서 근거 찾기
메모장에 가상 자료 두 개를 적습니다. 공지 A, 10월 1일: 모임은 10월 12일 오후 2시, 장소 미정과 공지 B, 10월 3일: 같은 모임 장소는 도서관 2층으로 확정입니다. 질문은 ‘모임의 시각과 장소는 무엇인가요?’입니다.
시각의 근거는 A이고 장소의 근거는 B입니다. 답을 ‘10월 12일 오후 2시, 도서관 2층’이라고 쓰고 각 항목 옆에 A와 B를 표시합니다. B만 찾았다면 시각 근거가 없고 A만 찾았다면 확정 장소를 놓칩니다. 검색할 자료를 고르는 일과 골라 온 자료로 답하는 일을 나눠 봅니다.
이미 쓰는 AI 채팅이 있다면 두 공지를 붙이고 ‘이 자료만 근거로 답하고 A 또는 B를 표시해 줘’라고 요청할 수도 있습니다. 이는 자료 대조 연습이며 직접 붙여 넣었다는 이유만으로 검색 시스템을 구축한 것은 아닙니다.
이번에는 B가 ‘장소 확정 공지는 취소됐고 다시 미정’으로 바뀌었다고 가정합니다. 답의 장소는 미정이어야 합니다. 이전 답을 그대로 썼다면 B를 다시 대조해 고칩니다. 자료에 없는 준비물을 물으면 확인할 수 없다고 답하는지도 확인합니다.
📋 3줄 요약
-
RAG는 질문과 관련된 자료를 검색해 모델이 답할 때 참고할 입력에 붙이는 방식입니다.
-
검색된 자료의 버전과 출처를 확인하고 답변의 각 주장이 실제 근거와 맞는지 대조합니다.
-
작은 자료를 직접 붙여 먼저 확인하고 검색과 추가 학습의 필요성은 과제와 평가 결과로 판단합니다.
📚 참고 자료
공식 자료 확인: 2026년 10월 3일. 검색 실패율은 2024년 실험 결과입니다.
제대로 이해했는지 한 문제로 확인해 볼까요?
답을 고르면 바로 풀이가 나와요.
매주 바뀌는 요금표와 환불 규정을 근거로 고객 문의에 답하고, 답마다 어느 문서를 참고했는지 함께 보여 줘야 합니다. 먼저 검토할 방식은 무엇일까요?
예제나 확인 질문을 직접 시도한 뒤 완료 표시해요. 더 연습할 내용이 남으면 표시하지 않고 다음 글을 읽어도 됩니다. 완료 버튼은 이해도를 채점하지 않으며 잘못 표시하면 취소할 수 있어요.
