RAG(검색 증강 생성) 뜻: 작동 단계, 쉬운 예시와 어려운 예시, 파인튜닝과의 차이

사내 규정을 AI에게 물었더니 "일반적으로 많은 회사가..." 하는 답이 돌아온 적이 있을 겁니다. 규정 파일을 올리고 다시 물으면 이번에는 우리 회사 이야기를 하지만, 작년 버전 규정을 근거로 답하기도 합니다. 두 일 모두 원인은 같습니다. AI가 답을 쓸 때 어떤 자료를 보고 있는지가 답을 정합니다.

이 자료 문제를 푸는 대표적인 방법이 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 입니다. 이름은 어렵지만 하는 일은 단순합니다. 질문과 관련된 자료를 찾아서, 질문에 붙이고, 그 자료를 보고 답하게 합니다. 지금부터 RAG가 도는 다섯 단계를 시뮬레이터로 하나씩 눌러 보고, 쉬운 예시와 어려운 예시로 어디서 틀리고 어떻게 고치는지 자세히 설명합니다.

RAG(검색 증강 생성)는 찾아서 붙이고 답하는 방식입니다

RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 AI가 답을 쓰기 전에 질문과 관련된 자료를 찾아, 질문에 붙이고, 그 자료를 근거로 답을 만드는 방식입니다. 영어 이름의 세 단어가 순서대로 하는 일을 말해 줍니다.

RAG is a method that retrieves relevant information from a knowledge base and appends it to the user's prompt

RAG는 지식 베이스에서 관련 정보를 찾아 사용자의 질문에 덧붙이는 방법입니다

앤트로픽 맥락 검색(Contextual Retrieval) 소개 글(2026년 10월 22일 확인)

핵심은 모델을 바꾸지 않는다는 점입니다. 모델은 그대로 두고, 모델에 들어가는 입력에 찾아온 자료를 붙입니다. 그래서 자료가 바뀌면 문서만 바꾸면 되고, 답에 어느 문서를 봤는지 적을 수도 있습니다.

RAG라는 이름은 2020년 논문에서 나왔습니다

RAG라는 이름은 페이스북 AI 리서치(현 메타)와 유니버시티 칼리지 런던 연구진이 2020년 발표한 논문 「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」에서 붙었습니다. 이 논문은 같은 해 신경정보처리시스템학회(NeurIPS 2020)에 실렸습니다. 검색과 언어 모델을 함께 쓰는 연구는 이전에도 있었고, 이 논문은 그 방식을 글을 생성하는 모델에 적용해 RAG라는 이름을 붙였습니다.

논문은 AI가 쓰는 기억을 둘로 나눕니다.

• 모델 안의 기억(parametric memory): 학습하면서 모델 안의 숫자(매개변수)에 새겨진 지식입니다. 바꾸려면 다시 학습해야 합니다.
• 모델 밖의 기억(non-parametric memory): 따로 모아 둔 문서 색인입니다. 논문에서는 위키백과 전체를 검색할 수 있게 만든 색인을 썼습니다.

논문은 모델 안의 기억만 쓰는 모델이 기억을 쉽게 넓히거나 고치지 못하고, 답의 근거를 보여 주기 어렵고, 할루시네이션을 만들 수 있다고 지적합니다. 반면 모델 밖의 기억은 세상이 바뀔 때 갈아 끼워 지식을 새로 만들 수 있다고 적습니다. 지금 회사들이 쓰는 RAG도 같은 생각입니다. 바뀌는 지식은 모델 밖 문서에 두고, 필요할 때 찾아서 붙입니다.

AI 답은 학습한 지식, 검색 결과, 내가 준 자료에서 옵니다

RAG가 왜 필요한지는 AI 답의 출처를 나눠 보면 보입니다. AI 채팅의 답에는 보통 세 곳에서 온 정보가 섞입니다.

모델은 특정 시점까지 모은 글로 학습을 마치고 공개됩니다. 앤트로픽은 모델 비교표에 신뢰할 수 있는 지식 기준일(Reliable knowledge cutoff) 과 학습 데이터 기준일(Training data cutoff) 을 따로 적습니다. 앞의 날짜는 모델의 지식이 가장 넓고 믿을 만한 마지막 시점이고, 뒤의 날짜는 학습에 쓴 자료 전체의 범위입니다. 예를 들어 클로드 Opus 5.5는 두 값이 모두 2026년 6월입니다. 그 뒤에 바뀐 요금이나 규정은 모델 안에 없습니다. 우리 회사 사내 문서는 처음부터 학습한 적이 없습니다.

그래서 모델이 모르는 것을 답하게 하려면 바깥 자료를 넣어 줘야 합니다. 웹 검색은 공개된 최신 정보를, RAG는 우리가 가진 문서를 넣어 주는 방법입니다. 모델이 모르는 내용을 물어도 "모른다"고 하지 않고 그럴듯한 문장을 만들 수 있는 이유는 AI 토큰과 LLM: AI가 답을 만드는 원리에서 설명했습니다.

출처가 무엇이든 아래 네 항목은 틀려도 문장이 자연스러워서 원문과 대조하지 않으면 알아채기 어렵습니다.

1. 숫자와 계산: 합계, 비율, 금액
2. 이름과 직함: 사람, 기관, 제품 이름
3. 날짜: 마감일, 시행일, 행사일
4. 최신 소식과 인용: 법령, 기사, 발표 내용

RAG가 도는 다섯 단계

RAG는 크게 미리 해 두는 준비와 질문마다 도는 과정으로 나뉩니다. 문서 조각내기는 질문이 오기 전에 한 번 해 두고, 나머지 네 단계는 질문이 올 때마다 돕니다.

RAG가 도는 다섯 단계

1. 11. 조각내기문서를 작은 조각으로
   나눠 색인에 넣기(미리)
2. 22. 검색질문과 뜻이 가까운
   조각에 점수 매기기
3. 33. 고르기점수 높은 조각만
   정한 개수만큼 고르기
4. 44. 붙이기지시, 조각, 질문을
   한 입력으로 합치기
5. 55. 답과 출처붙인 자료를 근거로
   답하고 출처 적기

1단계 조각내기: 문서를 작은 조각으로 나눕니다

긴 문서를 청크(chunk) 라고 부르는 작은 조각으로 나눕니다. 300쪽 매뉴얼을 통째로 넣는 대신, 질문마다 필요한 몇 쪽만 꺼내 쓰기 위해서입니다. 앤트로픽은 조각이 보통 수백 토큰을 넘지 않는다고 설명합니다. 토큰은 AI가 글을 처리하는 조각 단위입니다.

조각 크기는 서비스마다 다릅니다. 예를 들어 OpenAI의 벡터 스토어(파일을 검색할 수 있게 저장하는 곳)는 파일을 올리면 자동으로 조각내는데, 기본값은 조각 하나에 최대 800토큰, 앞뒤 조각이 겹치는 부분 400토큰입니다. 조각을 겹치게 자르는 이유는 문장이 조각 경계에서 잘려 뜻이 끊기는 일을 줄이기 위해서입니다.

조각을 자르면 앞뒤 맥락이 사라지는 문제가 생깁니다. "매출은 전 분기보다 3% 늘었습니다"라는 조각만 보면 어느 회사, 어느 분기 이야기인지 알 수 없습니다. 이 문제를 줄이는 방법은 아래 "검색을 고치는 방법"에서 다룹니다.

2단계 검색: 질문과 뜻이 가까운 조각을 찾습니다

조각마다 임베딩(embedding) 을 만들어 저장해 둡니다. 임베딩은 글의 뜻을 숫자 목록으로 바꾼 것입니다. OpenAI 문서는 임베딩을 "실수의 목록(벡터)"이라고 정의하고, 두 목록 사이의 거리가 두 글이 얼마나 관련 있는지를 나타낸다고 설명합니다. 질문이 오면 질문도 같은 방식으로 숫자 목록으로 바꾸고, 거리가 가까운 조각을 찾습니다. 이렇게 뜻으로 찾는 검색을 의미 검색 이라고 합니다.

의미 검색은 겹치는 단어가 거의 없어도 뜻이 비슷한 글을 찾을 수 있습니다. "재택근무 며칠까지"라고 물어도 "주 2일까지 신청할 수 있다"는 조항을 찾는 식입니다. 대신 정확한 단어 일치에 약합니다. 앤트로픽은 임베딩 모델이 뜻의 관계는 잘 잡지만 정확히 일치해야 하는 표현을 놓칠 수 있다고 적습니다. 제품 코드 "TS-999"나 조항 번호처럼 글자가 똑같아야 하는 검색이 그렇습니다.

그래서 단어가 그대로 일치하는지를 보는 키워드 검색 을 함께 쓰기도 합니다. 대표적인 방식이 BM25 로, 단어와 구절이 정확히 일치하는지를 기준으로 순위를 매기는 계산법입니다. 의미 검색과 키워드 검색을 합친 것을 하이브리드 검색 이라고 부르고, 구글 클라우드 문서는 이를 정보 검색에서 널리 쓰는 구성이라고 설명합니다.

3단계 고르기: 점수 높은 조각만 정한 개수만큼 고릅니다

검색 결과 가운데 점수가 높은 조각을 미리 정한 개수(흔히 상위 K개라고 부릅니다)만큼 고릅니다. 너무 적게 고르면 필요한 조각이 빠지고, 너무 많이 고르면 관계없는 조각이 섞여 입력이 길어집니다. 앤트로픽의 실험에서는 상위 20개를 모델에 넘기는 쪽이 상위 10개나 5개보다 효과가 좋았습니다. 다만 이 값은 실험 조건에서 나온 결과이고, 우리 문서에 맞는 개수는 직접 시험해 정합니다.

고른 조각을 한 번 더 걸러 순서를 다시 매기는 단계를 리랭킹(reranking) 이라고 합니다. 앤트로픽은 리랭킹을 "가장 관련 있는 조각만 모델에 넘기도록 거르는 흔한 방법"이라고 설명합니다. 검색으로 넉넉히 가져온 뒤, 질문과 조각을 함께 읽는 별도 모델로 다시 순위를 매기는 방식입니다.

4단계 붙이기: 지시, 조각, 질문을 한 입력으로 합칩니다

고른 조각을 질문에 붙여 모델에 보냅니다. 실제로 모델에 들어가는 입력은 대략 이렇게 생겼습니다.

이 입력은 컨텍스트 윈도우 안에 들어가야 합니다. 조각을 많이 고를수록 입력이 길어지므로, 고르는 개수와 조각 크기는 창 크기와 함께 정합니다.

5단계 답과 출처: 붙인 자료를 근거로 답합니다

모델은 붙은 자료를 읽고 답을 씁니다. 지시문에 출처를 적으라고 했으므로 답에 조항 이름이 붙습니다. 여기서 확인할 것은 두 가지입니다. 답의 각 문장이 붙인 자료에 실제로 있는지, 그리고 붙인 자료가 지금도 맞는 자료인지입니다. 출처가 붙었다고 맞는 답이라는 뜻은 아닙니다. 아래 어려운 예시가 그런 경우입니다.

쉬운 예시: 회사 규정 세 개로 따라 하기

위 시뮬레이터의 첫 번째 예시를 단계별로 풀어 보겠습니다. 가상 회사 한빛상사는 근무 규정, 보안 수칙, 복지 안내 세 문서를 사내 AI 도우미에 연결했습니다. 직원이 묻습니다. "재택근무 일주일에 며칠까지 돼요?"

이 예시에서 눈여겨볼 점은 세 가지입니다.

• 모델은 바뀌지 않았습니다. 0단계와 5단계는 같은 모델입니다. 달라진 것은 입력에 붙은 조각뿐입니다.
• 질문에 없는 단어도 찾았습니다. 질문에는 "보안"이나 "VPN"이 없지만, 재택근무와 관련된 조항이라 뜻으로 가까워 함께 골라졌습니다. 겹치는 단어가 없어도 뜻으로 찾는 것이 의미 검색의 장점입니다.
• 관계없는 조항은 빠졌습니다. 식대나 출장 조항은 점수가 낮아 붙지 않았습니다. 그래서 입력이 짧고, 답이 엉뚱한 조항에 끌려가지 않습니다.

어려운 예시: 옛 버전과 새 버전이 섞인 요금 안내

시뮬레이터의 두 번째 예시는 실제 회사 문서함에서 흔한 상황입니다. 고객 상담 AI에 요금 안내 2025, 요금 안내 2026, 할인 정책 FAQ가 함께 연결돼 있습니다. 작년 버전을 지우지 않고 그대로 둔 상태입니다. 고객이 묻습니다. "프로 요금제 연간 결제하면 한 달에 얼마예요? 학생 할인도 같이 돼요?"

처음 돌렸을 때: 출처가 붙은 틀린 답

이 답은 출처까지 붙어 있어서 믿음직해 보입니다. 하지만 틀린 원인은 모델이 아니라 2~3단계 검색에 있습니다. 정리하면 세 가지입니다.

1. 점수는 가까운 정도일 뿐 맞는 정도가 아닙니다. 검색 점수는 질문과 조각의 뜻이 얼마나 비슷한지를 측정할 뿐, 조각의 내용이 지금도 맞는지는 알려 주지 않습니다. 옛 버전은 문장이 질문과 거의 같아 오히려 점수가 높았습니다.
2. 질문 하나에 물음이 둘입니다. 가격과 할인을 함께 물었는데, 상위 2개가 모두 가격 조각이라 할인 근거가 빠졌습니다.
3. 모델은 빈칸을 그럴듯하게 채웁니다. 할인 근거가 없는데도 "할인을 함께 받을 수 있다"고 답했습니다. 붙인 자료에 없는 내용을 덧붙이는 이 현상은 할루시네이션의 한 모습입니다.

고치는 순서

가장 확실한 첫 번째 고치기는 사실 문서 정리입니다. 옛 버전을 색인에서 빼거나 "폐기" 표시를 해 두면 검색 단계에서 섞일 일이 없습니다. RAG를 붙이기 전에 같은 내용의 문서가 여러 버전으로 흩어져 있지 않은지부터 확인합니다.

더 어려운 예시: 여러 조각을 모아 계산해야 하는 질문

이번 예시는 RAG의 구조상 약점이 드러나는 질문을 다룹니다. 지점 50곳의 월별 매출 보고서를 연결한 AI에게 지난 분기 매출 합계가 가장 큰 지점을 묻는 가상 상황입니다.

1. 검색: 질문과 뜻이 가까운 조각은 "매출 합계", "가장 큰" 같은 말이 들어간 보고서 몇 장입니다.
2. 고르기: 상위 몇 개만 고르므로, 50개 지점의 석 달치 숫자가 모두 들어온다는 보장이 없습니다.
3. 답: 모델은 붙은 조각 안에서만 비교해 1위를 고릅니다. 빠진 지점이 실제 1위였다면 답은 틀립니다.

RAG는 답이 몇 개의 조각 안에 들어 있는 질문에 강합니다. 반대로 전체를 빠짐없이 모아 세거나 더해야 하는 질문에는 맞지 않습니다. 이런 질문은 표 데이터를 스프레드시트나 데이터베이스에 두고, AI가 계산 도구나 조회 명령을 불러 전체를 집계하게 하는 편이 정확합니다. 질문을 받으면 먼저 답이 한두 문단 안에 있는지, 전체를 모아야 하는지를 나눠 봅니다.

검색을 고치는 방법: 앤트로픽의 맥락 검색 실험

RAG의 답이 시원치 않으면 모델보다 검색부터 봅니다. 앤트로픽은 2024년 9월 공개한 맥락 검색(Contextual Retrieval) 실험에서 검색 구성에 따라 실패율이 얼마나 달라지는지 수치로 보여 줬습니다. 여기서 실패율은 관련 조각이 상위 20개 검색 결과 안에 들어오지 못한 비율입니다.

맥락 설명은 조각을 임베딩하기 전에 조각 앞에 붙이는 한두 문장입니다. 예를 들어 "매출은 전 분기보다 3% 늘었습니다"라는 조각 앞에 "이 조각은 한빛상사 2026년 2분기 실적 보고서의 매출 부분입니다"를 붙입니다. 조각을 자르면서 잃어버린 회사 이름과 분기 같은 앞뒤 사정을 조각 안에 다시 적어 주는 방법입니다.

이 수치를 읽을 때 조건이 있습니다. 35%와 49%는 실험에서 가장 성능이 좋았던 임베딩 설정의 여러 분야(코드, 소설, 논문 등) 평균이고, 리랭킹 실험에는 코히어(Cohere)의 리랭커를 썼습니다. 또한 이 수치는 검색 실패율이지 답 전체의 오류율이 아닙니다. 관련 조각을 찾아도 모델이 잘못 해석하거나 옛 자료를 인용할 수 있습니다.

같은 글에서 앤트로픽은 지식 베이스가 20만 토큰(약 500쪽)보다 작으면 RAG 없이 자료 전체를 입력에 넣을 수 있다고 안내합니다. 다만 긴 입력의 중간에 있는 정보는 모델이 덜 활용한다는 연구(Lost in the Middle)도 있으므로, 통째로 넣은 뒤에도 답을 원문과 대조합니다.

우리가 쓰는 서비스 안의 RAG

RAG는 개발자만 만드는 기술이 아닙니다. 이미 쓰는 AI 서비스 안에도 들어 있습니다.

• 클로드 프로젝트: 클로드 프로젝트에 올린 자료(프로젝트 지식)가 컨텍스트 윈도우 한도에 가까워지면 클로드가 자동으로 RAG 모드를 켭니다. 앤트로픽 도움말은 이때 프로젝트 용량이 최대 10배까지 늘고, 클로드가 프로젝트 지식 검색 도구로 필요한 부분을 찾아 쓴다고 설명합니다. 유료 플랜(Pro, Max, Team, Enterprise)에서 제공되고, 따로 켜는 설정은 없으며 RAG가 켜지면 화면에 표시가 나타납니다.
• 제미나이 노트북(Gemini Notebook, 옛 이름 노트북LM): 구글은 2026년 7월 노트북LM의 이름을 제미나이 노트북으로 바꿨습니다. 도움말은 이 서비스가 올린 소스의 정보를 근거로 답하도록 설계됐고, 답에 출처를 문장 단위로 표시하며, 소스가 많으면 질문과 가장 관련 있는 정보부터 찾는다고 설명합니다.
• 개발자용 파일 검색: OpenAI API의 파일 검색과 제미나이 API의 파일 검색(File Search)은 파일을 올리면 조각내기, 임베딩, 색인을 자동으로 처리합니다. 구글은 제미나이 API가 이 도구로 RAG를 제공한다고 명시합니다.

어느 서비스든 답에 붙은 출처를 눌러 원문을 확인할 수 있습니다. RAG의 가장 큰 장점이 근거를 보여 준다는 점이므로, 출처를 열어 그 문단이 답의 주장을 실제로 뒷받침하는지 대조합니다.

내 컴퓨터에서 RAG 돌리기: 로컬 RAG 구성

위 서비스들은 올린 문서를 그 회사 서버에서 조각내고 검색합니다. 사내 규정이나 고객 기록처럼 외부 서비스에 올리기 어려운 자료라면 같은 다섯 단계를 내 컴퓨터 안에서 돌릴 수 있습니다. 로컬 RAG는 문서 조각내기, 임베딩, 검색과 답 생성을 모두 내 컴퓨터의 모델과 프로그램으로 처리하는 RAG 구성입니다. 모델을 내 컴퓨터에서 실행하는 방식 자체는 로컬 AI에서 설명했습니다.

로컬 RAG에는 부품이 세 가지 필요합니다.

올라마로 임베딩 만들기

올라마(Ollama)는 내 컴퓨터에서 모델을 실행하는 프로그램이며, /api/embed 주소로 임베딩을 만들어 줍니다. 임베딩 모델을 받아 둔 상태라면 터미널에서 아래처럼 요청합니다.

input에 문장 목록을 넣으면 한 번에 여러 조각을 처리하고, 응답의 embeddings에 조각마다 벡터가 들어옵니다. Ollama 문서가 강조하는 원칙은 두 가지입니다. 의미 검색에는 대부분 두 벡터가 가리키는 방향이 얼마나 비슷한지로 가까움을 계산하는 코사인 유사도를 쓰고, 색인할 때와 질문할 때 같은 임베딩 모델을 씁니다. 임베딩 모델을 바꾸면 기존 벡터와 섞지 말고 색인을 처음부터 다시 만듭니다.

2026년 10월 24일 Ollama 라이브러리에 올라온 임베딩 모델 가운데 몇 가지는 다음과 같습니다. 한 번에 넣을 수 있는 길이는 토큰 단위입니다.

한국어 문서라면 여러 언어로 학습한 모델에서 후보를 고르고, 아래 검색 품질 확인 방법으로 내 문서에서 직접 비교합니다. 조각이 임베딩 모델의 길이 한도를 넘으면 Ollama는 기본 설정에서 넘친 뒷부분을 오류 없이 잘라 냅니다. 요청에 "truncate": false를 넣으면 잘라 내는 대신 오류를 돌려주므로, 조각이 잘렸는지 알아챌 수 있습니다.

저장하고 찾아서 답하는 코드

아래는 Python에서 Ollama와 Chroma를 이어 붙인 최소 예제입니다. 프로젝트별로 패키지를 따로 설치하는 Python 가상환경(venv)에 ollama와 chromadb 패키지를 설치하고, CHAT_MODEL은 ollama list에 있는 대화 모델 이름으로 바꿉니다. 세 문장은 모두 가상 규정입니다.

PersistentClient는 지정한 폴더에 색인을 저장하므로 다음 실행 때도 그대로 남습니다. Chroma의 기본 거리 계산은 코사인이 아니라 두 점 사이의 직선 거리로 계산하는 L2이므로, Ollama 문서의 권장대로 코사인 유사도를 쓰려면 위 코드처럼 컬렉션을 만들 때 "space": "cosine"을 지정합니다. upsert는 같은 ID가 있으면 내용을 바꾸고 없으면 새로 넣습니다.

실행하면 먼저 검색 근거에 c0의 14일 문장이 나오는지, 그다음 답이 14일과 c0을 근거로 드는지 봅니다. 검색 성공과 답변 성공은 따로 기록합니다. 위 어려운 예시처럼 검색이 엉뚱한 조각을 가져오면 답도 틀리기 때문입니다.

코드 없이 화면에서 쓰고 싶다면 브라우저에서 로컬 모델과 대화하는 화면을 제공하는 Open WebUI 같은 도구가 있습니다. Workspace > Knowledge에서 지식 베이스를 만들고 파일을 올린 뒤, 채팅 입력창에 #을 입력해 그 지식 베이스를 불러옵니다. 문서상 기본값은 조각 크기 1,000자, 겹침 100자, 질문마다 가져오는 조각 3개이며 관리자 설정에서 바꿀 수 있습니다. 임베딩 모델과 답을 쓰는 모델이 각각 로컬 모델로 설정됐는지도 확인합니다.

로컬 RAG의 검색 품질 확인하기

로컬 RAG는 조각 크기와 임베딩 모델을 직접 정하므로, 답을 보기 전에 검색이 맞는 조각을 가져오는지부터 측정합니다. 먼저 자주 받는 질문 몇 개와 질문마다 나와야 할 정답 조각의 ID를 적어 둡니다. 그다음 Chroma의 조각내기 안내가 쓰는 두 지표를 계산합니다.

• Recall@k: 전체 질문 가운데 정답 조각이 상위 k개 결과 안에 들어온 질문의 비율입니다.
• MRR(평균 역순위): 첫 정답 조각이 r번째에 나오면 1/r, 안 나오면 0으로 계산해 질문별로 평균 낸 값입니다. 정답이 위쪽에 나올수록 1에 가깝습니다.

정답 조각이 아예 안 나오면 조각 크기와 겹침을 조정하고, 정답은 나오는데 순위가 낮으면 조각에 문서 이름 같은 맥락을 붙입니다. 한 번에 한 가지만 바꾸고 같은 질문 묶음으로 다시 측정합니다.

RAG, 지시문 다듬기, 파인튜닝 고르는 순서

RAG와 함께 자주 나오는 말이 파인튜닝(fine-tuning) 입니다. 파인튜닝은 입력과 출력 예시를 모아 이미 완성된 모델을 추가로 학습시켜, 모델이 그 형식과 어투를 따르게 만드는 방법입니다. RAG가 입력을 바꾼다면 파인튜닝은 모델 자체를 바꿉니다.

OpenAI의 정확도 개선 안내는 문제를 둘로 나눕니다. 모델에 지식이 부족할 때(예: 지식이 낡았을 때)는 입력에 맥락을 넣는 방법, 즉 RAG를 씁니다. 모델의 행동이 문제일 때(예: 말투나 형식이 맞지 않을 때)는 모델 최적화, 즉 파인튜닝을 씁니다. 앞의 목표는 답의 정확도이고 뒤의 목표는 행동의 일관성입니다.

오픈북 시험으로 비유하면 RAG는 참고서를 들고 들어가 관련 쪽을 펼치는 것이고, 파인튜닝은 시험 전에 답안 쓰는 연습을 반복해 습관을 들이는 것입니다. 연습으로 서론, 본론, 결론 순서는 몸에 배지만, 연습 때 없던 새 사실을 알게 되지는 않습니다. 둘을 함께 쓸 수도 있습니다.

직접 해 보기: 공지 두 개에서 근거 찾기

메모장에 가상 자료 두 개를 적습니다. 별도 프로그램 없이 RAG의 고르기와 출처 대조를 손으로 해 보는 연습입니다.

1. 고르기: 시각의 근거는 A, 장소의 근거는 B입니다. 하나만 고르면 답의 절반이 빠집니다.
2. 답과 출처: "10월 12일 오후 2시(A), 도서관 2층(B)"처럼 항목마다 근거를 적습니다.
3. 버전이 바뀔 때: B가 "장소 확정 취소, 다시 미정"으로 바뀌었다고 가정합니다. 답의 장소는 미정이어야 합니다. 이전 답을 그대로 썼다면 B를 다시 대조해 고칩니다.
4. 없는 정보: "준비물이 뭐예요?"라고 물으면 자료에서 확인할 수 없다고 답하는 것이 맞습니다.

이미 쓰는 AI 채팅이 있다면 두 공지를 붙이고 "이 자료만 근거로 답하고 A 또는 B를 표시해 줘"라고 요청해 봅니다. 3번처럼 B를 바꿔 새 대화에서 다시 물으면 답이 바뀌는지도 확인합니다. 공지를 채팅에 직접 붙여 넣는 방법은 자료를 대조하는 연습이며, 검색 시스템을 만든 것은 아닙니다. 검색까지 내 컴퓨터에서 돌리는 방법은 위 로컬 RAG 구성에 있습니다.

자주 묻는 질문

RAG는 쉽게 말해 무엇인가요?

AI가 답을 쓰기 전에 관련 자료를 찾아 질문에 붙여 주는 방법입니다. 오픈북 시험처럼, 모델이 외운 지식만으로 답하지 않고 펼쳐 놓은 자료를 보고 답합니다. 모델은 그대로 두고 입력만 바꾸므로 자료가 바뀌면 문서만 갱신하면 됩니다.

사내 문서를 AI가 읽게 하려면 파인튜닝을 해야 하나요?

꼭 그렇지는 않습니다. 사내 문서처럼 모델에 없는 지식을 쓰게 하려면 RAG가 먼저입니다. OpenAI 안내도 지식이 부족한 문제에는 맥락을 넣는 방법을, 말투나 형식 문제에는 파인튜닝을 권합니다. 짧은 자료라면 대화에 직접 붙여 답을 확인하는 것부터 시작합니다.

RAG를 쓰면 할루시네이션이 사라지나요?

줄어들 수는 있지만 사라지지는 않습니다. 엉뚱한 조각을 찾아오면 모델은 그 자료를 근거로 그럴듯한 답을 만들고, 붙인 자료에 없는 내용을 덧붙이기도 합니다. 위 어려운 예시처럼 출처가 붙은 틀린 답도 나옵니다. 출처를 열어 그 문서가 답의 주장을 실제로 뒷받침하는지 확인합니다.

클로드 프로젝트에서 RAG를 따로 켜야 하나요?

켤 필요가 없습니다. 앤트로픽 도움말에 따르면 유료 플랜에서 프로젝트 지식이 컨텍스트 윈도우 한도에 가까워지면 자동으로 RAG 모드가 켜지고, 지식이 다시 줄면 원래 방식으로 돌아갈 수 있습니다. 켜진 상태는 화면 표시로 알 수 있습니다.

노트북LM(제미나이 노트북)도 RAG인가요?

올린 소스에서 질문과 관련된 정보를 찾아 그 정보를 근거로 답하고 출처를 표시한다는 점에서 RAG와 같은 방식으로 일합니다. 구글은 2026년 7월 서비스 이름을 제미나이 노트북으로 바꿨습니다. 도움말은 올린 소스를 근거로 답하도록 설계됐다고 설명하므로, 소스에 없는 내용을 물으면 답하지 못할 수 있습니다.

회사 문서를 외부 서비스에 보내지 않고 RAG를 쓸 수 있나요?

쓸 수 있습니다. 임베딩 모델, 벡터 저장소, 답을 쓰는 모델을 모두 내 컴퓨터에서 실행하는 로컬 RAG로 구성하면 문서와 질문을 외부 AI 서버로 보내지 않고 검색하고 답할 수 있습니다. 다만 함께 쓰는 앱의 웹 검색이나 동기화 기능은 외부에 연결될 수 있으므로 앱 설정을 따로 확인합니다.

검색 점수가 높은 조각을 붙였는데도 왜 틀리나요?

검색 점수는 질문과 뜻이 얼마나 가까운지를 측정할 뿐, 내용이 지금도 맞는지는 알려 주지 않기 때문입니다. 작년 버전 요금표는 올해 버전과 문장이 거의 같아 점수가 비슷하거나 더 높게 나올 수 있습니다. 문서에 시행일 같은 버전 정보를 붙여 거르고, 옛 버전은 색인에서 정리합니다.

마무리: RAG를 쓰기 전에 볼 것

마무리로 짚어 볼 것

1. 문서 정리: 같은 내용의 옛 버전을 정리하고, 조각마다 문서 이름과 시행일을 붙여 둡니다.
2. 검색부터 보기: 답이 틀리면 모델보다 먼저 무엇을 찾아왔는지(검색 결과)를 확인합니다.
3. 출처 대조: 답의 출처를 열어 그 조각이 주장을 실제로 뒷받침하는지 확인합니다.

직접 해 보기

• 시뮬레이터에서 쉬운 예시의 다섯 단계를 끝까지 눌러 봤습니다
• 어려운 예시에서 옛 버전 때문에 틀린 답과 고친 답을 비교했습니다
• 공지 두 개로 항목마다 근거를 적고, 버전이 바뀐 상황에서 답을 고쳤습니다

참고 자료

• Lewis 외, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(2020)
• 앤트로픽 맥락 검색(Contextual Retrieval) 소개
• 클로드 프로젝트의 RAG(Claude 고객센터)
• 앤트로픽 모델 개요
• OpenAI 검색(Retrieval) 가이드
• OpenAI 임베딩 가이드
• OpenAI LLM 정확도 개선 가이드
• 제미나이 API 파일 검색
• 구글 클라우드 하이브리드 검색
• 제미나이 노트북(옛 노트북LM) 이름 변경 발표
• 제미나이 노트북 도움말
• Liu 외, Lost in the Middle(2023)
• Ollama 임베딩 API
• Ollama 임베딩 사용 원칙
• Chroma 거리 설정
• Chroma 조각내기와 검색 품질 안내
• Open WebUI 지식 베이스