교육 문의커뮤니티 입장하기

AI 자기 검수의 한계: 클로드 코드에서 검증을 분리하는 방법

AI가 “문제없다”고 답했다고 검토가 끝난 것은 아닙니다. 자기 선호 편향 연구가 보여 준 것과 새 대화의 한계, 원자료와 기준 문서를 함께 주어 검토를 맡기는 방법을 정리했습니다.

지금까지 100명 넘게 읽었어요, 58%가 끝까지 읽었어요
Share
AI 자기 검수의 한계: 클로드 코드에서 검증을 분리하는 방법 대표 이미지
목차
  1. AI가 자기 결과물에 더 높은 점수를 주는 현상
  2. AI는 왜 자기 문장에 더 높은 점수를 줄까요?
  3. 검증을 만든 쪽에서 떼어 놓는 세 가지 방법
  4. 자기 검수 구성과 분리 구성의 차이
  5. 클로드 코드에서 검토를 맡기는 요청
  6. 분리해도 남는 한계
  7. Sources

세 줄로 먼저 읽기

  1. 2024년 NeurIPS 논문에서 요약문을 평가한 LLM은 자기가 쓴 요약을 더 잘 알아볼수록 그 요약에 더 높은 점수를 줬습니다.
  2. 새 대화는 작성 과정의 대화 기록을 떼어 내지만 같은 모델이 가진 평가 편향까지 없애지는 못합니다.
  3. 검토자에게는 원자료와 기준 문서, 결과물을 함께 주고 지적한 오류를 고친 뒤에는 수정본 전체를 다시 대조합니다.

AI 자기 검수는 결과물을 만든 모델이 그 결과물을 스스로 평가하는 방식입니다. AI에게 일을 시킨 뒤 "맞는지 다시 봐 줘"라고 묻는 일은 이제 흔합니다. 그런데 "문제없다"는 답이 나왔을 때 모델이 무엇과 대조해서 그렇게 판단했는지는 답에 드러나지 않습니다. 자기 검토는 오류를 찾는 데 도움이 되지만 정확성을 보증하지는 않습니다.

원고를 쓴 사람이 자기 원고를 교정하면 오탈자가 잘 보이지 않습니다. 출판사가 교정자를 따로 두는 이유입니다. 결과물을 만든 모델도 오류를 놓치거나 자기 표현을 더 좋게 평가할 수 있다는 연구가 있습니다. 아래에서 그 연구 결과와, 검증을 떼어 놓는 방법, 그렇게 해도 남는 한계를 차례로 봅니다.

AI가 자기 결과물에 더 높은 점수를 주는 현상

이 현상을 정면으로 다룬 연구가 2024년에 나왔습니다. Arjun Panickssery, Samuel R. Bowman, Shi Feng이 쓴 「LLM Evaluators Recognize and Favor Their Own Generations」이고, 같은 해 NeurIPS에 실렸습니다. LLM은 글을 이해하고 생성하는 대형 언어 모델이고, 논문 제목은 LLM 평가자가 자기 생성물을 알아보고 더 선호한다는 뜻입니다.

연구진은 요약문 데이터셋으로 두 값을 따로 측정했습니다. 자기 인식(self-recognition)은 여러 요약문 가운데 자기가 쓴 것을 골라내는 능력이고, 자기 선호(self-preference)는 자기가 쓴 요약문에 더 높은 점수를 주는 정도입니다. 여기서 자기 인식은 의식이 아니라 자기 출력을 구별하는 실험상의 능력을 가리킵니다.

연구진이 두 값의 관계를 확인한 순서

  1. 1. 자기 인식 측정여러 요약문 가운데
    자기가 쓴 것 고르기
  2. 2. 자기 선호 측정자기 요약문에
    더 높은 점수를 주는지
  3. 3. 미세 조정자기 인식을 높이도록
    추가 학습
  4. 4. 결과자기 선호 점수도
    함께 올라감

맨 위 산점도가 1번과 2번의 결과입니다. 여러 모델과 실험 조건에서 측정한 점들이 대체로 오른쪽 위로 향합니다. 자기 출력을 더 잘 구별한 조건일수록 자기 출력을 더 선호했다는 뜻입니다.

3번과 4번은 한 걸음 더 나간 실험입니다. 자기 인식을 높이는 방향으로 모델을 추가 학습시키자 자기 선호 점수도 함께 올라갔습니다. 자기 글을 알아보는 능력이 편애로 이어진다는 해석을 뒷받침하는 결과입니다.

정리하면 자기 선호 편향(self-preference bias)은 사람이 비슷한 품질로 평가한 출력들 가운데 모델이 자기 출력을 더 높게 평가하는 경향입니다. 이 연구는 요약문 평가 조건에서의 경향을 측정했고, 문서 교정이나 코드 검사에서 자기 검토가 얼마나 실패하는지는 다루지 않았습니다.

AI는 왜 자기 문장에 더 높은 점수를 줄까요?

먼저 모델이 자기 글을 얼마나 잘 알아보는지부터 봅니다. 아래 도표는 모델별 자기 인식 점수입니다.

도표 왼쪽 pairwise는 두 요약문을 나란히 놓고 고르게 한 조건이고, 오른쪽 individual은 요약문을 하나씩 보고 판단하게 한 조건입니다. 사람이 쓴 요약과 자기 요약을 놓고 고르게 했을 때 pairwise 조건에서 GPT-4는 0.9를 넘겼고, Llama 2와 GPT-3.5는 0.6대였습니다. 비교 대상을 다른 모델이 쓴 요약으로 바꾸면 값이 내려갑니다. Llama 2와 GPT-3.5는 0.5 근처로 동전 던지기 수준이 됐고, GPT-4만 0.6에서 0.7대를 지켰습니다. 이 점수는 자기 글을 구별하는 정도이며 사실 검증 정확도가 아닙니다.

원인을 다르게 설명한 연구도 있습니다. 2024년 10월 공개된 「Self-Preference Bias in LLM-as-a-Judge」는 편향의 원인을 친숙함에서 찾습니다. 혼란도(perplexity)는 모델이 어떤 텍스트를 얼마나 예상하기 어려워하는지 나타내는 지표입니다. 이 연구에서 모델은 혼란도가 낮은 텍스트, 곧 다음 단어를 예측하기 쉬운 텍스트에 높은 점수를 줬고, 그 텍스트를 자기가 썼는지와는 관계가 없었습니다. 모델이 직접 만든 문장도 그 모델에게는 혼란도가 낮게 나올 수 있어서, 결과적으로 자기 문장이 높은 점수를 받습니다.

사람의 교정과 견주면 이해가 쉽습니다. 사람은 자기가 쓴 문장을 읽을 때 다음 단어를 이미 알고 있어서 글자를 하나하나 보지 않고 넘어갑니다. 모델에게는 예측하기 쉬운 문장이 이렇게 익숙한 문장이라서 점수가 후해집니다.

검증을 만든 쪽에서 떼어 놓는 세 가지 방법

아래 세 가지는 연구 결과가 아니라 검토 근거를 분명히 하려고 쓰는 실무 구성입니다. 앞의 연구는 이 방법들의 효과를 실험하지 않았고, 세션을 나눈다고 편향이 사라지지도 않습니다.

검증을 떼어 놓는 세 가지 구성

  1. 1. 세션 나누기새 대화나 서브에이전트에서
    검토 맡기기
  2. 2. 기준을 문서로조건과 규칙을 파일에 적고
    원자료와 함께 넘기기
  3. 3. 대조 시점 정하기중요한 변경 뒤와
    최종 단계에서 전체 대조

1. 세션을 나눕니다. 대화 기록에 결과물을 만든 과정이 남아 있으면 모델은 검토 단계에서도 그 과정을 전제로 판단합니다. 검토를 새 대화에서 맡기면 이 영향을 줄일 수 있습니다. 클로드 코드에서는 서브에이전트를 두거나 검토를 별도 세션으로 돌립니다. 서브에이전트는 맡은 일을 별도 작업 맥락에서 처리하는 보조 에이전트입니다.

2. 기준을 문서로 고정합니다. 지켜야 할 조건, 배경, 합의된 규칙을 파일 하나에 적어 둡니다. 교정자에게 교정 지침서를 건네듯 검토하는 쪽에는 기준 문서와 원자료, 검토할 결과물을 함께 줍니다. 기준이 대화 안에만 있으면 대화가 길어지면서 압축되거나 빠질 수 있습니다.

3. 대조 시점을 정합니다. 변경이 쌓이기 전에 중요한 수치나 동작을 기준 문서와 맞춰 보고, 수정한 뒤에는 결과물 전체를 다시 대조합니다.

검토 역할만 따로 만들고 원자료와 기준을 넘기지 않으면, 검토자는 무엇과 비교해야 하는지 모르는 채로 결과물만 읽게 됩니다.

자기 검수 구성과 분리 구성의 차이

두 구성은 검토하는 쪽과 비용이 다르고, 검토에 넘겨야 할 자료는 같습니다.

달라지는 것과 같은 것

항목자기 검수만든 세션이 검토분리 구성별도 세션, 서브에이전트
작성 과정의 대화 기록을 보며 판단제공제공하지 않음
원자료, 기준, 결과물이 필요제공제공
중요한 변경 뒤와 최종 단계에서 대조제공제공
별도 호출 비용제공하지 않음제공
어느 쪽이든 원자료와 기준이 없으면 검토자가 대조할 대상이 없습니다.

분리 구성의 부담은 준비 비용입니다. 기준 문서를 처음 쓸 때는 작업 규칙을 하나씩 문장으로 옮겨야 해서 시간이 꽤 듭니다. 그 시간만큼 나중의 수정 시간이 줄어드는지는 작업마다 다릅니다.

기준 문서에 무엇을 적을지 막막하다면 이미 두 번 이상 반복한 지시부터 옮깁니다. 같은 지시를 반복한 이유가 조건을 놓쳐서인지, 지시가 모호해서인지, 실행이 실패해서인지도 함께 적어 두면 다음 검토에서 그 지점을 먼저 볼 수 있습니다.

클로드 코드에서 검토를 맡기는 요청

클로드 코드에서는 원자료, 기준 문서, 결과물의 파일 경로를 요청에 직접 적고 파일을 고치지 말라고 덧붙입니다. 새 세션은 이전 대화에서 연 파일이나 합의한 내용을 알지 못하므로, 결과에서 어떤 파일을 실제로 읽었는지부터 봅니다.

Claude Code, 검토용 새 세션
회의록.md를 원자료로, CLAUDE.md를 기준으로 삼아 안내문 초안.md를 검토해 주세요. 파일은 고치지 말고 항목마다 일치, 불일치, 원자료에 없음으로 나눠 근거 줄을 적어 주세요.
읽은 파일 회의록.md, CLAUDE.md, 안내문 초안.md
불일치 1건 시작 시각, 회의록은 오후 2시, 초안은 오후 3시
원자료에 없음 1건 장소
읽은 파일 목록과 근거 줄이 있는지 먼저 봅니다
설명을 위해 만든 화면입니다. 실제 답변의 형식은 요청과 파일에 따라 달라집니다.

답에 근거 줄이 없거나 읽은 파일이 빠져 있으면, 결론을 받아들이기 전에 해당 파일을 읽고 다시 대조하라고 요청합니다. 지적받은 곳을 고친 뒤에는 고친 항목만이 아니라 전체 항목을 다시 대조합니다. 한 군데를 고치면서 다른 조건이 빠질 수 있기 때문입니다.

서브에이전트로 검토를 나눠도 같은 모델이 같은 자료만 보면 같은 오류를 놓칠 수 있습니다. 코드 검토라면 설명 대신 테스트와 실제 동작을 봅니다. 테스트를 실행하지 않았다면 결과에 "통과"가 아니라 "미실행"으로 적게 합니다. 모델이 테스트를 통과했다고 말하는 것과 실행 기록이 남아 있는 것은 다릅니다.

분리해도 남는 한계

기준 문서는 예상한 오류를 찾는 데 쓰는 목록이고, 모든 오류를 담은 정답지가 아닙니다. 기준에 없는 실수는 검토자가 찾을 때도 있고 놓칠 때도 있습니다. 기준이 낡았으면 검토도 그 낡은 기준대로 이뤄지므로 원자료와 기준이 최신인지도 함께 봅니다.

새 대화는 작성 대화의 영향을 줄이는 방법이고, 다른 모델은 다른 관점을 얻는 방법입니다. 어느 쪽도 정확성을 자동으로 보장하지 않습니다. 검토 비용은 호출 횟수와 자료 길이에 따라 늘어나서, 검토가 언제나 나중에 고치는 비용보다 싸지는 않습니다.

그래서 마지막에는 사람이 아래 순서로 봅니다.

마지막에 사람이 보는 순서

  1. 1. 지적 목록검토자가 찾은 오류와
    근거 줄
  2. 2. 중요한 수치와 조건목록에 없어도
    원자료와 직접 대조
  3. 3. 수정된 부분고친 곳과 그 앞뒤를
    다시 대조
  4. 4. 실행 근거테스트와 실행 결과가
    기록으로 남았는지

지적 목록에 없다는 이유로 나머지가 맞다고 보지 않는 것이 2번의 요점입니다.

Sources

Share

제대로 이해했는지 한 문제로 확인해 볼까요?

답을 고르면 바로 풀이가 나와요.

AI가 검토를 마치고 문제가 없다고 답했습니다. 다음 확인으로 가장 적절한 것은 무엇인가요?

예제나 확인 질문을 직접 시도한 뒤 완료 표시해요. 더 연습할 내용이 남으면 표시하지 않고 다음 글을 읽어도 됩니다. 완료 버튼은 이해도를 채점하지 않으며 잘못 표시하면 취소할 수 있어요.

6단계 / 글SSOT(Single Source of Truth) 뜻과 AI 시대에 관리 원본을 정하는 이유

이 글이 도움이 되었나요?

이 글 다음 배우기AI 에이전트 중급: 원리와 설계중급 코스 · 5편

도구에 상관없이 통하는 에이전트 원리와 설계 규칙을 정리했습니다

  1. 1AI 에이전트(AI Agent) 뜻: 챗봇, 워크플로와의 차이, 에이전트 루프와 도구 호출, MCP와 스킬
  2. 2AGENTS.md와 CLAUDE.md 뜻과 작성법: intent.md와 하네스까지
  3. 3멀티 에이전트 오케스트레이션(Multi-Agent Orchestration) 뜻과 설계
코스 전체 보기 →
이어서 읽기 좋은 글Orca 봇 사용법: 어떤 요청이든 받아 나눠 맡기는 범용 봇 만들기 →

Orca 1.4.265에 새로 들어간 봇 기능의 구성과 연결 방법, 권한 설정을 공식 문서 기준으로 정리했습니다. 한 가지 일만 하는 기본 템플릿 대신, 요청을 받아 직접 답하거나 별도 AI 세션에 넘기는 범용 봇을 마크다운 파일로 만들어 Orca로 가져오는 방법도 함께 설명합니다.