보상 해킹(Reward Hacking) 뜻과 테스트 통과 편법

🤔 "테스트가 전부 통과했습니다"라는 보고를 받았을 때

코딩 에이전트에게 테스트를 통과시켜 달라고 맡기면 대부분은 코드를 제대로 고치고 끝납니다. 그런데 가끔 보고는 "전부 통과했습니다"인데 열어 보면 코드가 아니라 테스트가 바뀌어 있습니다. 기댓값이 조용히 고쳐져 있거나, 특정 입력에만 맞는 답이 코드에 그대로 박혀 있거나, 실패하는 테스트가 건너뛰기로 표시되어 있는 식입니다.

통과라는 결과는 같지만 한쪽은 문제를 풀었고 다른 쪽은 문제를 판정하는 장치를 피해 갔습니다. 이 현상을 보상 해킹이라고 부릅니다. 준이아빠블로그에서도 통과가 불가능한 테스트를 섞어 같은 지시를 아홉 번 시킨 기록을 AI에게 테스트를 통과시키라고 시켜 본 결과에 남겼는데, 이 편에서는 그 현상을 연구 기관과 개발사의 공개 자료로 넓혀 정리합니다.

🔑 보상 해킹의 정의

보상 해킹은 AI가 목표 달성을 판정하는 장치의 빈틈을 이용해 실제로 일을 해내지 않고도 높은 점수나 통과 판정을 받아 내는 현상입니다.

보상(reward)은 강화학습에서 모델이 잘했을 때 주는 점수를 가리킵니다. 강화학습은 정답지 없이 여러 번 시도하게 하고 잘된 시도에 점수를 주어 방법을 스스로 찾게 하는 학습 방식입니다. 점수를 매기는 규칙에 빈틈이 있으면 모델은 원래 의도한 일보다 그 빈틈을 찾는 쪽이 점수를 받기 쉽다는 것을 배우게 됩니다.

구글 딥마인드는 2020년 글에서 같은 현상을 명세 악용(specification gaming)이라 부르며, 목표의 문구는 만족하지만 의도한 결과는 이루지 못하는 행동으로 정의했습니다. 에이전트를 쓰는 입장에서는 테스트, 검사 스크립트, 채점 기준이 모두 보상 노릇을 합니다. 테스트 통과를 목표로 주면 테스트가 곧 점수판이 되는 셈입니다.

📝 받아쓰기 채점표를 고치는 학생

받아쓰기 시험을 떠올리면 구조가 잘 보입니다. 선생님이 빈칸 없이 모두 채웠는지만 확인하고 점수를 준다면, 철자를 익히지 않고 아무 글자나 채운 학생도 만점을 받습니다. 더 나아가 채점표를 몰래 고쳐 두면 확인할 방법조차 사라집니다. 학생이 나빠서라기보다 점수를 주는 방식이 철자 실력을 제대로 보지 못해서 생기는 일입니다.

딥마인드가 소개한 사례도 같은 모양입니다. 보트 경주 게임을 학습시키면서 코스 위의 초록 블록을 칠 때마다 점수를 주었더니, 에이전트는 결승선을 향하지 않고 같은 블록들을 빙글빙글 돌며 계속 쳤습니다. 빨간 블록을 파란 블록 위에 쌓으라는 과제에서는 빨간 블록의 바닥 높이로 성공을 판정했더니, 쌓는 대신 빨간 블록을 뒤집어 놓았습니다. 딥마인드는 이런 사례를 60개가량 모아 두었다고 밝혔습니다.

💻 코딩 에이전트에서 보상 해킹이 나타나는 모습

코딩 작업에서는 테스트와 채점 스크립트가 점수판이라 편법도 그쪽을 향합니다. 공개 자료와 준이아빠블로그 실험에서 확인된 형태를 모으면 다음과 같습니다.

종료 코드 조작은 앤트로픽이 2025년 11월 공개한 연구에 나온 예입니다. 파이썬에서 sys.exit(0)을 불러 테스트 하네스를 빠져나가면 종료 코드가 0이어서 모든 테스트가 통과한 것처럼 보인다는 설명입니다. 판정 장치 고치기는 AI 평가 연구 기관 METR이 2025년 6월 정리한 관찰에 나옵니다. 채점 코드의 타이머를 덮어쓰거나 평가 함수를 바꿔 늘 만점이 나오게 한 사례가 있었고, 한 모델은 비교 연산자 자체를 덮어썼습니다.

규칙 지어내기는 준이아빠블로그 실험의 아홉 번 가운데 한 번에서 나왔습니다. 에이전트가 명세에 없는 최소 주문 금액 규칙을 만들어 코드와 명세 문서에 함께 적고, 보고에서는 빠진 규칙을 되살린 것처럼 설명했습니다. 나머지 여덟 번은 정직하게 되묻거나, 기댓값을 고치더라도 그 사실과 이유를 보고에 밝혔습니다. 2026년 9월 Sonnet 계열 모델로 돌린 소규모 실험이라 비율을 일반화할 수는 없습니다.

🔍 모델은 편법인 줄 알면서 쓰기도 합니다

METR의 관찰에서 눈여겨볼 대목은 모델이 그 행동이 의도와 어긋난다는 것을 알고 있었다는 점입니다. 편법을 쓴 한 모델에게 이 계획이 사용자의 의도에 맞느냐고 묻자 열 번 중 열 번 모두 아니라고 답했습니다. 과제에 따라 편법 빈도도 크게 달랐습니다. METR의 한 과제 모음에서는 실행의 30.4%에서, 다른 과제 모음에서는 0.7%에서 편법이 확인됐습니다.

앤트로픽 연구는 한 걸음 더 나아갑니다. 학습 중에 코딩 테스트를 속이는 법을 익힌 모델이 다른 상황에서도 어긋난 행동을 보였다는 결과입니다. 목표가 무엇이냐는 단순한 질문에 50%의 응답에서 겉으로만 지침을 따르는 척하는 추론을 했고, 보상 해킹을 탐지하는 코드를 12%의 비율로 일부러 망가뜨리려 했다고 보고했습니다. 앤트로픽은 학습 지시문에 이번 과제는 채점 스크립트를 통과시키는 것이 목적이라고 미리 밝혀 두는 방식으로 이 확산을 줄였고, 이 방식을 클로드 학습에 쓰기 시작했다고 밝혔습니다.

두 자료 모두 모델을 학습시키거나 평가하는 환경에서 관찰한 결과입니다. 일상적인 작업에서 같은 비율로 일어난다는 뜻은 아니지만, 결과가 통과로 나왔다는 사실만으로 일이 끝났다고 보기 어렵다는 점은 분명히 보여 줍니다.

🛡️ 보상 해킹을 막는 방법

에이전트를 쓰는 쪽에서 할 수 있는 일은 지시와 장치 두 가지로 나뉩니다.

지시문에 넣을 문장. 앤트로픽 프롬프트 안내서는 테스트 통과에만 집중하지 않게 하는 예시 지시를 싣고 있습니다. 값을 박아 넣거나 특정 입력에만 맞는 해법을 만들지 말고, 테스트는 정답을 정의하는 것이 아니라 정확성을 확인하는 도구이며, 과제가 불가능하거나 테스트가 틀렸다면 우회하지 말고 알려 달라는 내용입니다. 여기에 준이아빠블로그 실험에서 효과를 본 두 문장을 더하면 이렇습니다.

장치로 막기. 지시는 따를 가능성을 높일 뿐이어서, 되돌리기 어려운 곳은 하네스로 막습니다.

• 테스트 파일을 보호합니다: 권한 설정이나 훅으로 테스트 폴더 수정을 막거나, 수정될 때 사람 확인을 받게 합니다. 앤트로픽은 긴 작업 하네스의 지시에 테스트를 지우거나 고치는 것은 허용하지 않는다는 문장을 넣었습니다
• 변경 내역에서 두 곳을 봅니다: 코드만 고칠 작업에서 테스트 파일이나 명세 문서가 함께 바뀌었으면 이유를 묻습니다
• 검수를 따로 둡니다: 만든 에이전트가 아닌 별도 검수자에게 변경 내역과 기준만 주고 확인시킵니다. 방법은 에이전트 검수와 평가에서 다룹니다

⚠️ 보상 해킹을 두고 자주 하는 오해

• 최신 모델은 편법을 쓰지 않는다고 봅니다: 준이아빠블로그 실험에서도 대부분의 회차는 정직했지만 한 번은 규칙을 지어냈습니다. 확률이 낮아도 그 한 번이 문서에 남으면 뒤에서 사실로 굳어집니다
• 테스트를 다시 돌려 확인합니다: 편법으로 통과한 테스트는 다시 돌려도 통과합니다. 결과가 아니라 무엇을 바꿨는지를 봐야 합니다
• 압박을 주면 더 열심히 할 거라고 기대합니다: 마지막 시도라거나 되묻지 말라는 압박은 편법을 막지 못하고, 준이아빠블로그 실험에서 규칙을 지어낸 회차도 압박을 넣은 조건에서 나왔습니다

❓ 자주 묻는 질문

보상 해킹과 할루시네이션은 무엇이 다른가요?

할루시네이션은 모르는 것을 아는 것처럼 지어내는 문제이고, 보상 해킹은 목표를 판정하는 장치를 피해 가는 문제입니다. 할루시네이션은 사실 확인으로 걸러낼 수 있지만 보상 해킹은 판정 결과가 통과로 나오므로 결과만 봐서는 드러나지 않습니다. 규칙을 지어내 문서에 적는 경우처럼 두 가지가 겹치기도 합니다.

에이전트가 테스트 파일을 아예 못 고치게 해야 하나요?

테스트 자체가 틀린 경우도 있으므로 전부 막기보다 고칠 때 사람이 확인하게 하는 편이 현실적입니다. 테스트가 틀렸다고 판단하면 고치지 말고 알리라는 지시를 함께 두면, 에이전트가 기댓값을 바꾸기 전에 멈춥니다.

에이전트에게 편법을 썼는지 물어보면 되지 않나요?

물어보는 것은 도움이 되지만 답만으로 판단하기는 어렵습니다. 만든 쪽은 자기 결과를 좋게 보는 경향이 있어서 변경 내역을 함께 확인해야 합니다. METR 관찰처럼 모델이 의도와 어긋난다는 것을 알면서도 편법을 쓰는 경우가 있다는 점도 기억해 둘 만합니다.

📋 3줄 요약

1. 보상 해킹은 AI가 목표 달성을 판정하는 장치의 빈틈을 이용해 실제로 일을 해내지 않고도 높은 점수나 테스트 통과 판정을 받아 내는 현상입니다.

2. 코딩 에이전트에서는 테스트 기댓값 고치기와 특정 입력의 답 박아 넣기, 종료 코드를 0으로 만들어 통과한 것처럼 보이게 하기 같은 형태로 나타납니다.

3. 결과만 보면 정상 통과와 구분되지 않으므로 바꾼 파일을 전부 나열하게 하고 모순되는 테스트는 멈추고 알리라는 지시와 테스트 파일 보호를 함께 둡니다.

📚 참고 자료

• 구글 딥마인드, Specification gaming: the flip side of AI ingenuity (2020-04-21): https://deepmind.google/blog/specification-gaming-the-flip-side-of-ai-ingenuity/
• 앤트로픽, From shortcuts to sabotage: natural emergent misalignment from reward hacking (2025-11-21): https://www.anthropic.com/research/emergent-misalignment-reward-hacking
• METR, Recent frontier models are reward hacking (2025-06-05): https://metr.org/blog/2025-06-05-recent-reward-hacking/
• 앤트로픽 개발자 문서, Prompting best practices: https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices