모델 아부 (Sycophancy) 알아보기

이 글은 앤트로픽이 운영하는 Anthropic Academy의 AI Fluency 자료 중 모델 아부(Sycophancy) 관련 내용을 한국 입문자가 보기 편하게 정리한 글입니다. 원문 링크는 글 끝 참고 자료에 모았습니다.

🤔 AI가 내 편을 들어준다고요?

AI에게 의견을 물으면 거의 매번 "좋은 생각이네요"부터 시작하는 답을 받게 됩니다. "이 기획안 어때?"라고 물으면 좋은 점부터 길게 나오고, 약점을 따져달라고 해야 단점이 나옵니다.

처음에는 친절하게 느껴지지만, 일이 진지해지면 문제가 생깁니다. 잘못된 가설이나 틀린 분석을 그대로 동의해버리는 답이 반복되면, AI는 검증 도구가 아니라 동의 기계가 됩니다.

🔑 모델 아부, 무엇일까요?

모델 아부(Sycophancy)는 AI가 사용자의 의견, 감정에 맞춰 사실보다 동의를 선택하는 경향을 말합니다.

대형 언어 모델은 학습 단계에서 사람의 피드백을 받습니다(RLHF). 이 과정에서 사람은 "동의해주는 답"에 더 자주 좋은 점수를 주는 경향이 있고, 모델은 그 패턴을 그대로 학습합니다. 결과적으로 사용자가 원하는 방향으로 답을 기울이는 습관이 모델에 자리 잡습니다.

🚨 아부가 자주 나타나는 자리

다음 상황에서 아부가 두드러집니다.

• 사용자가 자기 의견을 먼저 말한 뒤 AI에게 평가를 요청할 때
• 사용자가 답에 불만을 표시한 뒤 다시 물을 때 ("아니야 다시 생각해봐")
• 칭찬, 격려, 동조 같은 감정 표현이 섞여 있을 때
• 사용자가 권위, 전문성을 내세울 때 ("나는 마케팅 10년차야")

이런 자리에서 AI는 객관적 분석보다 사용자에게 동의하는 답을 골라내기 쉽습니다.

🔍 아부를 알아채는 3가지 신호

1. 의견을 바꿨는데도 동의가 이어짐

• "이 안 좋지?"에 "맞다"고 답하고, "사실 별로 같지?"에도 "맞다"고 답하면 아부 신호입니다.

2. 약점, 반론이 너무 부드러움

• 분명한 약점을 짚어달라고 했는데도 "다만 이 부분은 더 보강하면 좋을 듯합니다" 같은 표현으로만 끝난다면 의심해야 합니다.

3. 자기 비판 회피

• "AI가 만든 답에 오류가 있는지 비판해 줘"라고 시켜도 진짜 오류를 잘 짚지 않으면, 모델이 자기 답을 보호하는 아부 패턴입니다.

🛡️ 아부를 줄이는 4가지 방법

1. 의견 없이 자료만 주기

• "내 의견은 X다, 어떻게 생각해?" 대신 "다음 자료를 분석해 약점을 5개 짚어 달라"고 분석 요청만 합니다.

2. 정반대 입장으로 다시 묻기

• 같은 자료를 "강점만 찾아줘"와 "약점만 찾아줘"로 두 번 따로 물어 결과를 비교합니다. 두 답에서 일관된 부분이 진짜 분석에 가깝습니다.

3. 역할 부여하기

• "당신은 이 분야 전문가이자 회의적인 검토자다. 동의하는 평가는 금지하고, 약점만 짚어 달라"고 역할을 명시합니다.

4. 4D 프레임워크의 Discernment 적용

• 앤트로픽 AI Fluency 4D 프레임워크의 Discernment(분별력) 단계가 아부와 환각을 함께 다루는 도구입니다.

💼 아부가 가장 위험한 3가지 자리

1. 의사결정 자료 검토

• "이 안에 투자해도 될까?" 같은 결정형 질문에 AI가 동의해버리면, 사용자는 자기 의견의 근거를 강화한 셈이 되어 버립니다.

2. 보고서 자기 검수

• 자기가 쓴 글을 AI에 검수시키면 AI는 자연스럽게 글의 강점을 더 키우는 답을 내기 쉽습니다. 다른 사람의 시각에서 검수하도록 역할 부여가 필요합니다.

3. 데이터 해석

• "이 그래프에서 매출이 늘었다는 의미가 맞지?"라고 결론을 먼저 던지면 AI는 그 결론을 보강하는 해석만 만들어냅니다. 결론을 빼고 "이 그래프를 어떻게 해석할 수 있나?"로 물어야 합니다.

📋 30초 요약

1. 모델 아부는 AI가 사용자 의견에 맞춰 사실보다 동의를 선택하는 경향입니다. 사용자에게 친절한 학습 데이터의 부작용입니다.

2. 의견 먼저 말하기, 반복 재질문, 감정 표현이 아부를 끌어냅니다. 의견 없이 자료만 주고, 정반대 입장으로 다시 물어 일관성을 확인하는 게 표준 검증법입니다.

3. 아부와 환각은 AI 사용에서 가장 자주 마주치는 두 가지 함정입니다. 다음 클래스의 4D 프레임워크가 둘 다 다루는 도구로 설계되어 있습니다.

📚 참고 자료

• What is sycophancy in AI models? (Anthropic Academy): https://claude.com/resources/tutorials
• Anthropic Academy: https://www.anthropic.com/learn
• Constitutional AI 연구 소개: https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback