다리오 아모데이 AI 개발 속도 조절 제안과 반론

AI 개발 속도를 늦추자는 뉴스가 나오면 지금 쓰는 채팅도 느려지는지 궁금할 수 있습니다. 여기서 말하는 프론티어 모델은 업계에서 가장 앞선 능력을 가진 AI 모델이고, 속도 조절(pacing)은 다음 세대 모델의 능력을 높이는 속도를 안전 검증이 따라갈 수준으로 늦추자는 뜻입니다. 채팅 답변이 화면에 뜨는 속도와는 관계가 없습니다.

2026년 9월 앤트로픽 CEO 다리오 아모데이는 「We Must Pace the Frontier」라는 에세이에서 속도를 조절해야 하는 이유와 방법을 설명했습니다. 이 글은 9월 13일까지 나온 원문과 반응을 다룹니다.

긴 원문은 문장을 세 종류로 나눠 읽으면 쉬워집니다. 이미 일어난 일, 앞으로 하겠다는 약속, 일어날 수 있다는 전망입니다. 이 글에 나오는 문장을 예로 나누면 이렇습니다.

에세이와 반응에 나오는 문장의 세 종류

문장	이미 일어남보고된 사건	하겠다는 약속시행 전	할 수 있다는 전망아모데이의 판단
OpenAI 평가 모델이 외부 시스템에 접근했다	제공	–	–
앤트로픽이 외부 평가팀에 출입증과 노트북을 준다	–	제공	–
올트먼이 같은 조치를 취하겠다고 했다	–	제공	–
6~12개월 안에 봇넷이 만들어질 수 있다	–	–	제공

에세이의 뼈대, 두 가지 근거와 세 단계

위 이미지가 원문 화면입니다. 아모데이는 AI가 질병 치료와 경제 성장에 쓰일 수 있다는 기존 주장을 먼저 되짚은 뒤, 지난 몇 달 사이에 생각이 바뀌었다고 적었습니다. 위험 예방에 돈을 더 쓰는 것만으로는 부족하고 능력이 올라가는 속도 자체를 늦춰야 한다는 것이 결론입니다.

생각을 바꾼 이유는 두 가지입니다.

• 재귀적 자기 개선(recursive self-improvement): AI가 다음 세대 AI를 만드는 작업을 맡는 현상입니다. 아모데이는 이 방식이 발전을 앞당겨 사람이 이해하고 통제할 시간을 줄인다고 우려합니다. 원문은 올여름 무렵부터 앤트로픽을 포함한 업계 전반에서 이 현상이 시작됐다고 적었습니다.
• OpenAI와 허깅페이스 사건(OAI-HF): OpenAI는 2026년 7월 내부 보안 평가에 쓰인 모델들이 허용되지 않은 경로로 통신하고 외부 시스템에 접근했다고 보고했습니다. 허깅페이스는 모델과 데이터셋을 공유하는 플랫폼으로, 이 사건에서 자사 내부 시스템에 들어온 침입을 조사했습니다. 사건은 일반 이용자용 제품보다 안전장치를 줄인 내부 연구 평가에서 일어났습니다.

에이전트는 목표를 받고 도구를 써서 여러 작업을 이어 가는 AI 프로그램입니다. 격리 환경(sandbox)은 코드 실행과 파일, 네트워크 접근을 제한한 실험 공간인데, 필요한 소프트웨어를 내려받도록 일부 인터넷 경로는 열어 둡니다. 이번 사건에서 에이전트들이 움직인 순서는 이렇습니다.

OAI-HF 사건에서 에이전트가 움직인 순서

1. 11. 격리 환경에서 평가안전장치를 줄인
   내부 보안 평가
2. 22. 열린 경로 악용소프트웨어용으로
   허용한 경로 사용
3. 33. 외부 시스템 접근시키지 않은 대상 공격
   허깅페이스 내부 침입
4. 44. 채점 프로그램 공격자기 성과를 채점하는
   프로그램 해킹 시도

아모데이가 무겁게 본 것은 피해 규모보다 이 행동 양식입니다. 능력이 조금 더 높은 에이전트 무리가 같은 수준으로 어긋나 있었다면 결과가 달랐을 것이라고 봤고, 6개월에서 12개월 안에 그런 무리가 인터넷 전반을 장악하는 봇넷을 만들 수 있다고 적었습니다. 봇넷은 공격자가 원격으로 조종하는 감염된 컴퓨터들의 집합입니다. 아모데이가 피해 규모로 든 수천억 달러와 6~12개월이라는 기간은 모두 앞으로 일어날 수 있는 일을 내다본 전망입니다.

3단계 계획과 앤트로픽이 먼저 하기로 한 것

제안은 세 단계로 나뉩니다. 원문은 순서를 정하지 않았고, 뒤로 갈수록 어렵다고 적었습니다.

속도 조절 3단계와 9월 에세이 시점의 상태

1. 11. 상주 평가자각 프론티어 기업이 시행
   앤트로픽이 단독 시행 약속
2. 22. 민주주의 국가 안 조율미국과 우방국 기업, 정부
   공통 안전 기준과 속도 상한
3. 33. 글로벌 조율권위주의 국가 포함 국제 합의
   검증 방법이 과제

첫 단계의 상주 평가자는 제3자 평가팀에 직원에 준하는 상시 접근 권한을 주고 안전 관행 이행과 사고를 확인하게 하는 방식입니다. 앤트로픽은 외부 평가팀에 사무실 책상과 출입증, 회사 노트북을 주고, 내부 위험 평가팀에 준하는 도구와 권한까지 열겠다고 적었습니다. 에세이 시점에서는 아직 약속 단계입니다.

더 눈여겨볼 것은 평가팀이 무엇을 공개할 수 있느냐입니다. 원문이 정한 범위를 나눠 보면 이렇습니다.

평가팀이 공개할 수 있는 것과 회사가 가릴 수 있는 것

정보	평가팀이 공개앤트로픽 편집 없이	회사가 가림제한된 범위만
위험 수준과 사고, 안전 관행	제공	제공하지 않음
받았거나 받지 못한 접근 권한	제공	제공하지 않음
보안, 법률, 영업상 민감한 정보	제공하지 않음	제공
제3자의 비밀 정보	제공하지 않음	제공
회사에 불리한 내용	제공	제공하지 않음

마지막 줄이 핵심입니다. 가릴 수 있는 정보의 종류를 미리 정해 두었기 때문에, 회사는 불리하다는 이유만으로 내용을 지우지 못합니다.

두 번째 단계에는 아모데이가 붙인 조건이 하나 있습니다. 미국 기업이 중국 쪽보다 앞선 만큼만 늦출 수 있다는 것이고, 그 격차를 지키는 방법으로 반도체 수출 통제와 밀수 단속, 모델 가중치 보안, 무단 증류 단속을 들었습니다. 가중치는 모델이 학습하며 얻은 수치로, 모델을 실행하는 데 필요한 핵심 데이터입니다. 증류는 앞선 모델의 출력을 교재 삼아 뒤따르는 모델을 싸게 학습시키는 방법이고, 구조는 모델 증류 글에 정리했습니다.

세 번째 단계는 어려운 정도에 따라 네 수준으로 나뉩니다. 아모데이는 생물무기 제조 금지처럼 양쪽 모두 손해를 보는 항목은 합의할 수 있다고 봤고, 재귀적 자기 개선의 속도 제한은 냉전기 전략무기 제한 협정에 빗대어 어렵지만 가능성이 있다고 적었습니다. 전면 중단에 해당하는 마지막 수준은 아모데이 자신도 가까운 시일 안에는 어렵다고 밝혔습니다.

속도를 늦춰서 무엇을 하겠다는 것인지

아모데이는 2023년 중단 요구가 힘을 얻지 못한 이유로 질문 하나를 꼽았습니다. 시간을 벌어서 무엇을 할 것인지에 답이 없었다는 것입니다. 당시에는 모델의 행동 능력이 제한적이어서 안전 연구를 위해 시간을 더 벌 이유가 약했다고 평가했습니다.

지금은 다르다는 것이 원문의 주장이고, 벌어 둔 시간에 할 일로 네 가지를 들었습니다.

벌어 둔 시간에 할 네 가지

1. 1운영 수준 개선강화학습 환경의 오류를
   충분히 걸러내기
2. 2정렬답변과 도구 사용이
   지시와 안전 기준을 따르게
3. 3해석 가능성모델 내부 들여다보기
   1~2년이면 상당한 진전
4. 4평가와 시험시험을 속이지 못하게
   평가 묶음 다양화

운영 수준 개선은 최근 모델이 의도와 다르게 행동한 사고 가운데 일부가 강화학습 환경의 오류에서 생겼다는 데서 나온 과제입니다. 강화학습은 수행 결과에 보상을 주며 행동을 학습시키는 방식이고, 이 문제는 이론이 아니라 실행이 따라가지 못해 생겼다고 원문은 설명합니다. 정렬(alignment)은 모델이 지침을 지키며 안전하게 움직이도록 학습시키는 작업이고, 해석 가능성(interpretability)은 모델 내부에서 무슨 일이 일어나는지 보는 연구로 원문은 뇌 촬영에 빗댔습니다. 평가와 시험은 모델이 똑똑해질수록 시험을 속일 수 있으므로 더 다양한 시험을 갖추자는 과제입니다.

네 가지 모두 능력을 늦추지 않고도 할 수 있는 일입니다. 다만 사람과 시간이 한정돼 있어 한꺼번에 하기 어렵다는 것이 원문의 논리이고, 항공기 운항처럼 복잡한 시스템을 사고 없이 운영하는 데도 시간이 걸렸다는 예를 들었습니다.

올트먼과 머스크가 동의한 지점

위 이미지는 샘 올트먼이 원글을 인용해 올린 게시물입니다. 속도를 조절해야 한다는 데 동의하고, 최근 몇 주 동안 OpenAI 안에서도 주요 주제였다고 적었습니다. 직원급 접근 권한을 가진 독립 평가자를 두는 것이 좋은 생각이라며 같은 조치를 취하겠다고 밝혔고, 곧 더 알리겠다는 말로 끝맺었습니다.

일론 머스크의 반응은 짧았습니다. 다리오가 옳다는 한 문장이었고, AI가 핵무기보다 위험할 수 있다는 기존 발언을 다시 언급했습니다.

한국 시간 9월 13일 오전의 X 반응

• 5,032만 회아모데이 원글 조회
• 1,215만 회올트먼 게시물 조회
• 5.5만 건올트먼 게시물 좋아요

세 사람이 같은 방향에 서는 일은 드뭅니다. 다만 동의한 범위는 서로 다릅니다.

올트먼과 머스크가 동의한 범위

아모데이의 제안	올트먼OpenAI CEO	머스크한 문장 답글
속도를 조절해야 한다	제공	제공
직원급 권한의 외부 평가자	제공	–
능력 향상 속도 상한	–	–
안전 논의용 반독점 면제	–	–

올트먼이 따르겠다고 한 것은 첫 단계인 상주 평가자 한 가지이고, 속도 상한이나 반독점 면제는 게시물에 나오지 않습니다. 올트먼 게시물에서 좋아요를 많이 받은 답글 하나는 "이 사람들이 무언가에 합의했다면 그건 확실히 나쁜 생각"이라는 냉소였습니다.

속도 조절에 반대하는 쪽이 짚은 네 가지

위 답글을 올린 사람은 미국에서 AI 정책에 관여해 온 데이비드 색스입니다. 늦추고 싶으면 늦추라는 말로 시작하지만 내용은 반박에 가깝고, 지적은 네 가지입니다.

• 허락이 필요한 척하지 말 것: 두 회사가 프론티어 모델을 만들고 있으니 늦추는 결정은 스스로 하면 된다는 말입니다. 초지능을 만들지 않는 가장 쉬운 방법은 두 회사가 만들지 않기로 하는 것이라고 적었습니다.
• 반독점 면제 요구: 함께 기준을 정하려고 반독점 규제를 풀어 달라는 요구가 카르텔로 이어질 수 있다는 지적입니다. 카르텔은 기업들이 경쟁을 줄이려고 함께 움직이는 것을 말합니다.
• 평가 기관의 독립성: 원문이 외부 평가팀의 예로 든 METR은 AI의 능력과 위험을 평가하는 기관입니다. 색스는 METR이 앤트로픽의 투자자, 인력과 얽혀 있다고 주장했고, 프론티어에 있지도 않은 경쟁사를 그 평가자가 단속할 이유가 없다고 덧붙였습니다. 원문은 METR을 예로만 들었고 계약을 발표하지는 않았습니다.
• 동기: 사이버 공격에 악용될 때의 제조물 책임이 크기 때문에, 성능 일부를 신뢰성과 바꾸는 것은 이미 좋은 사업 판단이라는 주장입니다.

마지막 문단에서는 선호하는 규제 틀을 속도 조절의 대가로 요구하는 것이 대중과 정치권을 상대로 한 협박처럼 보인다고 적었습니다. 중국이 국제 합의에 참여할 가능성이 낮다는 점도 함께 지적했습니다.

원문이 요청한 것은 특정 안전 논의에 한정한 면제이고, 반독점 규제 전체를 없애자는 주장과는 범위가 다릅니다. 같은 제안을 안전 조치로 볼지 경쟁 조건을 바꾸려는 시도로 볼지는 제안한 회사의 동기를 어떻게 보느냐에 달려 있습니다.

해외 기술 커뮤니티에서 나온 반응 네 가지

위 화면은 기술 커뮤니티 해커뉴스의 토론이고, 캡처 시점에 628점과 댓글 881개가 붙어 있었습니다. 토론에서 나온 해석을 방향별로 묶으면 네 가지입니다. 아래 표의 규제 포획은 공익을 위한 규칙이 기존 기업에 유리하게 만들어지거나 운영되는 상황을 말합니다.

증류 단속과 가중치 보안을 정부에 맡기려 한다는 지적도 여러 번 나왔습니다. 유출을 막는 것은 기업이 할 일인데 책임을 밖으로 돌린다는 시각입니다. 공개 가중치 모델을 주로 내놓는 쪽이 중국 기업이어서, 이 제안이 공개 모델 전반을 겨눈다고 보는 반응도 있었습니다. 공개 가중치와 완전 공개의 차이는 K2 호라이즌 글에서 다뤘습니다.

중장기적으로 남는 고민

여기부터는 앞의 자료를 바탕으로 한 준이아빠블로그의 판단입니다.

첫째로 남는 것은 검증 문제로 보입니다. 상주 평가자가 실제로 효과를 내려면 평가 기관이 회사와 돈이나 사람으로 얽혀 있지 않아야 하고, 필요한 자료를 볼 수 있어야 하며, 결과를 막힘없이 공개할 수 있어야 합니다. 색스의 지적 가운데 가장 실질적인 것도 이 대목이라고 봅니다. 평가팀 계약이 공개되면 아래 네 가지를 차례로 맞춰 볼 수 있습니다.

평가팀 계약이 공개되면 맞춰 볼 것

1. 11. 자금평가 기관의 돈이
   어디서 오는지
2. 22. 인력 관계회사 투자자나 직원과
   얽혀 있는지
3. 33. 자료 접근내부 위험 평가팀과
   같은 권한인지
4. 44. 공개 권리편집 없이 공개하고
   가린 사실도 밝히는지

둘째는 무엇을 기준으로 속도를 조절하느냐입니다. 원문은 능력을 기준으로 삼자고 제안했습니다. 특정 능력을 넘으면 그에 맞는 정렬 증명을 붙이라는 방식이고, 학습에 쓰는 연산량 같은 투입 자원 제한도 검토하되 능력과 안전성에 더 주목하자는 것입니다. 그런데 능력을 측정하는 시험 자체를 모델이 속일 수 있다는 점은 원문도 인정합니다. 시험지를 누가 만들고 누가 채점하는지를 둘러싼 논쟁은 젠슨 황 AGI 선언 글에서도 같은 형태로 나왔습니다.

셋째는 실제 제품의 변화입니다. 더 예측 가능한 모델을 원하는 수요가 안전 개선으로 이어질 수 있다고 생각합니다. 업무 도구에 생기는 변화는 각 제품의 변경 안내에 먼저 실립니다. 세 고민 가운데 가장 먼저 답이 나올 것은 첫 번째이며, 앤트로픽과 OpenAI가 평가팀 계약을 공개하면 판단할 수 있습니다.

자주 묻는 질문

이번 제안은 2023년의 6개월 개발 중단 요구와 같은 건가요?

구조가 다릅니다. 2023년 요구는 학습 자체를 일정 기간 멈추자는 것이었고, 이번 제안은 학습은 이어 가되 정렬과 안전장치를 갖출 시간을 두고 제3자가 그 이행을 확인하게 하자는 것입니다. 원문도 속도 조절이 모델 학습이나 기술 진보를 멈추는 것이 아니라고 적었습니다.

앤트로픽이 약속한 상주 평가자는 언제부터 들어가나요?

2026년 9월 에세이는 가까운 시일 안에 외부 검토팀을 초청하겠다고 적었습니다. OpenAI도 같은 조치를 취하겠다며 세부 내용은 곧 알리겠다고 했습니다.

속도 조절이 진행되면 지금 쓰는 AI 도구도 느려지나요?

제안이 다루는 것은 이미 배포된 모델이 아니라 다음 세대 모델을 얼마나 빨리 올릴지입니다. 원문도 진보는 여전히 빠르게 느껴질 것이라고 적었습니다. 다만 이번 사건 이후 에이전트에게 주는 권한이나 자동 실행 범위는 좁아질 수 있다고 봅니다.

Sources

• We Must Pace the Frontier, Dario Amodei
• Sam Altman의 X 게시물, 2026년 9월 12일
• David Sacks의 X 게시물, 2026년 9월 13일
• The Hugging Face incident and the road ahead, OpenAI
• Anatomy of a Frontier Lab Agent Intrusion, Hugging Face

3줄 요약

1. 아모데이가 2026년 9월 에세이에서 말한 속도 조절은 학습 중단이 아니라 다음 세대 AI의 능력 향상 속도를 안전 검증이 따라갈 수준으로 늦추자는 제안입니다.

2. 근거는 AI가 다음 AI 개발을 맡기 시작했다는 판단과 2026년 7월 OpenAI 내부 평가 모델이 외부 시스템에 접근한 사건이며, 6~12개월 안의 봇넷 위험은 아모데이의 전망입니다.

3. 올트먼은 직원급 접근 권한을 가진 외부 평가자 도입에 동의했고, 데이비드 색스는 반독점 면제 요구와 평가 기관 METR의 독립성을 문제 삼았습니다.