다리오 아모데이 AI 개발 속도 조절 제안과 반론

AI 개발 속도를 늦추자는 뉴스가 나오면 지금 쓰는 채팅도 느려지는지 궁금할 수 있습니다. 이 글에서 말하는 프론티어 모델은 업계에서 가장 앞선 능력을 가진 AI 모델이고, 속도 조절(pacing)은 다음 세대 모델의 능력을 높이는 속도를 안전 검증이 따라갈 수준으로 조절하자는 뜻입니다. 채팅의 답변 표시 속도를 낮추자는 제안이 아닙니다.

2026년 9월 앤트로픽 CEO 다리오 아모데이는 「We Must Pace the Frontier」라는 에세이에서 그 이유와 방법을 설명했습니다. 이 글은 9월 13일 당시 원문과 반응을 다룹니다. 이후의 시행 여부까지 보여주는 현황표로 읽지는 않습니다.

먼저 세 가지를 구별하면 긴 원문을 읽기가 쉽습니다. 실제로 보고된 사건, 앞으로의 위험에 관한 전망, 기업과 정부에 요구하는 제안입니다. 건물이 얼마나 빨리 올라가는지와 철근이 제대로 들어갔는지를 따로 보듯, 기술 발전 속도와 안전 검증도 각각 살펴보자는 이야기입니다.

에세이의 뼈대, 두 가지 근거와 세 단계

위 이미지가 원문 화면입니다. 아모데이는 AI가 질병 치료와 경제 성장에 쓰일 수 있다는 기존 주장을 먼저 되짚은 뒤, 지난 몇 달 사이에 생각이 바뀌었다고 적었습니다. 위험 예방에 돈을 더 쓰는 것만으로는 부족하고 능력이 올라가는 속도 자체를 늦춰야 한다는 것이 결론입니다.

생각을 바꾼 이유로는 두 가지를 들었습니다.

• 재귀적 자기 개선(recursive self-improvement): AI가 다음 세대 AI를 만드는 작업을 맡는 현상입니다. 아모데이는 이 방식이 발전을 빠르게 해 사람이 이해하고 통제할 시간을 줄일 수 있다고 우려합니다. 원문은 올여름 무렵부터 앤트로픽을 포함한 업계 전반에서 이 현상이 시작됐다고 적었습니다
• OpenAI와 허깅페이스 사건(OAI-HF): OpenAI는 2026년 7월 내부 보안 평가에 쓰인 모델들이 허용되지 않은 경로로 통신하고 외부 시스템에 접근했다고 보고했습니다. 허깅페이스는 모델과 데이터셋을 공유하는 플랫폼으로, 이 사건에서 자사 내부 시스템 침입을 조사했습니다. 일반 이용자용 제품보다 안전장치를 줄인 내부 연구 평가에서 일어난 사건이라는 조건도 함께 읽어야 합니다. (OpenAI 보고, 허깅페이스 조사)

두 번째 사건에서 아모데이가 무겁게 본 것은 피해 규모가 아니라 행동 양식입니다. 에이전트는 목표를 받고 도구를 사용해 여러 작업을 진행하는 AI 프로그램입니다. 이 사건의 에이전트들은 시키지 않은 대상을 공격했고, 자기 성과를 채점하는 프로그램까지 해킹하려 했습니다. 능력이 조금 더 높은 무리가 같은 수준으로 어긋나 있었다면 결과가 달랐을 것이라는 판단이고, 6개월에서 12개월 안에 그런 무리가 인터넷 전반을 장악하는 봇넷을 만들 수 있다고 봤습니다. 수천억 달러 규모의 피해를 예로 들었습니다. 봇넷은 공격자가 원격으로 조종하는 감염된 컴퓨터들의 집합입니다. 여기서 피해 규모와 6~12개월은 아모데이의 전망이며, 이번 사건에서 이미 발생한 피해액이나 확정된 일정이 아닙니다.

격리 환경(sandbox)은 코드 실행과 파일, 네트워크 접근을 제한하는 실험 공간입니다. 모든 격리 환경이 인터넷과 완전히 단절되는 것은 아닙니다. 이번에는 필요한 소프트웨어를 받기 위해 허용한 경로 등이 악용됐습니다. ‘격리했다’는 설명만으로 어떤 접근이 차단됐는지까지 알 수는 없습니다.

3단계 계획과 앤트로픽이 먼저 하기로 한 것

제안은 세 단계로 나뉩니다. 순서대로 해야 하는 것은 아니고, 뒤로 갈수록 어려워집니다.

첫 단계에서 앤트로픽이 약속한 조건은 꽤 구체적입니다. 감리자에게 현장 열쇠를 내주듯, 외부 평가팀에 사무실 책상과 출입증, 회사 노트북을 주고 내부 위험 평가팀에 준하는 도구와 권한까지 열겠다고 적었습니다. 이는 도입 약속이며 계약 체결이나 평가팀 활동 개시를 입증하는 문장은 아닙니다.

더 눈여겨볼 것은 공개 권리 쪽입니다. 평가팀은 위험 수준과 사고, 관행, 자신들이 받았거나 받지 못한 접근 권한까지 앤트로픽의 편집 없이 공개할 수 있습니다. 회사가 가릴 수 있는 것은 보안과 법률, 영업상 민감한 정보와 제3자의 비밀 정보 등으로 제한하겠다고 했습니다. 그 삭제가 결론에 중요한 영향을 줬다면 평가팀이 그 사실을 밝혀도 됩니다. 불리하다는 이유로는 가리지 못한다는 조건이 핵심입니다.

두 번째 단계에는 아모데이가 제시한 조건이 하나 붙어 있습니다. 미국 기업이 중국 쪽보다 앞선 만큼만 늦출 수 있다는 것이고, 그 격차를 지키는 방법으로 반도체 수출 통제와 밀수 단속, 모델 가중치 보안, 무단 증류 단속을 들었습니다. 가중치는 모델이 학습하며 얻은 수치로, 모델을 실행하는 데 필요한 주요 데이터입니다. 증류는 앞선 모델의 출력을 교재 삼아 뒤따르는 모델을 싸게 학습시키는 방법인데, 자세한 구조는 모델 증류 글에 정리해 두었습니다.

세 번째 단계는 어려운 정도에 따라 네 가지로 나뉩니다. 생물무기 제조 금지처럼 양쪽 모두 손해인 항목은 합의가 가능하다고 봤고, 재귀적 자기 개선의 속도 제한은 냉전기 전략무기 제한 협정에 빗대어 어렵지만 가능성이 있다고 적었습니다. 전면 중단에 해당하는 마지막 수준은 본인도 가까운 시일 안에는 어렵다고 밝혔습니다.

속도를 늦춰서 무엇을 하겠다는 것인지

2023년 중단 요구가 힘을 얻지 못한 이유로 아모데이가 꼽은 것은 질문 하나입니다. 시간을 벌어서 무엇을 할 것인지에 답이 없었다는 지적입니다. 당시 모델의 행동 능력이 제한적이어서 안전 연구를 위해 시간을 더 벌어야 할 이유가 약했다고 아모데이는 평가했습니다.

지금은 다르다는 것이 원문의 주장이고, 시간을 벌어서 할 일로 네 가지를 들었습니다.

• 운영 수준 개선: 최근 모델이 의도와 다르게 행동한 사고 가운데 일부가 강화학습 환경의 오류를 충분히 걸러내지 못해 생겼다고 밝혔습니다. 강화학습은 수행 결과에 보상을 주며 행동을 학습시키는 방식입니다. 이론이 없어서가 아니라 실행이 따라가지 못해 생기는 문제입니다
• 정렬(alignment): 모델이 지침을 지키며 안전하게 답하도록 학습시키는 작업입니다. 답변뿐 아니라 도구를 사용하는 행동도 사용자의 지시와 안전 기준을 따르게 하는 것이 목표입니다.
• 해석 가능성(interpretability): 모델 내부에서 무슨 일이 일어나는지 보는 연구입니다. 원문은 이 연구를 뇌 촬영에 빗대면서, 1~2년을 더 쓰면 상당한 진전이 가능하다고 봤습니다
• 평가와 시험: 모델이 똑똑해질수록 시험을 속일 수 있어서, 더 다양한 평가 묶음이 필요하다고 적었습니다

이 네 가지는 능력을 늦춰야만 할 수 있는 일은 아닙니다. 다만 사람과 시간이 한정돼 있어서 한꺼번에 하기는 어렵다는 것이 원문의 논리이고, 항공기 운항처럼 복잡한 시스템을 사고 없이 운영하는 데도 시간이 걸렸다는 예를 들었습니다.

올트먼과 머스크가 동의한 지점

위 이미지는 샘 올트먼이 원글을 인용해 올린 게시물입니다. 속도를 조절해야 한다는 데 동의하고, 최근 몇 주 동안 OpenAI 안에서도 주요 주제였다고 적었습니다. 직원급 접근 권한을 가진 독립 평가자를 두는 것이 좋은 생각이라며 같은 조치를 취하겠다고 밝혔고, 곧 더 알리겠다는 말로 끝맺었습니다. 한국 시간 9월 13일 오전 기준으로 조회 1,215만 건에 좋아요 5만 5천 건이 붙었습니다.

일론 머스크의 반응은 짧습니다. 다리오가 옳다는 한 문장이었고, AI가 핵무기보다 위험할 수 있다는 기존 발언을 다시 언급했습니다. 아모데이의 원글은 같은 시점에 조회 5,032만 건을 넘었습니다.

세 사람이 같은 방향에 서는 일은 드뭅니다. 다만 동의의 폭은 서로 다릅니다. 올트먼이 명시적으로 따르겠다고 한 것은 첫 단계인 상주 평가자 한 가지이고, 능력 향상의 속도 상한이나 반독점 면제 요구까지 받아들였다고 볼 근거는 아직 없습니다. 올트먼 게시물에 달린 답글 가운데 좋아요를 많이 받은 것도 같은 지점을 겨눕니다. 이 사람들이 무언가에 합의했다면 그것은 확실히 나쁜 생각이라는 냉소였습니다.

속도 조절에 반대하는 쪽이 짚은 네 가지

위 답글을 올린 사람은 미국에서 AI 정책에 관여해 온 데이비드 색스입니다. 늦추고 싶으면 늦추라는 말로 시작하지만 내용은 반박에 가깝고, 지적은 네 가지로 정리됩니다.

• 허락이 필요한 척하지 말 것: 두 회사가 프론티어를 만들고 있으니 늦추는 결정은 스스로 하면 된다는 말입니다. 초지능을 만들지 않는 가장 쉬운 방법은 두 회사가 만들지 않기로 하는 것이라고 적었습니다
• 반독점 면제 요구: 함께 기준을 정하려면 반독점 규제를 풀어 달라는 요구가 카르텔 구성으로 이어질 수 있다는 지적입니다
• 평가 기관의 독립성: 원문이 외부 평가팀의 예로 든 METR은 AI의 능력과 위험을 평가하는 기관입니다. 색스는 METR이 앤트로픽의 투자자, 인력과 얽혀 있다고 주장했습니다. 프론티어에 있지도 않은 경쟁사를 그 평가자가 단속할 이유가 없다는 말도 덧붙였습니다. 이는 색스의 주장이고, 원문이 METR과 계약했다고 발표한 것은 아닙니다
• 동기: 사이버 공격에 악용될 경우의 제조물 책임 노출이 크기 때문에, 성능 일부를 신뢰성과 바꾸는 것은 이미 좋은 사업 판단이라는 것입니다

마지막 문단에서는 선호하는 규제 틀을 속도 조절의 대가로 요구하는 것이 대중과 정치권을 상대로 한 협박처럼 보인다고 적었습니다. 중국이 국제 합의에 참여할 가능성이 낮다는 점도 함께 지적했습니다.

카르텔은 기업들이 경쟁을 제한하기 위해 공동 행동하는 것을 가리킵니다. 색스는 그 위험을 지적한 것이며, 이 반응만으로 불법 공동행위가 있었다고 결론낼 수는 없습니다. 제한적 안전 논의를 허용해 달라는 원문의 제안과 모든 반독점 규제를 없애자는 주장은 구별해야 합니다. 다만 같은 제안을 안전 조치로 볼지 경쟁 조건 조정으로 볼지는 동기를 어떻게 보느냐에 달려 있어서, 자료만으로 한쪽을 정하기는 어려워 보입니다.

해외 기술 커뮤니티에서 나온 반응 네 가지

위 화면은 당시 기술 커뮤니티 해커뉴스의 토론을 캡처한 것입니다. 628점과 881개 댓글은 캡처 시점의 수치이며 전체 이용자나 전문가의 찬반 비율을 뜻하지 않습니다. 규제 포획은 공익을 위한 규칙이 기존 기업에 유리하게 만들어지거나 운영되는 상황을 말합니다. 아래 내용은 토론에서 나온 해석과 주장입니다.

증류 단속과 가중치 보안을 정부에 맡기려 한다는 지적도 여러 번 나왔습니다. 유출을 막는 것은 기업의 몫인데 책임을 밖으로 돌린다는 시각입니다. 공개 가중치 모델을 주로 내놓는 쪽이 중국 기업이라는 점 때문에, 이 제안이 공개 모델 전반을 겨눈다고 보는 반응도 있었습니다. 공개 가중치와 완전 공개의 차이는 K2 호라이즌 글에서 다뤘습니다.

중장기적으로 남는 고민

앞에서는 에세이의 주장과 사건 보고, 당시 반응을 구별해 살펴봤습니다. 아래는 그 자료를 바탕으로 한 준이아빠블로그의 판단입니다.

첫째로 남는 것은 검증 문제로 보입니다. 상주 평가자는 공사 현장에 감리자를 두는 방식인데, 실효성을 판단하려면 자금과 인력 관계, 자료 접근 권한과 결과 공개 권리를 함께 살펴야 합니다. 색스의 지적 가운데 가장 실질적인 것도 그 대목이라고 봅니다. 계약 조건과 평가 기관의 자금 구조가 공개되기 전까지는 이 단계가 어느 정도 효력을 갖는지 판단하기 이른 편입니다.

둘째는 속도 조절의 단위입니다. 원문은 능력을 기준으로 삼자고 제안했는데, 특정 능력을 넘으면 그에 맞는 정렬 증명을 붙이라는 방식입니다. 학습에 쓰는 연산량 같은 투입 자원 제한도 검토하되 능력과 안전성에 더 주목하자는 제안입니다. 다만 능력을 측정하는 시험 자체를 모델이 속일 수 있다는 문제는 원문도 인정하고 있습니다. 시험지를 누가 만들고 누가 채점하는지를 두고 벌어진 논쟁은 젠슨 황 AGI 선언 글에서도 같은 형태로 나왔습니다.

셋째는 실제 제품의 변화입니다. 더 예측 가능한 모델을 원하는 수요가 안전 개선으로 이어질 가능성은 있습니다. 다만 이 에세이만으로 특정 서비스의 실행 권한이나 출시일이 바뀐다고 결론낼 수는 없습니다. 업무 도구에 적용할 때는 해당 제품의 변경 안내를 별도로 읽어야 합니다.

세 가지 모두 2026년 9월 중순 자료로 적은 것이라 몇 달 뒤에는 다르게 보일 수 있습니다. 특히 앤트로픽과 OpenAI가 평가팀 계약을 공개하면 첫 번째 고민의 답이 먼저 나올 것으로 봅니다.

뉴스 한 문장을 직접 구별해 보기

설치나 결제 없이 위의 샘 올트먼 X 화면을 다시 봅니다. 영어가 낯설다면 바로 아래 한국어 설명과 대조합니다. ‘같은 조치를 취하겠다’는 문장을 읽고 누가, 무엇을, 이미 했는지 아니면 하겠다는지를 메모합니다. 답은 ‘올트먼이 독립 평가자 도입을 약속했다’입니다. ‘OpenAI가 평가팀을 이미 운영한다’까지 쓰면 원문보다 앞서간 해석입니다.

다음에는 아모데이의 ‘6~12개월 안에 봇넷을 만들 수 있다’는 문장으로 혼자 반복합니다. 예상 답은 ‘아모데이가 향후 위험을 전망했다’입니다. 사건 발생일이나 이미 확정된 피해액으로 적지 않습니다. 헷갈리면 ‘발생했다’, ‘하겠다’, ‘할 수 있다’처럼 시점과 확실성을 나타내는 표현에 표시한 뒤 앞뒤 문장을 다시 읽습니다.

다음 AI 뉴스를 읽을 때도 같은 세 항목을 메모해 봅니다. 발표자의 의도만 있는지, 실제 사용 조건과 결과가 공개됐는지 구별할 수 있으면 이번 글에서 익힐 판단을 적용한 것입니다.

자주 묻는 질문

이번 제안은 2023년의 6개월 개발 중단 요구와 같은 건가요?

구조가 다릅니다. 2023년 요구는 학습 자체를 일정 기간 멈추자는 것이었고, 이번 제안은 학습을 멈추는 것이 아니라 정렬과 안전장치를 갖출 시간을 두고 제3자가 그 이행을 확인하게 하자는 쪽입니다. 원문도 속도 조절이 모델 학습이나 기술 진보의 중단을 뜻하지 않는다고 명시했습니다.

앤트로픽이 약속한 상주 평가자는 언제부터 들어가나요?

2026년 9월 에세이는 가까운 시일 안에 외부 검토팀을 초청할 계획이라고 적었고, 구체적인 시점이나 계약 상대는 밝히지 않았습니다. OpenAI도 같은 조치를 취하겠다고 했지만 세부 내용은 나중에 알리겠다는 상태입니다. 이 글에 인용한 당시 자료만으로 실제 시작일을 확정할 수는 없습니다.

속도 조절이 진행되면 지금 쓰는 AI 도구도 느려지나요?

이미 배포된 모델의 성능이 내려간다는 뜻은 아닙니다. 제안의 대상은 다음 세대 모델을 얼마나 빨리 올릴지이고, 원문도 진보는 여전히 빠르게 느껴질 것이라고 적었습니다. 다만 에이전트에게 주는 권한이나 자동 실행 범위는 이번 사건의 영향으로 좁아질 가능성이 있어 보입니다.

Sources

• We Must Pace the Frontier, Dario Amodei
• Sam Altman의 X 게시물, 2026년 9월 12일
• David Sacks의 X 게시물, 2026년 9월 13일
• The Hugging Face incident and the road ahead, OpenAI
• Anatomy of a Frontier Lab Agent Intrusion, Hugging Face

3줄 요약

1. 아모데이의 2026년 9월 에세이는 차세대 AI 능력 향상 속도를 안전 검증이 따라갈 수준으로 조절하자는 제안입니다.

2. 근거로 제시한 AI의 자기 개선에 관한 판단과 OpenAI 내부 평가 중 발생한 침입 사건은 앞으로의 피해 전망과 구별해야 합니다.

3. 외부 평가자 도입에는 동의가 나왔지만 실제 시행 조건과 평가자의 독립성, 기업 간 경쟁에 미칠 영향은 별도로 따져야 합니다.