AI 컴퓨터 유즈 현황: 긴 업무에서 무너지는 이유

컴퓨터 유즈(Computer Use)는 AI가 화면을 직접 보고 마우스와 키보드를 움직여 사람이 쓰던 프로그램을 대신 조작하는 방식입니다. 앤트로픽은 2026년 8월 버전부터 이 기능을 베타가 아닌 정식 도구로 제공하고 있습니다.

데모 영상은 이미 익숙합니다. 항공권을 검색하고 표를 채우고 파일을 저장하는 장면이 2024년부터 계속 나왔고, 짧은 작업은 실제로 됩니다. 연동 통로가 없는 오래된 사내 시스템에도 쓸 수 있다는 점에서 기대를 모았습니다.

덜 알려진 쪽은 그다음입니다. 한두 시간이 걸리는 실제 업무를 통째로 맡기면 무슨 일이 벌어지는지, 어디서 어떻게 무너지는지는 데모에 나오지 않습니다. 건물에 화물용 승강기가 있으면 짐을 한 번에 올리지만 없으면 계단으로 나르듯, 연동 통로가 없는 업무에는 화면 조작이라는 느린 경로만 남습니다. 공개 벤치마크와 공식 문서를 근거로 2026년 9월 11일 기준으로 정리하겠습니다.

컴퓨터 유즈가 화면을 조작하는 방식

작동 구조는 단순한 반복입니다. 화면을 캡처해 모델에 보내고, 모델이 다음 동작을 정하고, 그 동작을 실제로 실행한 뒤 다시 화면을 캡처합니다. 이 고리가 과제가 끝날 때까지 돕니다.

앤트로픽이 제공하는 도구는 17개입니다. 화면 캡처와 특정 영역 확대, 클릭 다섯 종류, 드래그, 커서 이동, 스크롤, 텍스트 입력, 키 조합 입력, 키 누르고 있기, 대기 기능이 포함됩니다. OpenAI 쪽도 클릭과 더블클릭, 드래그, 이동, 스크롤, 키 입력, 타이핑, 대기, 화면 캡처로 구성이 비슷합니다.

지원 모델은 Claude Opus 5와 Sonnet 5를 포함한 최신 계열이고, 실행 환경으로는 가상 디스플레이와 가벼운 데스크톱, 미리 설치된 응용 프로그램을 담은 컨테이너를 권장합니다. 앤트로픽의 참조 구현도 도커 컨테이너 안에서 실행됩니다.

이 방식이 나온 이유는 분명합니다. 연동용 통로가 없는 프로그램이 여전히 많기 때문입니다. API나 MCP 연결이 있으면 그쪽이 빠르고 정확한데, 없는 화면에는 사람이 쓰던 길만 남아 있습니다.

짧은 과제 80%와 긴 과제 31%의 거리

이 분야의 표준 시험대는 OSWorld입니다. 실제 운영체제 위에서 과제를 주고 성공 여부를 채점합니다.

1.0 버전 점수는 빠르게 올랐습니다. 2024년 10%대에서 출발해 2026년에는 80%를 넘겼습니다. 이 숫자만 보면 사람이 하던 화면 작업을 대부분 맡길 수 있을 것처럼 보입니다.

2026년 6월에 공개된 OSWorld 2.0은 다른 그림을 보여 줍니다. 사람이 중앙값 1.6시간 걸리는 업무 108개를 모았고, 그중 69.6%는 한 시간을 넘습니다. 과제당 평균 도구 호출은 318회로, 1.0의 약 30회와 열 배 차이가 납니다.

2026년 9월 11일 기준 상위 기록은 아래 표와 같습니다. 완전 성공으로 친 비율과 부분 점수를 함께 적었습니다.

같은 모델이 짧은 과제에서 80%를 넘기고 긴 업무에서 31%에 머뭅니다. 벤치마크 숫자를 그대로 업무 자동화 가능성으로 읽으면 어긋나는 지점이 여기입니다.

한 시간짜리 업무의 실제 모습

논문이 대표 사례로 든 과제는 경비 환급 청구입니다. 많은 직장에 있는 업무라 무엇이 어려운지 바로 보입니다.

단계 번호를 보면 규모가 짐작됩니다. 안내 문서를 읽는 것이 1단계이고 사람에게 질문하는 것이 499단계입니다. 그사이에 포털 입력과 영수증 금액 확인, 은행 거래 대조, 이전 보고서에서 누락된 사번 찾기가 들어갑니다.

까다로운 대목은 중간에 상황이 바뀐다는 점입니다. 372단계에서 새 메일이 도착해 청구 대상이 달라집니다. 계단을 절반쯤 올랐는데 목적지 층이 바뀌듯, 앞서 채운 항목까지 되돌아가 고쳐야 합니다.

마지막 단계도 눈여겨볼 만합니다. 자료가 서로 맞지 않으면 혼자 결정하지 않고 사람에게 물어야 정답으로 칩니다. 끝까지 밀어붙이는 능력만 재는 시험이 아닙니다.

에이전트가 무너지는 다섯 지점

벤치마크는 과제마다 어떤 능력이 필요한지 표시해 두었습니다. 한 과제에 여러 표시가 붙을 수 있어 비율을 더하면 100%를 넘습니다.

화면을 읽는 능력보다 흩어진 정보를 하나로 맞추는 일에서 더 많이 실패합니다. 연구진이 정리한 실패 습관도 같은 방향입니다. 제약 조건을 도중에 놓치고, 작업 중간에 도착한 정보를 반영하지 않고, 사용자에게 묻는 대신 추측하고, 결과를 확인하지 않고 넘어갑니다.

앤트로픽 공식 문서의 권장 사항이 이 습관을 그대로 겨냥합니다. 단계마다 화면을 캡처해 의도한 결과가 나왔는지 스스로 평가하라고 프롬프트에 적으라는 안내가 들어 있습니다. 드롭다운이나 스크롤 막대처럼 마우스로 다루기 까다로운 요소는 키보드 단축키를 쓰게 하라고 권합니다.

토큰을 더 써도 곡선이 눕습니다

앞의 표에는 추론 강도라는 열이 있습니다. 같은 모델에 생각할 여유를 얼마나 주었는지를 가리킵니다.

Claude Opus 5를 기준으로 보면 낮은 강도에서 과제당 32.7K 토큰을 쓰고 22.3%를 맞혔고, 최대 강도에서 103K 토큰을 쓰고 31.4%를 맞혔습니다. 토큰을 세 배 넘게 더 쓰고 9%포인트를 올린 것입니다. 그래프의 곡선이 오른쪽으로 갈수록 눕는 이유가 여기에 있습니다.

효율만 놓고 보면 순위가 달라집니다. GPT-5.6 Sol은 36.1K 토큰으로 27.3%를 기록했습니다. 토큰을 3분의 1만 쓰고 상위 점수와 4%포인트 차이입니다. 비용을 함께 재면 선택이 달라질 수 있는 대목이라고 봅니다.

실무 관점에서 중요한 것은 절대 비용입니다. 과제 하나에 출력 토큰 10만 개를 쓴다는 말은, 사람이 한 시간에 끝낼 일을 맡기면서 그만한 비용과 시간을 지불한다는 뜻입니다. 게다가 완전 성공률은 3분의 1을 넘지 못합니다.

화면에 보이는 것을 믿으면 안 되는 이유

컴퓨터 유즈에는 다른 자동화에 없는 위험이 하나 붙습니다. 모델이 화면에 나타난 글자를 읽고 판단하기 때문에, 화면에 심어 둔 문장이 지시처럼 작동할 수 있습니다.

앤트로픽은 공식 문서에 이렇게 적었습니다.

“

어떤 상황에서는 Claude가 여러분의 지시와 충돌하는데도 콘텐츠 안에서 발견한 명령을 따릅니다. 예를 들어 웹페이지나 이미지에 들어 있는 지시문이 여러분의 지시를 덮어쓰거나 Claude가 실수하게 만들 수 있습니다.

OpenAI 문서의 표현은 더 짧습니다. 화면 내용을 신뢰하지 말라고 적고, 페이지나 문서, 도구 결과에 들어 있는 문장은 권한을 부여할 수 없다고 못 박았습니다.

실제 성공률을 잰 연구도 있습니다. 다섯 개 플랫폼에서 306개 시험을 돌린 결과, 컴퓨터를 조작하는 에이전트는 특정 플랫폼에서 최대 51%, 브라우저만 다루는 에이전트는 최대 100%까지 속았습니다. 연구진은 시스템 프롬프트로 막는 방식이 제한된 개선만 준다고 적었습니다. 계단참에 붙은 가짜 안내문을 그대로 읽고 엉뚱한 층으로 올라가는 일을, 짐을 나르는 사람에게 조심하라고 당부하는 것만으로는 막기 어려운 것과 같습니다.

두 회사가 공통으로 권하는 대비책은 네 가지입니다.

• 격리된 환경: 권한을 최소로 준 전용 가상머신이나 컨테이너에서 실행합니다.
• 민감 정보 차단: 계정 로그인 정보처럼 유출되면 곤란한 자료는 접근 대상에서 뺍니다.
• 접속 범위 제한: 허용한 도메인 목록 안에서만 움직이게 합니다.
• 사람 확인: 결제나 약관 동의처럼 현실에 영향을 주는 결정은 사람이 승인합니다.

실무에서 쓸 곳과 쓰지 않을 곳

지금 수치를 기준으로 하면 판단 기준은 비교적 단순합니다. 연동 통로가 있는지, 작업이 긴지, 되돌릴 수 있는지를 봅니다.

시작할 때 권할 만한 순서는 작게 자르는 것입니다. 한 시간짜리 업무를 통째로 맡기는 대신 5분에서 10분 단위로 쪼개고, 각 구간이 끝날 때 사람이 결과를 확인합니다. 벤치마크에서 짧은 과제 성적이 훨씬 좋다는 사실을 그대로 이용하는 방법입니다.

연동 통로가 없는 서비스에 일을 시키는 다른 방법은 연동 없는 서비스에 AI로 일 시키는 방법에 적어 두었고, 에이전트 브라우저를 실제로 써 본 기록은 Aside 브라우저 사용 후기에 있습니다.

컴퓨터 유즈로 업무 자동화를 지금 도입해도 될까요?

업무 성격에 따라 달라집니다. 단계가 짧고 화면이 일정하며 결과를 되돌릴 수 있는 작업이면 지금도 쓸 만합니다. 한 시간짜리 업무를 사람 확인 없이 끝까지 맡기는 방식은 이르다고 봅니다. 공개 벤치마크의 완전 성공률이 31.4%이므로 세 번에 두 번은 사람이 고쳐야 한다는 뜻입니다.

API 연동과 컴퓨터 유즈 중 무엇을 먼저 봐야 할까요?

연동이 있으면 연동이 먼저입니다. 컴퓨터 유즈는 화면을 읽고 좌표를 찍는 과정이 매번 들어가 느리고, 화면이 조금만 바뀌어도 결과가 달라집니다. 공식 문서들도 컴퓨터 유즈를 다른 방법이 없을 때의 선택지로 설명합니다.

로컬 PC에서 바로 실행해도 되나요?

권하지 않습니다. 두 회사 모두 권한을 제한한 가상머신이나 컨테이너에서 돌리라고 안내하고 있습니다. 화면에 심어 둔 문장이 지시로 작동할 수 있어서, 개인 계정이 로그인된 컴퓨터에서 바로 실행하면 피해 범위가 그 계정 전체가 됩니다.

3줄 요약

• 컴퓨터 유즈는 AI가 화면을 캡처해 보고 마우스와 키보드를 움직여 사람용 프로그램을 대신 조작하는 방식이고, 앤트로픽은 도구 17개를 2026년 8월 정식 기능으로 열었습니다.
• 사람이 1.6시간 걸리는 업무 108개를 모은 OSWorld 2.0에서 최고 점수는 31.4%이며, 같은 모델이 짧은 과제 벤치마크에서는 80%를 넘겼습니다.
• 실패는 여러 출처를 대조하는 과제 42.6%와 화면 위치를 정밀하게 맞추는 과제 41.7%에 몰려 있고, 앤트로픽과 OpenAI 모두 화면 내용을 신뢰하지 말라고 공식 문서에 적었습니다.

Sources

• Computer use tool (Anthropic)
• Computer use (OpenAI)
• OSWorld 2.0: Benchmarking computer-use agents on long-horizon real-world tasks (XLANG Lab)
• OSWorld 2.0 논문 (arXiv 2606.29537, 2026-06-28)
• VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents (arXiv 2506.02456)