장기 과제(Long-Horizon Task)와 컴퓨터 조작 에이전트의 한계
장기 과제는 여러 단계에 걸쳐 앞선 조건과 결과를 유지하며 이어 가야 하는 작업입니다. 일정 시간이나 도구 호출 수 하나로 모든 작업을 구분하지 않으며 실제 결과와 상태를 중간에 확인해야 합니다.
같은 말:장기 과제롱 호라이즌컴퓨터 유즈 한계에이전트 긴 작업METR 타임 호라이즌
목차
🤔 데모에서는 되는데 실제 업무에서는 끊길 때
AI가 화면을 보고 마우스와 키보드를 움직여 항공권을 검색하고 표를 채우는 데모는 이제 익숙합니다. 짧은 과제의 성공 사례도 볼 수 있습니다. 그런데 사람이 한두 시간 걸리는 실제 업무를 통째로 맡기면 중간 어딘가에서 멈추거나, 끝났다고 했는데 빠진 부분이나 잘못된 값이 남을 수 있습니다.
긴 과제에서는 앞선 결과와 새 정보를 계속 맞춰야 합니다. 이 편에서는 에이전트가 긴 작업에서 어디서 끊기는지를 공개된 측정 자료로 보고, 그 한계 안에서 일을 맡기는 방법을 정리합니다. 컴퓨터 조작 기능의 현황과 벤치마크 세부는 AI 컴퓨터 유즈 현황에 따로 있습니다.
🔑 장기 과제의 정의
장기 과제(long-horizon task)는 여러 단계에 걸쳐 앞선 조건과 결과를 유지하며 이어 가야 하는 작업입니다. 모든 분야에 적용되는 한 시간이나 도구 호출 수 기준이 있는 것은 아닙니다.
호라이즌(horizon)은 앞을 내다보는 거리를 뜻합니다. 과제가 길다는 것은 단계가 많다는 뜻이고, 단계가 많으면 앞 단계의 작은 실수가 뒤로 갈수록 쌓입니다. 에이전트 루프가 수백 번 돌아야 하는 일에서는 한 번 한 번의 판단이 조금만 어긋나도 전체가 틀어집니다.
컴퓨터 조작 에이전트에서도 이 문제가 나타납니다. 앤트로픽의 컴퓨터 유즈(computer use)는 화면을 캡처해 모델에 보내고, 모델이 클릭이나 입력 같은 다음 동작을 정하면 프로그램이 실행한 뒤 다시 화면을 캡처하는 반복입니다. 사용 가능한 도구와 제공 단계 및 권한 조건은 제품과 실행 환경별 공식 문서를 확인합니다.
📏 작업 길이로 AI의 능력을 측정하는 방법
AI 평가 연구 기관 METR은 모델이 해낼 수 있는 작업의 길이로 능력을 나타냅니다. 50% 타임 호라이즌은 사람 전문가의 수행 시간과 모델의 성공 결과를 바탕으로 성공 가능성이 50%가 되는 과제 길이를 추정한 값입니다. AI가 실제로 일한 시간이 아니라 과제가 얼마나 어려운지를 사람의 시간으로 나타낸 값입니다.
METR의 과제는 주로 소프트웨어 개발과 머신러닝 및 보안 분야입니다. 같은 시간의 집안일이나 회사의 모든 업무로 확장할 수 없습니다. 또 50%는 각 과제가 반드시 반반의 확률이라는 뜻이 아니라 과제 길이와 성공 결과를 바탕으로 추정한 값입니다. 공식 페이지는 현재 과제 모음에서 16시간을 넘는 추정치는 신뢰하기 어렵다고 명시합니다.
🖥️ 컴퓨터 조작 시험에서 확인할 조건
OSWorld는 운영체제에서 화면과 프로그램을 조작하는 에이전트를 평가하는 시험입니다. OSWorld 2.0 공식 소개는 업무 108개와 사람 기준 중앙값 약 1.6시간을 제시합니다. 중앙값은 과제 시간을 순서대로 놓았을 때 가운데 값입니다.
이 수업에서 중요한 것은 순위보다 측정 조건입니다. 모델과 추론 설정 및 허용 단계 수, 과제 버전과 완전 성공 또는 부분 점수 중 무엇을 보는지 확인합니다. 다른 버전의 최고 점수를 그대로 비교하지 않습니다. 현재 공개 페이지의 일부 분석 그림에서는 163분을 넘는 구간에 포함된 모델들의 완전 성공이 0이었지만 모든 모델의 영구적인 한계를 뜻하지는 않습니다.
짧은 과제에서의 성공이 긴 업무 전체의 성공을 보장하지 않습니다. 중간에 몇 가지를 잘 처리한 부분 점수와 요구를 모두 충족한 완전 성공도 다릅니다.
🧩 에이전트가 긴 작업에서 끊기는 다섯 지점
OSWorld 2.0 연구진은 에이전트의 실패 습관을 네 가지로 정리했습니다. 제약 조건을 도중에 놓치고, 작업 중간에 도착한 정보를 반영하지 않고, 사용자에게 묻는 대신 추측하고, 결과 확인을 건너뜁니다. 앤트로픽이 긴 작업 하네스를 소개하며 밝힌 실패 하나를 더하면 다섯 지점이 됩니다.
| 끊기는 지점 | 무슨 일이 생기는지 | 대응 |
|---|---|---|
| 제약을 놓침 | 초반에 받은 조건을 수십 단계 뒤에 잊습니다 | 조건을 파일에 두고 단계마다 다시 읽게 합니다 |
| 중간 정보를 반영하지 않음 | 작업 중 새 메일이 와서 대상이 바뀌어도 앞의 계획대로 갑니다 | 새 정보가 올 수 있는 곳을 구간마다 확인하게 합니다 |
| 묻지 않고 추측함 | 자료가 서로 맞지 않을 때 한쪽을 골라 계속합니다 | 모순이 보이면 멈추고 묻게 지시합니다 |
| 확인을 건너뜀 | 입력한 값이 실제로 저장됐는지 보지 않고 넘어갑니다 | 단계마다 화면을 캡처해 결과를 평가하게 합니다 |
| 일찍 끝났다고 선언함 | 진척된 흔적을 보고 다 됐다고 판단합니다 | 완료 조건 목록을 두고 하나씩 확인한 뒤에만 표시합니다 |
화면을 읽지 못해서 실패하는 경우보다 흩어진 정보를 하나로 맞추지 못해서 실패하는 경우가 많습니다. 긴 작업에서는 대화가 컨텍스트 윈도우를 넘기 쉽고, 오래된 내용을 요약해 비우는 과정에서 초반의 조건이 빠지기도 합니다. 앤트로픽은 요약만으로는 충분하지 않다고 적고, 진행 기록과 기능 목록을 파일로 남겨 다음 세션이 읽게 하는 하네스를 해법으로 제시했습니다.
앤트로픽 공식 문서의 권장 사항도 같은 곳을 겨냥합니다. 각 단계 뒤에 화면을 캡처해 의도한 결과가 나왔는지 꼼꼼히 평가하라고 지시에 적고, 드롭다운이나 스크롤 막대처럼 마우스로 다루기 까다로운 요소는 키보드 단축키를 쓰게 하라고 권합니다.
🔐 화면에 적힌 글이 지시로 작동하는 위험
컴퓨터 조작도 외부 자료에 담긴 악성 지시의 영향을 받을 수 있습니다. 모델이 화면의 글자를 읽고 판단하기 때문에, 웹 페이지나 이미지에 심어 둔 문장이 사용자의 지시를 덮어쓰거나 실수를 유도할 수 있다고 앤트로픽 문서가 경고합니다. 이런 공격을 프롬프트 인젝션이라고 부릅니다. 앤트로픽은 도구가 돌려주는 화면을 자동으로 검사하는 장치를 두고 있지만, 문서는 권한을 최소로 준 전용 가상 머신이나 컨테이너에서 실행하라고 권합니다. 이는 작업 범위와 접근 권한을 분리한 실행 환경입니다.
- 격리된 환경: 개인 계정이 로그인된 컴퓨터가 아니라 전용 가상 머신이나 컨테이너에서 돌립니다
- 민감 정보 차단: 로그인 정보처럼 새어 나가면 곤란한 자료는 접근 대상에서 뺍니다
- 사람 확인: 결제, 발송, 약관 동의처럼 되돌릴 수 없는 동작은 사람이 승인합니다
✂️ 긴 업무를 맡기는 방법
실제 작업에서는 연동 통로가 있는지, 작업이 긴지, 되돌릴 수 있는지를 봅니다.
- 연결 방식을 비교합니다: API나 MCP로 필요한 작업을 수행하고 결과를 확인할 수 있는지 비교합니다. 화면 조작과 어느 방식이 적합한지는 실제 기능과 권한 및 오류 처리에 따라 다릅니다
- 구간을 짧게 나눕니다: 시간보다 확인 가능한 결과물 단위로 나눕니다. 작은 구간이라도 앞 단계의 오류를 받으면 실패할 수 있으므로 성공률이 자동 보장되지는 않습니다
- 구간마다 결과를 확인합니다: 사람이 보거나, 별도 검사가 확인한 뒤에 다음 구간으로 넘어갑니다
- 상태를 파일에 남깁니다: 완료한 결과와 근거 및 남은 일을 기록하고 다시 시작할 때 파일을 읽어 현재 상태와 맞는지 확인합니다
구간을 나눈다고 반드시 여러 에이전트가 필요한 것은 아닙니다. 독립적인 일을 여러 에이전트에게 맡기는 구조는 멀티 에이전트 오케스트레이션에서 다뤘습니다.
본문의 긴 업무 진행 원칙입니다. 작업을 나누는 것만으로 성공률이 보장되는 것은 아니며 각 구간의 결과 검증이 필요합니다.
❓ 자주 묻는 질문
추론 강도를 최대로 올리면 긴 과제도 해결되나요?
더 많은 추론으로 개선되는 과제도 있지만 시간과 비용이 늘고 모든 오류가 해결되지는 않습니다. 같은 조건에서 실제 결과를 비교해야 합니다. 상태 누락이나 원자료의 모순은 추론량뿐 아니라 자료 전달과 확인 절차도 살펴봅니다.
컴퓨터 조작 에이전트를 내 컴퓨터에서 바로 돌려도 되나요?
API로 직접 실행 환경을 구성한다면 개인 업무 환경과 분리하는 편이 좋습니다. 앤트로픽 문서는 권한을 최소로 준 전용 가상 머신이나 컨테이너에서 실행하라고 안내합니다. 화면에 심어 둔 문장이 지시로 작동할 수 있어서, 개인 계정이 로그인된 컴퓨터에서 돌리면 접근 가능한 계정 자료에도 영향을 줄 수 있습니다. 이미 제공되는 앱은 그 제품의 권한과 격리 범위를 확인합니다.
타임 호라이즌이 16시간을 넘었다면 하루치 일을 맡길 수 있다는 뜻인가요?
그렇게 보기는 어렵습니다. 50% 타임 호라이즌은 그 길이의 과제를 절반 확률로 해낸다는 값이고, METR 스스로 16시간을 넘는 측정값은 현재 과제 모음으로는 믿기 어렵다고 적었습니다. 시험 과제에서의 성공과 실제 업무를 믿고 맡기는 것 사이에는 여전히 거리가 있습니다.
📝 모임 준비를 멈췄다가 이어 가기
실제 예약이나 발송 없이 메모장으로 연습합니다. 가상 요청은 ‘10월 12일 오후 2시 모임의 장소와 준비물을 확인해 안내 초안을 만들기’입니다. 원자료인 공지 A에는 ‘10월 12일 오후 2시, 장소 도서관 2층, 준비물 책 한 권’이라고 적혀 있습니다.
첫 구간에서 자료를 확인한 뒤 다음 상태 기록을 남깁니다.
완료: 시각과 장소 및 준비물 확인
근거: 모임 공지 A
남은 일: 안내 초안 작성 및 원자료 대조
발송: 요청하지 않았으므로 실행하지 않음잠시 뒤 돌아왔다고 가정하고 이 기록과 원자료를 다시 읽습니다. 안내 초안을 작성한 뒤 날짜와 시각, 장소, 준비물 네 항목을 대조합니다. 기록의 완료 표시만으로 초안까지 끝났다고 판단하지 않습니다.
이번에는 공지 B로 장소가 도서관 3층으로 바뀝니다. 기존 초안의 2층을 3층으로 고치고 상태 기록에 ‘장소 변경 반영, 근거 B’를 남깁니다. 새 정보가 무엇을 바꿨는지와 아직 하지 않은 일이 무엇인지 설명하면 연습을 마친 것입니다.
📋 3줄 요약
-
장기 과제는 여러 단계의 조건과 결과를 유지하며 이어 가야 하므로 중간 상태와 새 정보를 확인해야 합니다.
-
타임 호라이즌은 특정 시험 과제를 사람의 수행 시간으로 나타낸 지표이며 AI의 실행 시간이나 업무 보장이 아닙니다.
-
확인 가능한 결과물 단위로 나누고 완료 근거와 남은 일을 기록한 뒤 재개할 때 현재 상태를 대조합니다.
📚 참고 자료
공식 자료 확인: 2026년 10월 3일. 시험의 결과와 실제 업무 성공률은 구분합니다.
제대로 이해했는지 한 문제로 확인해 볼까요?
답을 고르면 바로 풀이가 나와요.
사람이 두 시간 걸리는 경비 정산 업무를 컴퓨터 조작 에이전트에게 맡기려 합니다. 공개 벤치마크 결과에 비춰 가장 알맞은 방식은 무엇일까요?
예제나 확인 질문을 직접 시도한 뒤 완료 표시해요. 더 연습할 내용이 남으면 표시하지 않고 다음 글을 읽어도 됩니다. 완료 버튼은 이해도를 채점하지 않으며 잘못 표시하면 취소할 수 있어요.
