기업 AI 도입 실패율 읽는 법과 데이터 준비 순서

AI 계정을 도입한 것과 실제 업무가 개선된 것은 다릅니다. 주간 보고서 초안은 빨리 나오는데 틀린 숫자를 고치는 데 더 오래 걸린다면, 도입률만으로는 성과를 설명할 수 없습니다.

"기업 AI 도입의 95%가 실패한다" 같은 수치도 무엇을 실패로 판단했는지부터 봐야 합니다. 이 글은 조사 숫자를 읽는 방법을 먼저 정리하고, 이어서 업무 하나에 필요한 데이터와 성공 기준을 정하는 순서를 고객 문의 분류 업무를 예로 설명합니다.

도입, 정착, 성과는 각각 무엇인가요?

세 단어는 같은 AI 사용을 서로 다른 단계에서 본 말입니다.

조사마다 도입과 정착의 정의가 다를 수 있으므로, 위 구분은 우리 업무를 따져 보기 위한 기준입니다. 아직 시험 중인 업무는 실패로 분류하지 않습니다. 매일 쓰는 업무도 시간과 오류를 측정하기 전에는 비용이 줄었다고 판단하지 않습니다.

조사 수치는 같은 실패율이 아닙니다

자주 인용되는 세 숫자는 조사 대상도, 실패나 성공을 정한 방법도 다릅니다.

Project NANDA는 2025년 예비 보고서에서 95%의 조직이 수익을 얻지 못했다고 요약하고, 기존 업무에 AI를 연결해 작은 범위에서 시험한 통합 AI 파일럿 가운데 5%가 성과를 냈다고 설명합니다. 95%는 조직이, 5%는 파일럿이 분모라서 두 숫자를 같은 기준으로 바꿔 쓰지 않습니다. 보고서는 2025년 1월부터 6월까지 공개 사례 300건 이상, 52개 조직의 면담, 고위 관계자 153명의 설문을 이용했습니다. 본문 2~3쪽과 6~7쪽에서 범주마다 표본 크기와 성공 정의가 다르고, 회사의 공식 실적 보고보다 면담에 근거한 수치라고 밝힙니다. 그래서 보고서가 앞세운 95%를 모든 기업의 검증된 실패 확률로 인용하지 않습니다.

Gartner의 60%는 2025년 2월 발표에서 나온 전망으로, 2026년까지 AI에 맞는 데이터가 뒷받침되지 않는 프로젝트의 60%가 중단된다는 조건부 예측입니다. 실제로 중단된 비율을 집계한 숫자가 아닙니다. 같은 발표의 63%는 데이터 관리 관행이 없거나 있는지 확신하지 못한다고 답한 비율이며, 2024년 7월 데이터 관리 리더 1,203명을 설문한 결과입니다. 60%와 63%는 서로 다른 항목입니다.

새로운 실패율을 인용할 때는 누구를, 언제, 무엇으로 조사했는지와 관측인지 예측인지를 함께 적습니다. 넷 가운데 하나라도 알 수 없는 숫자는 다른 조사의 숫자와 나란히 비교하지 않습니다.

국내 도입률과 정착률은 어떻게 읽나요?

조코딩AX파트너스는 2026년 7월 26일부터 8월 5일까지 기업 관계자 2,078명을 조사했고, 9월 2일 도입 69.5%와 업무 표준 정착 12.5%를 발표했습니다. 두 숫자는 이 표본 기준이고, 2,078은 응답자 수이므로 회사 2,078곳으로 바꿔 쓰지 않습니다.

AX는 AI를 이용해 조직의 업무 방식과 운영을 바꾸는 AI 전환을 말합니다. 같은 발표는 경영진이 얼마나 관여했는지에 따라 집단을 나눠 정착률을 보고했습니다.

이 차이는 집단 사이에서 함께 나타난 결과이고, 관여 수준만 바꿔 효과를 따로 측정한 실험은 아닙니다. 이 결과로 말할 수 있는 것은 "직접 이끈 집단의 정착률이 높았다"까지입니다. 대표가 직접 이끌면 정착률이 34%가 된다거나 도구 성능보다 관여가 원인이라는 결론은 이 조사에서 나오지 않습니다.

실무에서는 이 결과를 책임과 지원이 정해져 있는지 점검하는 계기로 씁니다. 데이터 사용 범위를 누가 결정하는지, 검수 시간을 누가 확보하는지, 오류가 반복되면 누가 기준을 고치는지 담당자를 정합니다.

100%에서 12.5%를 뺀 87.5%는 실패율이 아닙니다. 정착하지 않은 응답에는 시험 중인 경우와 아직 도입하지 않은 경우가 함께 들어 있습니다. 도입한 곳 가운데 몇 곳이 정착했는지 계산하려면 두 수치의 분모와 집단 관계를 먼저 알아야 합니다.

데이터 문제는 세 가지 상태로 나눕니다

데이터 준비는 AI가 맡을 업무에 필요한 자료가 있고, 그 자료를 찾을 수 있으며, 같은 기준으로 해석되는지 확인하는 일입니다. 현장에서 자주 만나는 상태는 세 가지이고, 한 업무에 둘 이상이 함께 있기도 합니다.

데이터 문제의 세 가지 상태와 먼저 할 일

구분	기록이 없음	흩어져 있음	뜻이 다름
고객 문의 업무의 예	전화로 해결한 문의의 종류와 결과 미기록	이메일과 상담 시트에 나뉘어 기록	처리 완료가 한 팀은 발송, 다른 팀은 고객 확인
먼저 할 일	필요한 항목과 기록 담당자 정하기	위치, 소유자, 권한을 목록으로 만들기	정의와 예외를 합의하기
AI에 맡길 때 막을 일	없는 과거 사실을 지어 채우기	범위 없이 한 파일에 모두 복사	뜻이 다른 숫자를 그대로 합산

기록이 없으면 AI가 과거 사실을 만들어 채우지 않도록 막고, 기록할 항목부터 정합니다. 흩어져 있으면 필요한 범위와 접근 권한을 정한 뒤 연결합니다. 뜻이 다르면 이름이 같은 숫자를 합산한 결과를 믿을 수 없으므로 정의부터 맞춥니다.

셋 가운데 무엇이 가장 빨리 끝나는지는 조직마다 다릅니다. 정의 합의에 여러 부서가 얽혀 오래 걸리기도 하고, 이미 남긴 기록의 위치만 찾으면 끝나기도 합니다. 그래서 범위를 업무 하나로 줄인 뒤 작업량을 가늠합니다.

용어 정의를 관리하는 문서에는 항목 이름, 뜻, 예외, 담당자, 수정 날짜를 적습니다. "처리 완료 = 담당자가 답변을 보냈고 추가 확인이 필요하지 않은 상태"처럼 실제 판정에 쓰는 문장으로 남깁니다. 하나의 기준을 여러 곳에서 참조하는 방법은 SSOT 설명에 있습니다.

업무 시험을 설계할 때 적을 여섯 항목

고객 문의 분류로 파일럿을 한다면 아래 여섯 항목을 한 장에 정리합니다.

분류 기준에는 애매한 문의를 어떻게 둘지도 적습니다. 예를 들어 분류를 배송, 환불, 추가 확인 세 가지로 두고, 대상이나 의도가 불명확하거나 배송과 환불을 함께 원하는 문의는 추가 확인으로 보냅니다. 이 기준을 넣어 요청하면 AI가 만든 분류 초안은 아래와 같은 모양이 되고, 담당자는 대상이 없는 문의를 추측으로 분류하지 않았는지 봅니다.

ChatGPT

아래 문의를 배송, 환불, 추가 확인 중 하나로 분류하고 이유를 한 문장씩 적어 주세요. 대상이나 의도가 불명확하거나 배송과 환불 의도가 함께 있으면 추가 확인으로 둡니다.

A. 배송 예정일이 지났는데 아직 도착하지 않았어요.
B. 주문을 취소하고 결제 금액을 돌려받고 싶어요.
C. 지난번에 말한 그 건은 어떻게 됐나요?

A는 배송입니다. 도착 상태를 묻고 있습니다.
B는 환불입니다. 금액 반환 의도가 분명합니다.
C는 추가 확인입니다. 어떤 요청인지 판단할 정보가 없습니다.

C처럼 대상이 없는 문의를 추측해 분류하지 않았는지 봅니다

단순하고 지루한 업무가 모두 첫 대상으로 맞지는 않습니다. 반복되는 업무인지에 더해 정답을 확인할 수 있는지, 오류를 되돌릴 수 있는지, 필요한 자료를 쓸 권한이 있는지를 봅니다. 결제 실행처럼 영향이 큰 단계는 초안 작성이나 분류와 떼어 둡니다.

실제 자료를 넣기 전에는 회사가 허용한 도구와 데이터 처리 조건을 봅니다. 무료 도구도 입력한 자료를 어떻게 처리하는지는 서비스마다 다르며, 그 조건은 무료 LLM API의 데이터 조건에 정리했습니다.

시간은 검수와 수정까지 포함해 비교합니다

같은 난이도의 업무 묶음을 기존 방식과 AI 보조 방식으로 처리한다고 가정하고 총시간을 계산하면 이렇습니다.

AI가 분류를 5분 만에 끝냈어도 절약한 시간은 55분이 아닙니다. 전체가 60분에서 50분으로 줄었으므로 이 예시에서 줄어든 시간은 10분입니다. 도구 이용료와 기준 문서를 관리하는 시간까지 넣으면 비용 판단은 또 달라집니다.

품질도 함께 기록합니다. 정보가 부족한 문의를 확정 분류한 오류, 담당자가 다시 읽은 건수, 실제 처리까지 걸린 시간을 남깁니다. AI 없이도 같은 품질과 속도가 나오는 업무라면 자동화하지 않는 편이 낫습니다.

효과는 한 번의 결과로 확정하지 않습니다. 반복 시험에서는 처리량과 난이도를 맞추고, 담당자가 내용을 외워 빨라지는 영향을 줄이도록 표본을 나누거나 순서를 바꿉니다. 시간은 줄었는데 오류가 늘었다면, 담당자가 미리 정한 허용 품질 기준에 비춰 계속 쓸지 판단합니다.

피드백을 다음 업무에 남기는 방법

Project NANDA 보고서는 업무 맥락과 피드백을 다음 작업에 반영하지 못하는 문제를 지적합니다. 실무에서는 모델을 다시 학습시키지 않아도 피드백을 반영할 수 있습니다. 기준 문서에 예외를 적고, 다음 작업에 그 문서를 함께 넣는 것부터 시작합니다.

대상이 없는 문의를 AI가 배송으로 분류했다면 기준 문서에 "과거 문의를 가리키지만 대상이 없으면 추가 확인"이라는 예외를 더합니다. 다음 작업에는 수정한 기준을 함께 주고, 같은 유형의 새 사례로 결과를 봅니다. 채팅에서 한 번 지적한 내용은 다음 세션에 자동으로 이어지지 않으므로 기준 문서에 남깁니다.

네 가지를 남기면 다음 담당자도 기준을 왜 바꿨는지 알 수 있습니다. 바꾼 뒤에도 결과가 나아지지 않으면 자료가 부족한지, 기준끼리 충돌하는지 다시 보고 시험 범위를 줄입니다.

전사 데이터를 다 정리한 뒤 시작해야 하나요?

Gartner는 AI에 맞는 데이터 준비를 한 번에 끝나는 작업이 아니라 사용 목적에 맞춰 계속 개선하는 과정으로 설명합니다.

시작에 필요한 것은 업무 하나와 그 업무에 쓰는 자료, 뜻이 모호한 항목 하나입니다. 여기에 결과를 누가 확인하고 어떤 오류가 나오면 기준을 고칠지 정하면, "데이터가 부족하다"는 막연한 상태에서 실제로 시험할 범위가 정해집니다.

참고 자료

• Project NANDA, The GenAI Divide: State of AI in Business 2025 원문 PDF: 예비 연구, 조사 방법과 해석 한계 포함
• Gartner, Lack of AI-Ready Data Puts AI Projects at Risk: 2025년 2월 발표
• 조코딩AX파트너스의 2026 하반기 AX 트렌드 리포트 보도자료: 표본과 조사 기간 포함
• 같은 조사 결과를 다룬 코리아스프린트 기사: 본문의 보관 화면 출처

3줄 요약

1. Project NANDA의 95%와 Gartner의 60%, 국내 조사의 정착 12.5%는 측정 대상과 성공의 정의가 달라 하나의 실패율로 합칠 수 없습니다.

2. 국내 조사 표본에서 경영진이 직접 이끈 집단의 정착률은 34%, 지시만 내린 집단은 3.3%였으며 이 차이는 관여의 효과만 따로 측정한 실험 결과가 아닙니다.

3. 예시 업무에서 AI 분류는 5분에 끝나도 검수 20분과 수정 15분이 더해져 총시간은 60분에서 50분으로 10분 줄어듭니다.