기업 AI 도입 실패율 읽는 법과 데이터 준비 순서

AI 계정을 도입한 것과 실제 업무가 개선된 것은 다릅니다. 주간 보고서 초안은 빨리 나오지만, 틀린 숫자를 고치는 데 더 오래 걸린다면 도입률만으로 성과를 설명하기 어렵습니다.

“기업 AI 도입의 95%가 실패한다” 같은 수치를 볼 때도 먼저 무엇을 실패로 판단했는지 확인해야 합니다. 이 글에서는 조사 숫자를 읽는 방법을 살펴본 뒤, 작은 업무 하나에 필요한 데이터와 성공 기준을 정하는 연습을 합니다. 메모장이나 스프레드시트만 있으면 시작할 수 있고, 실제 회사 자료를 AI에 넣을 필요는 없습니다.

도입, 정착, 성과는 각각 무엇인가요?

조사마다 도입과 정착의 정의가 다를 수 있습니다. 위 표는 우리 업무를 생각하기 위한 구분입니다. 아직 시험 중인 업무를 곧바로 실패로 분류하거나, 매일 사용한다는 사실만으로 비용 절감을 확정하지 않습니다.

조사 수치는 같은 실패율이 아닙니다

파일럿은 작은 범위에서 먼저 시험하는 과정입니다. 아래 표의 통합 AI 파일럿은 기존 업무에 AI를 연결해 시험한 사례를 가리킵니다.

Project NANDA의 보고서는 2025년 1월부터 6월까지 공개 사례 300건 이상, 52개 조직의 면담, 고위 관계자 153명의 설문을 이용한 예비 연구입니다. 본문도 범주마다 표본 크기와 성공 정의가 다르고, 회사의 공식 실적 보고보다 면담에 근거한 수치라고 밝힙니다. 따라서 제목의 95%를 모든 기업의 검증된 실패 확률로 인용하지 않습니다. 보고서 원문 PDF, 2쪽과 3쪽, 6쪽과 7쪽

Gartner의 60%는 AI에 맞는 데이터가 없는 프로젝트라는 조건이 붙습니다. 같은 발표에 나오는 63%는 데이터 관리 관행이 없거나 있는지 확신하지 못한 응답 비율이며, 2024년 7월 데이터 관리 리더 1,203명 설문에서 나왔습니다. 60%와 63%도 같은 항목이 아닙니다. Gartner 발표

새로운 실패율을 보면 메모장에 누구를, 언제, 무엇으로, 관측했는지 예측했는지를 적어 보세요. 하나라도 확인되지 않으면 숫자만 떼어 비교하지 않습니다.

국내 도입률과 정착률은 어떻게 읽나요?

조코딩AX파트너스는 2026년 7월 26일부터 8월 5일까지 기업 관계자 2,078명을 조사했습니다. 9월 2일 발표한 도입 69.5%와 정착 12.5%는 이 표본 기준입니다. 2,078명이 곧 서로 다른 회사 2,078곳을 뜻하는 것으로 바꾸어 쓰지 않습니다. 조사기관 보도자료

여기서 AX는 AI를 이용해 조직의 업무 방식과 운영을 바꾸는 AI 전환입니다. 해당 발표는 경영진 관여 수준에 따라 다음 차이를 보고했습니다.

이는 집단 사이에서 함께 나타난 차이입니다. 관여 자체의 효과만 분리한 실험 결과가 아니므로, “대표가 직접 이끌면 정착률이 반드시 34%가 된다”거나 “도구 성능보다 관여가 원인임을 입증했다”고 말할 수는 없습니다.

실무에서는 이 결과를 책임과 지원이 정해져 있는지 묻는 계기로 삼을 수 있습니다. 예를 들어 데이터 사용 범위를 누가 결정하고, 검수 시간을 누가 확보하며, 오류가 반복되면 누가 기준을 고치는지 확인합니다. 이것은 조사의 성공 확률을 복사하는 것이 아니라 우리 업무의 담당자를 정하는 일입니다.

또 100%에서 12.5%를 뺀 87.5%를 실패율로 쓰면 안 됩니다. 미정착에는 시험 중인 경우와 미도입 등이 포함될 수 있습니다. 도입 기업 중 몇 곳이 정착했는지를 계산하려면 두 수치의 분모와 집단 관계부터 확인해야 합니다.

데이터 문제는 세 가지 질문으로 나눕니다

데이터 준비는 AI가 답할 업무에 필요한 자료가 있고, 찾을 수 있으며, 같은 기준으로 해석되는지 확인하는 일입니다. 아래 세 가지는 현장에서 구분해 볼 수 있는 상태입니다. 모든 문제를 빠짐없이 분류한 표는 아니며 한 업무에 여러 상태가 함께 있을 수도 있습니다.

기록이 없으면 AI가 과거 사실을 만들어 채우게 하지 않습니다. 흩어져 있으면 자료를 무조건 한 파일에 복사하지 않고, 필요한 범위와 접근 권한을 먼저 정합니다. 뜻이 다르면 같은 숫자를 합산해도 결과를 신뢰하기 어렵습니다.

세 가지 중 무엇이 가장 빨리 끝나는지는 조직마다 다릅니다. 정의를 정하는 데 여러 부서의 합의가 오래 걸릴 수도 있고, 이미 남긴 기록의 위치만 찾으면 해결되는 경우도 있습니다. 범위를 업무 하나로 줄인 뒤 필요한 작업량을 확인합니다.

용어 정의를 관리할 문서에는 항목 이름, 뜻, 예외, 담당자, 수정 날짜를 적습니다. 예를 들어 “처리 완료 = 담당자가 답변을 보냈고 추가 확인이 필요하지 않은 상태”처럼 실제 판정에 쓰일 문장으로 남깁니다. 하나의 기준을 여러 곳에서 참조하는 방법은 SSOT 설명에 있습니다.

연습: 문의 세 건을 같은 기준으로 분류합니다

아래는 회사 정보가 없는 가상 문의입니다. 먼저 AI 없이 분류해 보세요. 분류는 배송, 환불, 추가 확인 세 가지이며, 대상이나 의도가 불명확하면 추측하지 않고 추가 확인으로 둡니다. 이번 연습에서는 배송과 환불 의도가 함께 있는 경우도 추가 확인으로 둡니다. 실제 업무에서는 여러 분류를 허용할 수도 있으므로 담당자와 기준을 정해야 합니다.

C를 환불이라고 답했다면, 문장에 없는 정보를 추측한 것입니다. 이때 필요한 것은 더 긴 답변이 아니라 문의 내용을 확인하는 절차입니다.

회사에서 허용한 AI 도구가 있다면 아래 가상 자료로 같은 분류를 요청해 볼 수 있습니다. 도구가 없다면 표의 기준 문장만 작성해도 연습을 마칠 수 있습니다.

기대 결과는 A 배송, B 환불, C 추가 확인입니다. 결과가 다르면 문의 번호, AI의 분류, 기대 분류와 이유를 기록합니다. 분류 정의가 부족한지, 입력 정보가 부족한지, 도구가 지시를 따르지 않았는지 구분한 뒤 한 가지를 수정해 다시 시험합니다.

세 건이 맞았다는 것은 이 예제를 통과했다는 뜻입니다. 실무 자동 처리를 시작해도 된다는 뜻은 아닙니다. 다음 두 문의로 기준을 다시 적용해 보세요.

D를 배송으로만 분류했다면 복합 의도 규칙이 입력에 포함됐는지 먼저 봅니다. 규칙이 있는데도 틀렸다면 오류를 기록하고 다시 시험합니다. 마지막으로 비슷한 문의를 직접 한 건 만들고, 기대 분류와 이유를 먼저 적은 뒤 결과를 비교해 보세요.

업무 시험을 설계할 때 적을 여섯 항목

문의 분류 파일럿을 한다면 아래 내용을 한 장에 정리할 수 있습니다.

단순하고 지루한 업무라고 해서 모두 첫 대상으로 적절한 것은 아닙니다. 반복되는지와 함께 정답을 확인할 수 있는지, 오류를 되돌릴 수 있는지, 필요한 자료를 사용할 권한이 있는지를 봅니다. 결제 실행처럼 영향이 큰 단계는 초안 작성이나 분류와 분리합니다.

실제 자료를 쓰기 전에는 회사의 허용 도구와 데이터 처리 조건을 확인합니다. 무료 도구라고 업무 자료를 자유롭게 넣어도 되는 것은 아닙니다. 무료 LLM API의 데이터 조건을 참고할 수 있습니다.

시간은 검수와 수정까지 포함해 비교합니다

다음은 같은 난이도의 업무 묶음을 처리한다고 가정한 계산 예시입니다.

AI가 분류를 5분 만에 끝냈어도 절약한 시간은 55분이 아닙니다. 전체 60분에서 50분으로 줄었으므로 이 예시의 절감은 10분입니다. 도구 이용료와 기준 문서 유지 시간까지 고려하면 비용 판단은 또 달라집니다.

품질도 함께 봅니다. 정보가 부족한 문의를 확정 분류한 오류, 담당자가 다시 읽은 건수, 실제 처리까지 걸린 시간을 남깁니다. AI 없이도 같은 품질과 속도가 나오는 업무라면 자동화가 꼭 필요하지 않을 수 있습니다.

한 번의 결과만으로 효과를 확정하지 않습니다. 반복 시험에서는 처리량과 난이도를 맞추고, 사람이 내용을 미리 외워 빨라지는 영향을 줄이도록 표본을 나누거나 순서를 바꿉니다. 시간 감소와 오류 증가가 함께 나타나면, 어느 정도의 품질을 받아들일지 담당자가 정한 기준으로 판단합니다.

피드백을 다음 업무에 남기는 방법

Project NANDA 보고서는 업무 맥락과 피드백을 다음 작업에 반영하지 못하는 문제를 지적합니다. 여기서 개선을 곧바로 AI 모델 재학습과 같은 뜻으로 받아들일 필요는 없습니다. 예비 보고서의 학습 격차 설명

문의 C를 잘못 분류했다면 기준 문서에 “과거 문의를 가리키지만 대상이 없으면 추가 확인”이라는 예외를 남길 수 있습니다. 다음 작업에는 수정한 기준을 함께 제공하고 같은 유형의 새 사례로 확인합니다. 채팅에서 한 번 지적했다는 이유만으로 다음 세션에도 자동 반영된다고 가정하지 않습니다.

기록은 짧아도 됩니다. 문제 사례, 기대 결과, 바꾼 기준, 재시험 결과를 남기면 다음 담당자도 왜 바꿨는지 알 수 있습니다. 결과가 나아지지 않으면 자료 부족인지 기준 충돌인지 다시 확인하고, 필요한 범위로 시험을 줄입니다.

전사 데이터를 다 정리한 뒤 시작해야 하나요?

Gartner도 AI에 맞는 데이터 준비를 한 번으로 끝나는 작업이 아니라 사용 목적에 맞춰 계속 개선하는 과정으로 설명합니다. 데이터 준비 안내

오늘은 업무 하나와 필요한 자료, 뜻이 모호한 항목 하나를 적어 보세요. 이어 결과를 누가 확인하고 어떤 오류가 나오면 고칠지 정합니다. 이 내용을 작성했다면, 막연히 “데이터가 부족하다”고 말하던 상태에서 실제 시험할 범위를 정한 것입니다.

참고 자료

• Project NANDA, The GenAI Divide: State of AI in Business 2025 원문 PDF: 예비 연구, 조사 방법과 해석 한계 포함
• Gartner, Lack of AI-Ready Data Puts AI Projects at Risk: 2025년 2월 발표
• 조코딩AX파트너스의 2026 하반기 AX 트렌드 리포트 보도자료: 표본과 조사 기간 포함
• 같은 조사 결과를 다룬 코리아스프린트 기사: 본문의 보관 화면 출처

3줄 요약

1. AI 도입 실패를 다룬 수치는 측정 대상과 성공의 정의가 달라 하나의 공통 실패율로 합칠 수 없습니다.

2. 국내 조사에서 경영진 관여와 정착률의 차이가 보였지만, 표본의 결과만으로 인과관계나 한국 기업 전체를 판단하지 않습니다.

3. 작은 업무 하나에서 기록 누락과 분산, 정의 불일치를 확인하고 검수와 수정까지 포함한 성과를 측정합니다.