기업 AI 도입 실패율 정리: 도입 70%에 정착 12.5%인 이유

기업 AI 도입 실패율은 도입한 AI가 손익이나 표준 업무로 이어지지 못한 비율을 가리키고, 최근 조사들은 이 값을 60%에서 95% 사이로 보고합니다. 조사 기관과 측정 기준이 달라 숫자도 제각각입니다.

AI를 도입해야 한다는 말은 이제 새롭지 않습니다. 실제로 도입도 많이 했습니다. 국내 조사에서 AI를 도입한 기업은 열에 일곱이었습니다.

덜 다뤄지는 쪽은 그다음입니다. 실패율 숫자는 자주 인용되는데 원인 진단은 조사마다 다르고, 데이터 문제라는 말은 범위가 너무 넓어 무엇부터 해야 할지 알려 주지 않습니다. 좋은 칼을 들여도 재료가 손질돼 있지 않으면 요리가 나오지 않듯, 도구를 먼저 사는 순서가 문제일 수 있습니다. 국내외 조사 자료를 근거로 2026년 9월 7일 기준의 상황을 설명합니다.

조사마다 다른 실패율 숫자

먼저 숫자부터 늘어놓겠습니다. 같은 현상을 두고 나온 수치들이지만 재는 대상이 서로 다릅니다.

숫자를 나란히 놓으면 오해하기 쉽습니다. 95%와 12.5%는 반대 방향의 수치이고, 60%는 예측이며 85%는 한 사람의 진단입니다. 하나로 합쳐 읽을 수는 없습니다.

그래도 방향은 같습니다. 도입한 곳은 많은데 업무가 실제로 바뀐 곳은 적습니다.

MIT 미디어랩의 NANDA 이니셔티브가 2025년에 낸 조사는 임원 인터뷰와 직원 설문, 공개된 도입 사례 분석을 근거로 삼았습니다. 기업들이 생성형 AI에 300억에서 400억 달러를 쓰는 동안 95%가 사업 성과를 얻지 못했다는 것이 결론이었습니다. 자체 제작한 도구 가운데 실제 운영까지 간 것도 5%에 그쳤습니다.

이 조사가 지목한 원인은 기술이 아닙니다. 보고서는 확장을 막는 장벽이 인프라도 규제도 인재도 아니라고 적었습니다. 도구가 피드백을 남기지 않고, 맥락에 맞춰 달라지지 않으며, 시간이 지나도 나아지지 않는다는 점을 학습 격차라고 불렀습니다.

국내 조사가 지목한 변수는 경영진 관여

국내 조사는 다른 곳을 짚었습니다. 2026년 9월 2일 공개된 하반기 AX 트렌드 리포트는 기업 관계자 2,078명을 2026년 7월 26일부터 8월 5일까지 조사한 결과입니다.

• 도입 69.5%, 정착 12.5%: 도입한 곳은 열에 일곱인데 업무 표준이 된 곳은 여덟에 하나입니다.
• 개인은 91%: 생성형 AI를 하루 한 번 이상 쓰는 개인이 91%입니다. 조직보다 개인이 앞서 있습니다.
• 자영업자와 프리랜서 38.7%: 예산도 조직도 없는 개인의 정착률이 직장인 10.3%보다 3.7배 높았습니다.

정착률을 가른 것은 경영진의 관여 수준이었습니다.

정착에 성공한 조직의 93.9%에서 경영진이 직접 챙기거나 지원했습니다. 반대로 지시만 내린 경우는 3.3%에 그쳤습니다.

인식의 간극도 컸습니다. 경영진의 56.2%는 자신이 AI 전환을 직접 챙긴다고 답했는데, 같은 질문에 실무자는 10.1%만 그렇게 느꼈습니다. 46.1%포인트 차이입니다. 원인 진단이 회사 안에서도 엇갈리는 이유가 여기에 있습니다.

이 조사에는 한계도 분명합니다. 응답자가 AI를 적극 활용하는 실무자와 기업 관계자 중심으로 모였다고 조사 개요에 밝혀 두었습니다. 한국 기업 전체가 아니라 표본 기준의 수치로 읽어야 합니다.

데이터 문제라는 진단을 셋으로 쪼개기

실패 원인으로 자주 지목되는 것은 데이터입니다. 가트너는 데이터 관리 리더 1,203명을 조사한 결과 63%가 AI에 맞는 데이터 관리 관행이 없거나 있는지 확신하지 못한다고 밝혔고, 2026년까지 AI에 맞는 데이터가 뒷받침되지 않는 프로젝트의 60%를 포기하게 될 것으로 내다봤습니다.

문제는 데이터가 문제라는 진단이 너무 넓다는 점입니다. 이 말을 들은 담당자는 무엇부터 해야 할지 알기 어렵습니다. 재료가 준비되지 않았다는 말 하나로는 장을 봐야 할지, 냉장고를 정리해야 할지, 상한 것을 골라내야 할지 정할 수 없습니다.

실제로는 성격이 다른 세 가지가 같은 이름으로 불립니다.

국내 조사의 수치도 이 구분과 맞물립니다. 대기업이 꼽은 걸림돌에서 데이터 분산이 39%로 두 번째였고, 데이터에 기준이 없는 조직은 58.6%였습니다. 앞의 것은 흩어져 있는 문제이고 뒤의 것은 뜻이 정해지지 않은 문제입니다.

셋 가운데 가장 먼저 확인할 것은 뜻이 정해지지 않은 경우입니다. 기준이 없으면 데이터를 아무리 모아도 같은 질문에 다른 답이 나옵니다. 정의를 한곳에서만 관리하는 방법은 SSOT 개념 정리에 따로 정리해 두었습니다.

기록 자체가 없는 경우가 가장 까다롭습니다. 기록되지 않은 데이터는 지금부터 측정 항목을 정하고 쌓아야 합니다. AI 도입 일정을 잡기 전에 무엇을 남기고 있는지부터 확인해야 하는 이유입니다.

예산은 앞쪽으로 가는데 성과는 뒤쪽에서 납니다

MIT 조사에서 눈에 띄는 대목이 하나 더 있습니다. 예산의 절반 이상이 영업과 마케팅처럼 눈에 잘 띄는 부서로 가는데, 실제 투자 대비 성과는 백오피스, 즉 고객을 직접 만나지 않는 뒤쪽 업무의 자동화에서 더 좋게 나왔다는 것입니다.

이유를 짐작하기는 어렵지 않습니다. 뒤쪽 업무는 반복되는 형태가 뚜렷하고 정답이 정해져 있어 결과를 재기 쉽습니다. 반면 앞쪽 업무는 성과가 여러 요인에 걸쳐 있어 AI가 얼마나 기여했는지 떼어 내기 어렵습니다.

국내 조사도 비슷한 쪽을 가리킵니다. 응답자들이 가장 먼저 AI로 넘어갈 업무로 꼽은 것은 데이터 입력과 사무, 행정으로 70.4%였습니다.

여기에 함께 볼 숫자가 있습니다. 회사 지원 없이 스스로 AI를 배운 실무자가 45.6%였고, 공식 AI 사용 가이드가 없는 조직이 80.1%였습니다. 조직이 정하지 않으면 개인이 알아서 쓰게 되고, 그때 회사 자료가 어디로 가는지는 아무도 관리하지 않습니다. 무료로 쓸 수 있는 도구에 업무 자료를 넣을 때 무엇이 문제인지는 무료 LLM API의 데이터 조건에 정리해 두었습니다.

도입 전에 확인할 순서

조사들이 가리키는 방향을 실무 순서로 옮기면 이렇습니다.

• 도입률을 성과 지표로 삼지 않습니다. 도입 69.5%에 정착 12.5%라는 간격이 그 이유입니다. 계정을 몇 개 발급했는지가 아니라 어떤 업무가 실제로 바뀌었는지를 봅니다.
• 데이터 진단을 셋으로 나눕니다. 기록이 없는지, 흩어져 있는지, 뜻이 정해지지 않았는지에 따라 할 일과 걸리는 시간이 다릅니다.
• 가장 지루한 업무부터 시작합니다. 반복되고 정답이 정해진 일일수록 결과를 재기 쉽고 성과도 잘 나옵니다.
• 경영진의 관여를 확보합니다. 지시만 내린 조직의 정착률은 3.3%였고 예산과 조직까지 지원한 경우는 17.9%였습니다. 담당자 한 명에게 맡겨 두면 결과가 나오기 어렵습니다.
• 교육과 사용 기준을 같이 둡니다. 걸림돌 1위가 직원 간 수준 편차였고, 이를 지목한 응답자의 84.6%가 정기 교육이 없는 조직에 속했습니다.

AI 도입 실패율이 조사마다 다른 이유는 무엇인가요?

재는 대상이 다르기 때문입니다. MIT 조사의 95%는 파일럿 가운데 손익에 측정 가능한 영향을 주지 못한 비율이고, 가트너의 60%는 AI에 맞는 데이터가 없는 프로젝트가 앞으로 포기될 것이라는 예측입니다. 국내 조사의 12.5%는 실패율이 아니라 반대로 정착에 성공한 비율입니다. 실패의 정의도 다릅니다. 손익 개선이 없으면 실패로 보는 기준과 프로젝트가 중단되면 실패로 보는 기준은 결과가 크게 달라집니다. 숫자를 인용할 때는 무엇을 재고 어떤 표본에서 나온 값인지 함께 확인하는 편이 안전합니다.

데이터부터 정비하면 AI 도입이 늦어지지 않나요?

전부 정비하고 시작할 필요는 없습니다. 가트너도 AI에 맞는 데이터는 한 번 만들고 끝나는 것이 아니라 쓰임새에 맞춰 계속 다듬는 일이라고 설명합니다. 현실적인 순서는 먼저 하나의 업무를 정하고 그 업무에 필요한 데이터만 확인하는 쪽입니다. 그 범위 안에서 기록이 없는지, 흩어져 있는지, 기준이 없는지를 가려내면 정비 범위가 크게 줄어듭니다. 전사 데이터를 다 정리한 뒤에 시작하려 하면 착수 자체가 미뤄집니다.

3줄 요약:

• 기업 AI 도입 실패율은 도입한 AI가 손익이나 표준 업무로 이어지지 못한 비율을 가리키고, 최근 조사들은 60%에서 95% 사이로 보고합니다.
• 국내 조사에서 AI를 도입한 기업은 69.5%였지만 업무 표준으로 정착한 곳은 12.5%였고, 정착률을 가른 변수는 경영진의 관여 수준이었습니다.
• 데이터 문제는 기록이 없는 경우와 흩어져 있는 경우와 뜻이 정해지지 않은 경우 셋으로 나뉘고, 셋의 대응 방법이 서로 다릅니다.

Sources:

• Lack of AI-Ready Data Puts AI Projects at Risk (Gartner)
• Gartner Predicts 30% of Generative AI Projects Will Be Abandoned After Proof of Concept (Gartner)
• The GenAI Divide: State of AI in Business 2025 (MIT Media Lab NANDA)
• 2026 하반기 AX 트렌드 리포트 조사 결과 (코리아스프린트)