AB 테스트 뜻과 방법, p값과 표본 크기

🤔 어느 쪽 문구가 나은지 회의에서 정할 때

랜딩 페이지의 신청 버튼 문구를 바꾸자는 이야기가 나오면 회의에서 의견이 둘로 나뉩니다. 지금 문구가 낫다는 쪽과 새 문구가 낫다는 쪽 모두 근거를 대지만 양쪽 다 짐작이라 시간만 흐릅니다.

이럴 때는 목소리가 큰 쪽의 안이 올라가는 경우가 많습니다. 짐작으로 고르던 것을 숫자로 바꾸는 방법이 AB 테스트입니다.

🔑 AB 테스트의 정의

AB 테스트는 한 가지만 다르게 만든 두 안을 같은 조건에서 동시에 보여 주고 어느 쪽 성과가 나은지 데이터로 가리는 방법입니다.

정의 안에 지켜야 할 조건이 들어 있습니다.

• 한 가지만 다르게: 문구와 이미지와 가격을 한꺼번에 바꾸면 성과가 올라도 원인을 짚을 방법이 없습니다
• 동시에: 이번 주에 A안, 다음 주에 B안을 돌리면 요일과 시즌과 집행량까지 함께 달라집니다
• 같은 조건: 방문자를 무작위로 나눠 양쪽에 비슷한 성격의 사람이 들어가게 합니다

세 가지가 지켜져야 성과 차이를 바꾼 한 가지 때문이라고 말할 근거가 생깁니다.

🍲 같은 조건에서 견준다는 것, 한 냄비에서 뜬 두 그릇

국의 간을 어떻게 맞출지 정할 때, 한 냄비에서 같은 시각에 두 그릇을 떠 담고 한쪽에만 소금을 조금 넣어 봅니다. 재료도 끓인 시간도 같으니 맛이 달라졌다면 원인은 소금뿐입니다.

아침에 끓인 국과 저녁에 데운 국을 견주면 이야기가 달라집니다. 국물이 졸아 간이 세진 것인데도 소금 덕이라고 적게 됩니다. 두 안을 같은 기간에 동시에 돌리는 이유가 여기 있습니다.

다만 국과 웹사이트가 다른 점이 하나 있습니다. 국은 잘 저어 두면 한 숟가락으로 간을 알 수 있지만, 방문자는 국물처럼 고르게 섞이지 않아서 몇 사람만 보고 내린 판단이 다음 몇 사람에서 뒤집힙니다. 그래서 AB 테스트에는 몇 명을 봐야 하는지 미리 정하는 단계가 따로 붙습니다.

🧭 AB 테스트 설계 순서

실험을 켜기 전에 여섯 가지를 종이에 적어 둡니다.

1. 가설 세우기: 문구를 혜택 중심으로 바꾸면 신청률이 오른다처럼 무엇을 왜 바꾸는지 한 문장으로 적습니다
2. 바꿀 것 하나 정하기: 문구를 시험한다면 색과 위치는 그대로 둡니다
3. 성공 지표 미리 정하기: 판정에 쓸 지표를 하나만 고릅니다. 신청 버튼이면 전환율(CVR)이고, 팀의 KPI와 이어져야 결과를 다음 결정에 쓸 수 있습니다
4. 필요한 표본 계산하기: 안마다 몇 명이 필요한지 계산기로 확인합니다
5. 기간 정하기: 표본이 모이는 시간과 요일 한 바퀴 가운데 긴 쪽에 맞춥니다
6. 판정 기준 미리 적기: 어떤 숫자면 B안을 채택할지 실험 전에 문장으로 남깁니다

여섯 번째가 가장 자주 생략됩니다. 판정 기준을 나중에 정하면 결과를 보고 기준을 만들게 됩니다. 0.4%p가 나온 뒤에 0.3%p 이상이면 채택이라고 적으면, 실험이 아니라 이미 정한 결론에 숫자를 붙인 것이 됩니다.

📊 표본이 작으면 생기는 일

같은 전환율 차이를 방문 수만 바꿔 놓고 보겠습니다. 아래는 가상 데이터이고 방문 수는 안 하나에 들어온 사람 수입니다.

왼쪽 칸의 차이는 전환 1건입니다. B안에서 한 사람이 마음을 바꿔 4건이 되면 두 안이 같아지고 3건이 되면 순서가 뒤집힙니다. 게다가 200명 기준으로 전환 1건은 0.5%p를 움직이는데 찾으려는 차이는 0.4%p입니다. 재려는 것보다 눈금이 굵으면 잴 수 없습니다.

오른쪽 칸은 사정이 다릅니다. 80건이 벌어져 있고 전환 1건이 0.005%p만 움직이니, 몇 사람이 오가도 순서가 그대로입니다. 같은 비율 차이라도 한쪽에서는 판정할 수 없고 다른 쪽에서는 판정할 수 있습니다.

그래서 실험 전에 표본 크기 계산기에 네 가지를 넣어 봅니다. 공식을 펼칠 일은 없고 입력값의 뜻만 알면 됩니다.

찾고 싶은 차이를 작게 잡을수록 필요한 방문 수는 가파르게 늘어나서, 트래픽이 넉넉하지 않다면 애초에 크게 바꾸는 쪽이 현실적입니다. 지표가 날마다 얼마나 오르내리는지를 표준편차로 먼저 재 두면 어느 정도 차이부터 눈에 띄는지 가늠할 수 있습니다.

🎲 p값을 읽는 법

실험 도구의 결과표에는 전환율과 함께 p값이 붙어 나옵니다.

p값은 두 안에 실제로는 차이가 없다고 가정했을 때, 이만한 차이가 우연히 생길 확률입니다. p값이 0.03이면 차이가 없는데도 이 정도가 벌어지는 일이 100번에 세 번쯤 생긴다는 뜻이라, 확률이 낮을수록 우연으로 돌리기 어려워집니다.

흔히 0.05를 기준선으로 놓고 그보다 작으면 우연으로 보기 어렵다고 판정합니다. 다만 여기서 짚어 둘 것이 있습니다. 0.05는 오래 쓰여 온 관행이지 자연법칙이 아니고, 이 선을 넘었다고 효과가 크다는 뜻도 아닙니다.

p값은 차이가 있는지 없는지만 다루고 크기는 다루지 않습니다. 방문이 아주 많으면 0.05%p 차이에도 p값이 0.01 아래로 내려가는데, 그만한 차이를 얻자고 개발 일정을 잡을지는 다른 질문입니다.

그래서 효과 크기를 나란히 적습니다. 전환율이 2.0%에서 2.4%로 갔다면 절대 폭으로는 0.4%p이고 비율로는 20% 늘어난 것입니다. 두 숫자를 함께 적어 두면 판정과 값어치를 따로 놓고 봅니다. 마케팅 통계 기초에서 다루는 다른 지표도 읽는 순서가 같습니다.

⏱️ 실험 도중에 멈출 때 생기는 일

실험을 켜 두면 결과 화면을 자꾸 열어 보게 되고, 사흘째에 B안이 앞서 있으면 여기서 끝내고 싶어집니다.

이때 멈추면 우연한 차이를 결과로 굳히는 일이 벌어집니다. 전환은 날마다 오르내리고 그 과정에서 B안이 앞서는 날이 한 번쯤은 나오는데, 가장 유리해 보이는 날을 골라 멈추면 우연히 벌어진 차이를 결론으로 적게 됩니다.

막는 방법은 하나입니다. 필요한 표본과 종료 날짜를 미리 정해 두고 그때까지 판정을 미룹니다. 중간 숫자는 추적이 제대로 걸렸는지, 한쪽에만 방문이 몰리지 않았는지 확인하는 용도로만 봅니다.

🚫 AB 테스트가 맞지 않는 때

• 트래픽이 적을 때: 표본을 모으는 데 몇 달이 걸리면 그사이 시즌과 상품이 바뀌므로 사용자 인터뷰나 이용 기록 확인이 빠릅니다
• 바꿀 것이 명백히 잘못됐을 때: 결제 버튼이 모바일에서 눌리지 않는다면 실험이 아니라 수정입니다
• 여러 곳을 동시에 바꿔야 할 때: 페이지를 통째로 새로 만드는 개편은 한 가지만 다르게 둘 방법이 없어서, 전체를 비교하더라도 무엇이 이기게 했는지는 따로 확인해야 합니다
• 효과가 오래 걸릴 때: 구독 해지율처럼 몇 달 뒤에 드러나는 지표는 짧은 실험으로 판정하기 어렵습니다

하나라도 걸리면 실험보다 랜딩 페이지 개선의 기본부터 맞추는 쪽이 낫습니다.

⚠️ 자주 하는 실수

• 둘 이상을 한꺼번에 바꾸기: 버튼 문구와 대표 이미지를 같이 바꾸면 이긴 쪽은 알아도 무엇이 이기게 했는지는 모릅니다
• 기간이 요일 단위로 맞지 않기: 닷새만 돌리면 주말이 한쪽에만 들어가기도 합니다. 요일마다 방문자가 다른 업종이라면 7의 배수로 끊습니다
• 지표를 여러 개 보고 유리한 것만 고르기: 열 가지 지표를 늘어놓으면 그 가운데 하나쯤은 우연히 좋아집니다. 판정 지표를 실험 전에 하나로 정해 두는 이유입니다

❓ 자주 묻는 질문

표본이 얼마나 필요한가요?

기준 전환율과 찾고 싶은 차이에 따라 달라집니다. 지금 전환율이 낮을수록, 잡아내려는 차이가 작을수록 더 많은 사람이 필요해서 2.0%에서 0.4%p를 찾는 실험은 1.0%p를 찾는 실험보다 훨씬 많은 방문이 필요합니다. 정확한 수는 네 가지 입력값을 표본 크기 계산기에 넣어 확인합니다.

테스트는 얼마나 오래 돌려야 하나요?

표본이 모이는 데 걸리는 시간과 요일 한 바퀴 가운데 긴 쪽에 맞춥니다. 표본이 사흘 만에 차더라도 주말이 빠져 있으면 7일은 채우고, 2주를 돌렸는데 표본이 모자라면 기간을 늘리거나 찾으려는 차이를 크게 다시 잡습니다.

p값이 0.05보다 크면 실패인가요?

실패라기보다 판정을 내리지 못한 상태에 가깝습니다. 차이를 확인하지 못했다는 뜻이지 차이가 없다고 증명된 것은 아니어서, 표본이 모자랐을 수도 있고 정말 차이가 없을 수도 있습니다. 같은 안을 다시 돌리기보다 더 크게 바꾼 안으로 시험합니다.

A와 B 말고 안을 세 개 이상 시험해도 되나요?

됩니다. 다만 안이 늘면 각 안에 들어가는 방문이 나뉘어 기간이 길어지고, 비교하는 횟수가 늘어 우연히 이기는 안이 나올 확률도 올라갑니다. 처음에는 두 가지 안으로 좁히고 이긴 안을 다음 실험의 기준으로 삼는 방식이 관리하기 쉽습니다.

📋 3줄 요약

1. AB 테스트는 한 가지만 다르게 만든 두 안을 같은 조건에서 동시에 보여 주고 어느 쪽 성과가 나은지 데이터로 가리는 방법입니다.

2. 같은 2.0% 대 2.4% 차이라도 안마다 200명을 본 실험에서는 전환 4건과 5건이라 판정할 수 없고, 20,000명을 본 실험에서는 400건과 480건이라 판정할 수 있습니다.

3. p값은 이만한 차이가 우연히 생길 확률이고 0.05는 오래 쓰여 온 관행일 뿐이라, 기준을 넘었는지와 함께 효과 크기를 따로 봅니다.