AB 테스트 뜻과 방법, p값과 표본 크기

🤔 어느 쪽 문구가 나은지 회의에서 정할 때

랜딩 페이지의 신청 버튼 문구를 바꾸자는 이야기가 나오면 회의에서 의견이 둘로 나뉩니다. 지금 문구가 낫다는 쪽과 새 문구가 낫다는 쪽 모두 근거를 대지만 양쪽 다 짐작이라 시간만 흐릅니다.

이럴 때는 목소리가 큰 쪽의 안이 올라가는 경우가 많습니다. 짐작으로 고르던 것을 숫자로 바꾸는 방법이 AB 테스트입니다.

🔑 AB 테스트의 정의

AB 테스트는 대상을 무작위로 두 집단에 나누어 서로 다른 안을 적용하고 정한 지표를 비교하는 실험입니다. 이 글은 같은 기간에 사용자별로 A 또는 B를 보여 주는 기본 형태를 다룹니다.

정의 안에 지켜야 할 조건이 들어 있습니다.

• 처음에는 한 요소만 변경: 버튼 문구만 바꾸면 무엇을 비교하는지 분명합니다. 여러 요소를 바꾼 두 페이지도 비교할 수 있지만 각 요소의 효과를 따로 알 수는 없습니다
• 동시에: 이번 주에 A안, 다음 주에 B안을 돌리면 요일과 시즌과 집행량까지 함께 달라집니다
• 같은 조건: 방문자를 무작위로 배정해 체계적인 차이를 줄입니다. 우연히 차이가 날 수 있으므로 배정과 수집이 정상인지도 확인합니다

한 사용자가 A와 B를 번갈아 보지 않도록 배정을 유지하는 등 운영 조건도 정합니다. 이런 설계와 분석을 갖춰야 변경의 효과를 판단할 근거가 생깁니다. 아래 실험을 켜기 전에 종이에서 비교하기부터 시작해도 됩니다.

🍲 같은 조건에서 견준다는 것, 한 냄비에서 뜬 두 그릇

국의 간을 어떻게 맞출지 정할 때, 한 냄비에서 같은 시각에 두 그릇을 떠 담고 한쪽에만 소금을 조금 넣어 봅니다. 재료도 끓인 시간도 같으니 맛이 달라졌다면 원인은 소금뿐입니다.

아침에 끓인 국과 저녁에 데운 국을 견주면 이야기가 달라집니다. 국물이 졸아 간이 세진 것인데도 소금 덕이라고 적게 됩니다. 두 안을 같은 기간에 동시에 돌리는 이유가 여기 있습니다.

다만 국과 웹사이트가 다른 점이 하나 있습니다. 국은 잘 저어 두면 한 숟가락으로 간을 알 수 있지만, 방문자는 국물처럼 고르게 섞이지 않아서 몇 사람만 보고 내린 판단이 다음 몇 사람에서 뒤집힙니다. 그래서 AB 테스트에는 몇 명을 봐야 하는지 미리 정하는 단계가 따로 붙습니다.

🧭 AB 테스트 설계 순서

실험을 켜기 전에 여섯 가지를 종이에 적어 둡니다.

1. 가설 세우기: 문구를 혜택 중심으로 바꾸면 신청률이 오른다처럼 무엇을 왜 바꾸는지 한 문장으로 적습니다
2. 바꿀 것 하나 정하기: 문구를 시험한다면 색과 위치는 그대로 둡니다
3. 성공 지표 미리 정하기: 주된 판정 지표를 고르고 오류나 매출 감소처럼 함께 감시할 지표도 정합니다. 신청 완료를 비교한다면 전환율(CVR)이고, 팀의 KPI와 이어져야 결과를 다음 결정에 쓸 수 있습니다
4. 필요한 표본 계산하기: 기준 전환율, 최소 차이와 오류 허용 기준을 실험 도구에 입력해 필요한 인원을 정합니다
5. 기간 정하기: 필요한 인원과 요일 및 성과가 기록되기까지의 시간을 고려해 기간과 종료 규칙을 함께 정합니다
6. 판정 기준 미리 적기: 어떤 숫자면 B안을 채택할지 실험 전에 문장으로 남깁니다

이 기준을 적어 두면 결과를 보고 판단 규칙을 바꾸는 일을 줄일 수 있습니다. 판정 기준을 나중에 정하면 결과를 보고 기준을 만들게 됩니다. 0.4%p가 나온 뒤에 0.3%p 이상이면 채택이라고 적으면, 실험이 아니라 이미 정한 결론에 숫자를 붙인 것이 됩니다.

본문의 문구 테스트를 설명하는 가상 설계입니다. 실제 실험에서는 무작위 배정과 사전에 정한 판정 기준을 적용합니다.

📊 표본이 작으면 생기는 일

아래는 두 개의 가상 자료입니다. 각 사람의 전환 여부를 한 번만 집계합니다.

%p는 두 백분율을 뺀 차이를 적는 단위입니다.

작은 자료에서 B의 전환한 사람이 한 명 줄면 4명이 되어 비율이 같아집니다. 큰 자료는 한 명이 바뀔 때 비율이 0.005%p 변합니다. 건수를 늘리면 한 명이 비율에 미치는 영향은 작아지지만, 인원수만으로 실험의 승패를 결정할 수는 없습니다. 무작위 배정과 측정이 잘못됐다면 큰 자료도 잘못된 결론을 냅니다.

표본 계획에는 다음 조건을 사용합니다. 여기서 표본은 실험에서 관찰할 대상입니다.

도구가 최소 차이를 상대적 증가율로 받으면 2%에서 2.4%는 20%를 입력합니다. 절대 차이를 받으면 0.4%p입니다. 도구가 소수를 요구할 때는 각각 0.02, 0.024처럼 입력하므로 입력란의 단위를 먼저 읽습니다. 유의수준 5%와 연결되는 신뢰수준 표기는 보통 95%이며, 검정의 방향과 방법도 같은 기준으로 맞춥니다.

처음부터 표본 수를 외우기보다 이 네 조건과 도구가 안별 인원인지 전체 인원인지 표시하는 방식을 확인합니다. 필요한 인원을 모으기 어렵다면 먼저 사용성 문제를 찾거나 더 큰 변경을 새로 설계할 수 있습니다. 진행 중인 실험의 최소 차이를 결과에 맞춰 바꾸지는 않습니다.

🎲 p값을 읽는 법

실험 도구의 결과표에는 전환율과 함께 p값이 표시되기도 합니다.

p값은 두 안에 실제 차이가 없다는 가설과 분석 모형이 맞다고 가정할 때, 관찰한 결과만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다. 차이가 없다는 가설을 귀무가설이라고 합니다.

p값 0.03을 B가 이길 확률 97%나 이번 결과가 우연일 확률 3%로 읽지 않습니다. 결과를 어느 가정 아래에서 계산한 것인지 구분해야 합니다.

사전에 유의수준 0.05를 정했다면 p값을 그 기준과 비교할 수 있습니다. 그러나 기준을 통과했다는 사실만으로 효과가 크거나 수익성이 있다고 결론 내리지는 않습니다. p값이 기준보다 크다고 두 안이 같다는 증명도 되지 않습니다.

효과의 크기와 추정의 불확실성도 함께 봅니다. 전환율 2%와 2.4%의 차이는 0.4%p이며 상대적으로 20% 증가입니다. 효과의 신뢰구간은 그 차이를 얼마나 정밀하게 추정했는지 판단하는 데 쓰입니다. 같은 0.4%p라도 구현 비용과 고객 경험에 따라 채택 판단은 달라집니다.

⏱️ 실험 도중에 멈출 때 생기는 일

실험을 켜 두면 결과 화면을 자꾸 열어 보게 되고, 사흘째에 B안이 앞서 있으면 여기서 끝내고 싶어집니다.

이때 멈추면 우연한 차이를 결과로 굳히는 일이 벌어집니다. 전환은 날마다 오르내리고 그 과정에서 B안이 앞서는 날이 한 번쯤은 나오는데, 가장 유리해 보이는 날을 골라 멈추면 우연히 벌어진 차이를 결론으로 적게 됩니다.

고정된 표본으로 판정하는 실험은 필요한 인원과 종료 규칙을 미리 정하고 그 기준에 따라 분석합니다. 중간 결과를 여러 번 보고 유리할 때 끝내려면 그 방식에 맞춘 별도의 통계 절차가 필요합니다. 결제 오류 같은 실제 피해는 승패와 별개로 중단할 수 있도록 기준을 정합니다.

🚫 실험 전에 설계를 다시 살펴볼 때

• 트래픽이 적을 때: 표본을 모으는 데 몇 달이 걸리면 그사이 시즌과 상품이 바뀌므로 사용자 인터뷰나 이용 기록 확인이 빠릅니다
• 바꿀 것이 명백히 잘못됐을 때: 결제 버튼이 모바일에서 눌리지 않는다면 실험이 아니라 수정입니다
• 각 요소의 효과를 따로 알고 싶을 때: 페이지 전체를 바꾼 A와 B는 전체 변경의 효과를 비교합니다. 문구와 이미지 각각의 효과는 별도의 설계로 확인합니다
• 효과가 오래 걸릴 때: 구독 해지율처럼 몇 달 뒤에 드러나는 지표는 짧은 실험으로 판정하기 어렵습니다

질문에 맞는 관찰 기간과 설계가 가능한지 먼저 판단합니다. 명백한 사용성 오류를 찾는 방법은 랜딩 페이지 개선에서도 살펴볼 수 있습니다.

⚠️ 자주 하는 실수

• 여러 변경의 개별 효과를 단정하기: 버튼 문구와 대표 이미지를 같이 바꿨다면 전체 변경의 효과는 비교할 수 있지만 각 요소의 효과를 따로 알 수는 없습니다
• 기간이 요일 단위로 맞지 않기: 같은 기간에 동시에 돌렸다면 두 안에 포함된 요일은 같습니다. 다만 평일만 관찰한 결과를 주말에도 적용할 수 있는지는 별도 문제이므로 요일 영향을 기간 계획에 반영합니다.
• 지표를 여러 개 보고 유리한 것만 고르기: 비교를 많이 하면 우연한 차이를 고를 위험이 커집니다. 주된 판정 지표와 여러 비교의 처리 방법을 미리 정합니다

❓ 자주 묻는 질문

표본이 얼마나 필요한가요?

기준 전환율과 찾고 싶은 차이에 따라 달라집니다. 최소 차이를 절대 차이로 고정했는지 상대적 증가율로 고정했는지, 유의수준과 검정력을 어떻게 정했는지에 따라서도 달라집니다. 다른 조건이 같다면 2%에서 0.4%p 차이를 찾는 데는 1%p 차이를 찾을 때보다 더 많은 인원이 필요합니다. 정확한 수는 네 가지 입력값을 표본 크기 계산기에 넣어 확인합니다.

테스트는 얼마나 오래 돌려야 하나요?

필요한 표본과 요일 변화, 전환이 기록되기까지의 시간을 반영해 사전에 정합니다. 예상보다 방문이 적을 때의 연장 규칙도 미리 정합니다. 결과를 본 뒤 유리한 날짜로 끝내거나 찾을 차이를 바꾸면 원래 판정 기준을 그대로 적용하기 어렵습니다.

p값이 0.05보다 크면 실패인가요?

실패라기보다 판정을 내리지 못한 상태에 가깝습니다. 차이를 확인하지 못했다는 뜻이지 차이가 없다고 증명된 것은 아니어서, 표본이 모자랐을 수도 있고 정말 차이가 없을 수도 있습니다. 실험 품질과 추정한 차이의 범위를 보고 유지, 재설계 또는 추가 검증을 판단합니다.

A와 B 말고 안을 세 개 이상 시험해도 되나요?

됩니다. 다만 안이 늘면 각 안에 들어가는 방문이 나뉘어 기간이 길어지고, 비교하는 횟수가 늘어 우연히 이기는 안이 나올 확률도 올라갑니다. 처음에는 두 가지 안으로 좁히고 이긴 안을 다음 실험의 기준으로 삼는 방식이 관리하기 쉽습니다.

✏️ 실험을 켜기 전에 종이에서 비교하기

아직 실험 도구나 광고 계정은 필요하지 않습니다. 메모장에 아래 계획을 적습니다.

• 질문: 버튼을 누르기 전 받을 내용을 알려 주면 신청 완료 비율이 달라질까요?
• A 문구: 신청하기. B 문구: 무료 안내서 받기.
• 같은 조건: 같은 안내서를 제공하고 색과 위치, 입력 항목은 유지합니다.
• 배정: 같은 기간에 사용자를 무작위 배정하고 같은 사용자는 같은 안을 봅니다.
• 주된 지표: 신청을 완료한 사용자 수를 각 안에 배정된 사용자 수로 나눈 비율.
• 실행 전 필요한 값: 기준 전환율과 최소 차이, 유의수준, 검정력 및 종료 규칙.

위 작은 자료의 4 ÷ 200 × 100, 5 ÷ 200 × 100을 계산해 2와 2.5가 나오는지 확인합니다. 결과 옆에 관찰값이며 B 채택은 아직 결정하지 않음을 적으면 첫 연습을 마친 것입니다.

혼자 반복할 때는 B의 전환한 사람만 4명으로 바꿉니다. 비율은 둘 다 2%가 됩니다. 이 결과도 실제 효과가 없다는 증명은 아닙니다. 계산이 다르면 각 안의 분모를 전체 400명으로 넣지 않았는지 먼저 확인합니다.

📋 3줄 요약

1. AB 테스트는 대상을 무작위로 두 집단에 나누어 서로 다른 안을 적용하고 정한 지표를 비교하는 실험입니다.

2. 각 안 200명 중 4명과 5명이 전환했다면 비율은 2%와 2.5%이며, 관찰된 차이만으로 B의 효과를 확정하지 않습니다.

3. p값은 차이가 없다는 가설 아래 관찰한 결과 이상으로 극단적인 결과가 나올 확률이며, 효과 크기와 함께 해석합니다.

📚 참고 자료

• 미국통계학회: p값 해석 원칙
• Microsoft Research: 실험 전 설계에서 확인할 사항