그로스 해킹 뜻과 실험 진행 방법

🤔 해 볼 만한 아이디어는 많은데 순서를 정하지 못할 때

회의마다 해 볼 만한 아이디어가 열 개쯤 나오는데 정작 다음 주에 무엇부터 할지는 정하지 못한 채 분기가 지나가는 때가 있습니다. 아이디어가 모자라서가 아니라 어느 아이디어가 통했는지 확인하는 방법이 없어서 생기는 문제입니다.

여러 변경을 한꺼번에 적용하면 각각 무엇이 영향을 줬는지 구분하기 어렵습니다. 기존 기록과 관찰로 단서를 찾고 비교할 변경을 정할 수 있습니다. 작게 바꾸고 결과로 다음을 정하는 방법에 붙은 이름이 그로스 해킹입니다.

🔑 그로스 해킹의 정의

그로스 해킹은 제품과 마케팅, 데이터를 함께 살피며 가설과 실험으로 지속 가능한 성장 방법을 찾는 업무 방식입니다. 결과를 기록하고 배운 내용을 다음 판단에 반영합니다. 2010년 무렵 미국 스타트업 업계에서 쓰이기 시작한 말로 알려져 있습니다.

자주 생기는 오해는 그로스 해킹을 기법 목록으로 보는 것입니다. 초대 보상과 추천 코드처럼 남이 성공했다는 방법을 모은 것이 그로스 해킹이라면 남는 일은 따라 하기뿐이고, 그 방법이 우리 서비스에서 왜 통할지는 설명되지 않습니다.

• 기법 모음으로 볼 때: 남이 쓴 방법을 그대로 적용하고, 결과가 나빠도 이유를 말하기 어렵습니다
• 업무 방식으로 볼 때: 우리 데이터에서 막힌 단계를 찾고, 그 단계에 맞는 방법을 가설로 세워 시험합니다

가설과 실행, 확인과 기록을 연결하는 것이 중요합니다. 단계를 지키는 것만으로 실험이 타당해지는 것은 아니며 목적에 맞는 비교와 측정 방법이 필요합니다.

💡 바꾼 것과 결과를 연결하기, 조명 스위치에 이름 붙이기

한 방에 여러 조명 스위치가 있고 무엇을 켜는지 표시가 없다고 상상해 보겠습니다. 하나씩 켜 보면 어떤 조명과 연결됐는지 구분하기 쉽습니다. 모두 한꺼번에 켜면 개별 스위치의 역할을 알기 어렵습니다.

처음 실험을 배울 때도 변경을 단순하게 하면 해석하기 쉽습니다. 여러 변경을 묶어 비교할 수도 있지만 그때는 묶음 전체의 효과를 본 것이며 각 요소의 효과를 분리해서 알지는 못합니다.

스위치에 이름을 남기듯 실험에도 조건과 결과를 기록합니다. 차이를 발견하지 못했는지, 효과가 없다는 근거가 있는지, 측정 오류가 있었는지 구분해야 다음 판단에 도움이 됩니다.

⚖️ 마케팅과 연결되는 업무 방식

일반적인 마케팅도 조사와 데이터, 실험을 사용합니다. 그로스 해킹만 데이터를 보고 다른 마케팅은 경험만 따른다는 구분은 맞지 않습니다. 그로스 업무에서는 유입부터 첫 사용, 유지와 구매까지 제품 경험을 함께 개선하는 데 초점을 두는 경우가 많습니다.

개발과 디자인, 마케팅 담당자가 협력할 수 있지만 반드시 같은 조직에 속해야 하는 것은 아닙니다. 기간도 일률적으로 한두 주가 아니라 확인할 결과와 자료가 모이는 속도에 맞춥니다.

🔁 실험 한 바퀴를 도는 여섯 단계

처음에는 다음 여섯 단계로 실험을 정리해 볼 수 있습니다. 단계마다 어긋나기 쉬운 지점을 함께 적습니다.

가상의 가계부 앱에서 첫 실행을 안내하는 온보딩 화면을 개선한다고 해 보겠습니다.

기존 화면과 변경 화면을 나눠 비교하는 방법은 아래 AB 테스트 절에서 자세히 설명합니다. 숫자가 높아졌다는 것만으로 성공을 확정하지 않습니다.

어느 단계부터 실험할지 고를 때는 AARRR을 함께 씁니다. AARRR은 유입, 활성화, 유지, 수익과 추천을 살피는 틀입니다. 비율이 가장 낮은 단계를 자동으로 고치기보다 고객의 어려움과 사업 영향, 개선 가능성을 함께 봅니다.

본문 내용을 재구성한 학습용 도식입니다. 본문 여섯 단계를 네 묶음으로 요약했습니다. 그림의 한 가지 변경은 처음 비교를 단순하게 만드는 예이며 모든 실험의 필수 조건은 아닙니다.

🧪 AB 테스트 뜻과 p값 읽는 법

AB 테스트는 대상을 무작위로 두 집단에 나눠 한 집단에는 기존 안(A)을, 다른 집단에는 바꾼 안(B)을 보여 주고 정한 지표를 비교하는 실험입니다. 앞의 여섯 단계 가운데 크기 정하기와 판정 단계를 실제로 수행하는 대표 방법입니다.

AB 테스트에는 세 가지 조건이 붙습니다.

• 두 안을 같은 기간에 동시에 돌립니다. 이번 주에 A, 다음 주에 B를 보여 주면 요일과 시즌, 광고 집행량까지 함께 달라집니다.
• 방문자를 무작위로 배정합니다. 같은 사용자는 실험이 끝날 때까지 같은 안을 보게 합니다.
• 처음에는 한 요소만 바꿉니다. 버튼 문구와 이미지를 함께 바꾸면 전체 변경의 효과는 알 수 있지만 각 요소의 효과는 따로 알 수 없습니다.

실험 전에 필요한 인원을 계산합니다. 표본 크기 계산기에 넣는 값은 네 가지입니다.

계산기가 최소 차이를 상대적 증가율로 받는다면 2%에서 2.4%는 20%로 넣고, 절대 차이로 받는다면 0.4%p로 넣습니다. 계산기 입력란이 어떤 단위를 받는지, 계산 결과가 안별 인원인지 전체 인원인지 먼저 확인합니다.

표본이 작으면 한두 명의 차이로 결론이 뒤집힙니다.

작은 자료에서는 B의 전환이 한 명만 줄어도 두 비율이 같아집니다. 큰 자료에서는 한 명이 바뀌어도 비율이 0.005%포인트만 움직입니다. 다만 배정이나 측정이 잘못됐다면 큰 자료도 잘못된 결론을 냅니다.

실험 도구의 결과표에는 p값이 함께 나옵니다. p값은 두 안에 실제 차이가 없다고 가정했을 때, 관찰한 결과만큼 또는 그보다 더 큰 차이가 나올 확률입니다. 그래서 p값 0.03을 B가 이길 확률 97%나 이번 결과가 우연일 확률 3%로 읽지 않습니다. 미리 유의수준 0.05를 정했다면 p값이 0.05보다 작을 때 차이가 있다고 판정합니다. p값이 0.05보다 크면 두 안이 같다는 증명이 아니라 이번 자료로는 차이를 확인하지 못했다는 뜻입니다.

결과 화면을 매일 열어 보다가 B가 앞선 날 실험을 멈추면 우연한 차이를 결론으로 굳히게 됩니다. 전환은 날마다 오르내려서 B가 앞서는 날이 한 번쯤은 나오기 때문입니다. 필요한 인원과 종료 날짜를 미리 정하고 그때 판정합니다. 결제 오류처럼 고객 피해가 생기면 승패와 관계없이 멈추는 중단 조건은 따로 둡니다.

✍️ 가설을 적는 틀

가설에는 예상한 변화와 그렇게 보는 근거를 함께 적습니다. 다음 형식을 참고할 수 있습니다.

무엇을 바꾸면 누구의 어떤 행동이 얼마나 달라질 것이다. 그렇게 보는 이유는 무엇이다

앞 문장에는 바꿀 것과 대상, 기대한 변화가 들어가고 뒤 문장에는 근거가 들어갑니다. 기대 수치는 가정이며 검증 없이 효과를 보장하는 값은 아닙니다. 근거를 적어 두면 실패했을 때 무엇이 틀렸는지 좁힐 수 있습니다.

📊 실험 순서를 정하는 점수표

후보가 쌓이면 무엇부터 돌릴지가 문제가 됩니다. 세 가지 항목에 점수를 매겨 줄을 세웁니다.

이 글에서는 비교를 돕는 임의의 점수 방식으로 세 항목에 1점에서 10점을 주고 기대 효과 × 확신 정도 ÷ 드는 품으로 계산해 우선 검토할 후보를 정합니다. 입력 항목 축소가 8, 7, 3이고 추천 코드 도입이 9, 4, 8이면 18.7점과 4.5점이라서 입력 항목 축소가 앞섭니다.

이 점수가 객관적인 값은 아니라는 점은 같이 적어 두는 편이 좋습니다. 같은 실험을 놓고도 사람마다 3점씩 차이가 나고, 확신 정도는 그 실험을 제안한 사람이 높게 주기 쉽습니다. 점수의 쓸모는 순위를 확정하기보다 왜 그 점수를 줬는지 말하게 만드는 데 있다고 봅니다.

🧰 전담 팀이 없는 조직에서 시작하는 방법

지표와 근거를 확인할 역할, 변경을 적용할 역할, 다음 행동을 정할 역할이 필요합니다. 한 사람이 여러 역할을 맡을 수 있습니다.

• 확인 가능한 범위로 시작합니다: 실험 수보다 해석 가능한 설계가 중요합니다.
• 작게 바꿀 수 있는 후보를 고릅니다: 문구 변경도 시스템에 따라 개발과 배포가 필요합니다. 무엇을 어떻게 측정할지도 먼저 정합니다.
• 기록을 남깁니다: 가설, 대상과 배정, 변경, 기간, 결과와 다음 행동을 적습니다.
• 주요 지표와 함께 볼 지표를 정합니다: 가입률이 올라도 오류나 이탈이 늘지 않았는지 함께 확인합니다.

처음에는 가설과 실제 설정이 맞았는지, 결과를 판단할 근거가 남았는지부터 확인합니다. 실험 몇 건이면 성공 방식이 보인다는 고정 기준은 없습니다.

⚠️ 그로스 해킹이 잘 맞지 않는 때

• 자료가 적을 때: 작은 전환율 차이를 구분하기 어려울 수 있습니다. 사용자 관찰과 인터뷰로 어려움을 찾거나 더 큰 차이를 검토할 방법을 설계합니다. 인터뷰만으로 전환율 효과를 증명할 수는 없습니다.
• 핵심 기능에 문제가 있을 때: 가입 화면만 고치기보다 사용자가 목적을 달성하는지 확인합니다. 제품 개선도 가설과 작은 시험으로 배울 수 있습니다.
• 변경 영향이 크거나 되돌리기 어려울 때: 가격이나 이름도 조사할 수 있지만 적용 범위와 고객 영향을 신중히 정합니다.

그로스 업무의 목적은 실험 횟수를 채우는 것이 아닙니다. 사용자가 얻는 가치와 지속 가능한 성장을 확인하며 적절한 방법을 고릅니다.

❓ 자주 묻는 질문

그로스 마케팅과 같은 말로 봐도 되나요?

업계에서는 거의 같은 뜻으로 쓰이는 편입니다. 굳이 나누자면 그로스 해킹은 실험으로 성장 방법을 찾는 업무 방식을 가리키고, 그로스 마케팅은 그 방식을 마케팅에 적용한 쪽을 가리키는 때가 많습니다. 이름을 따지기보다 그 팀이 무엇을 하는지 보는 쪽이 낫습니다.

실험이 계속 실패하면 방법이 잘못된 것일까요?

개선을 확인하지 못한 결과도 기록할 가치가 있습니다. 배운 내용이 없다면 가설의 근거뿐 아니라 배정, 측정과 분석 방법도 확인합니다. 어떤 짐작이 틀렸는지 한 줄이 남아야 다음 가설이 좁아집니다.

AB 테스트에서 p값이 0.05보다 크면 실패인가요?

실패라기보다 판정을 내리지 못한 상태입니다. 이번 자료로 차이를 확인하지 못했다는 뜻이지 차이가 없다고 증명된 것은 아니어서, 표본이 모자랐을 수도 있고 실제로 차이가 없을 수도 있습니다. 배정과 측정이 정상이었는지 확인한 뒤 유지, 재설계, 추가 검증 가운데 하나를 고릅니다.

실험 하나는 며칠이나 돌려야 하나요?

필요한 표본 수와 확인하려는 차이, 요일과 구매 주기 등을 고려해 미리 정합니다. 유리한 결과가 보일 때 임의로 끝내거나 성공할 때까지 늘리면 판단이 왜곡될 수 있습니다. 중간 분석을 하려면 그에 맞는 분석 방법을 사전에 정합니다. 오류나 고객 피해의 중단 조건은 별도로 마련합니다.

✏️ 작은 실험 결과 읽기

가상의 같은 기간 실험에서 신규 방문자를 무작위로 두 집단에 배정했습니다. A는 100명 중 2명, B는 100명 중 3명이 가입했습니다. 실제 사이트 설정 없이 계산기와 메모장으로 확인합니다.

1. 가입률은 A 2 ÷ 100 × 100 = 2%, B 3 ÷ 100 × 100 = 3%입니다.
2. 관찰된 차이는 1%포인트이며 가입자는 한 명 차이입니다. %포인트는 두 백분율을 뺀 차이를 나타냅니다.
3. B가 반드시 더 좋다 대신 작은 관찰 차이가 있으나 미리 정한 계획과 불확실성을 확인해야 한다고 기록합니다.

혼자 반복하려면 B의 방문자가 150명이고 가입자가 3명이라고 바꿉니다. B도 2%로 관찰 가입률 차이는 없습니다. 3명이 2명보다 많다고 개선이라고 답했다면 분모를 다시 봅니다. 두 비율이 같아도 모든 상황에서 효과가 없다고 증명된 것은 아닙니다.

어느 예시든 이 작은 표만으로 실제 변경을 확정하지 않습니다. 다음에는 어떤 자료가 더 필요한지와 측정 오류 여부를 적는 것까지가 이번 연습입니다.

📋 3줄 요약

1. 그로스 해킹은 제품과 마케팅, 데이터를 함께 살피며 가설과 실험으로 지속 가능한 성장 방법을 찾는 업무 방식입니다.

2. 가설과 비교 방법, 측정 기준을 미리 정하고 결과와 불확실성 및 다음 행동을 기록합니다.

3. 자료가 부족하면 판단을 보류하거나 다른 조사 방법을 쓰며 주요 지표와 오류 등 부작용을 함께 확인합니다.

📚 참고 자료

• Sean Ellis: 그로스 해커를 찾는 이유
• Microsoft: 실험 설계와 검토 권장 사항