ETL 뜻과 데이터 웨어하우스, 레이크 차이

🤔 매주 같은 파일을 다시 만들고 있을 때

월요일 오전마다 구글 광고에서 CSV를 내려받고, 메타 광고에서 한 번 더 내려받고, GA4에서 세션과 전환을 뽑아 시트 한 장에 붙여 넣다 보면 오전이 그대로 지나갑니다. 다음 주에도 같은 순서로 같은 파일을 다시 만들고, 누군가 열 하나를 옮겨 두면 수식이 어긋나 숫자가 달라집니다.

이 일에는 이미 이름이 붙어 있습니다. 데이터를 다루는 팀에서 ETL이라고 부르는 작업이 바로 이것입니다.

🔑 ETL의 정의

ETL은 흩어진 곳에서 데이터를 꺼내고(Extract) 쓸 수 있는 모양으로 바꾸고(Transform) 모아 두는 곳에 넣는(Load) 세 단계를 가리키는 말입니다.

기술 용어처럼 들리지만 마케터가 손으로 하던 일에 붙은 이름입니다. 광고 계정에서 성과를 내려받는 것이 꺼내기이고, 날짜 형식과 캠페인 이름을 맞추는 것이 바꾸기이고, 정리한 값을 시트에 붙여 넣는 것이 넣기입니다. 사람이 하면 ETL이라고 부르지 않을 뿐 하는 일은 같습니다.

이 세 단계를 정해진 순서로 반복하게 만들어 둔 것을 데이터 파이프라인이라고 부릅니다. 파이프라인은 특정 도구의 이름이 아니라 순서를 가리키는 말이어서, 시트 함수로 엮어도 전용 도구로 짜도 똑같이 파이프라인입니다.

🥛 ETL 세 단계, 목장 우유가 창고에 들어가기까지

집유차가 아침마다 목장을 돌며 탱크에 우유를 받아 오듯, 파이프라인도 광고 계정과 GA4와 쇼핑몰 관리자 화면을 돌며 어제치 숫자를 받아 옵니다. 받아 온 우유를 그대로 팔지 않고 이물질을 거른 뒤 살균해 같은 크기 용기에 담듯, 받아 온 데이터도 날짜 형식을 맞추고 통화를 환산해 같은 표 모양으로 만듭니다.

규격을 맞춘 것만 제품 창고에 줄 맞춰 쌓아 두고, 주문이 들어오면 그 창고에서 꺼냅니다. 데이터도 같은 순서로 움직여서, 정리를 마친 표만 모아 두는 곳이 따로 있고 리포트와 대시보드는 그곳에서 값을 꺼내 씁니다.

이 비유에서 눈여겨볼 곳은 우유를 거르고 살균하는 공정입니다. 목장을 도는 일과 창고에 쌓는 일은 순서만 지키면 되지만, 그 공정에서 무엇을 거르고 무엇을 남길지는 사람이 정해 둔 규칙에 따라 달라집니다.

📥 세 단계에서 실제로 하는 일

세 단계 가운데 바꾸기가 일이 가장 많고 가장 자주 깨집니다. 꺼내기와 넣기는 한 번 맞춰 두면 대체로 같은 동작을 반복하는데, 바꾸기의 규칙은 사람끼리 정한 약속이라 약속이 바뀔 때마다 함께 고쳐야 하기 때문입니다.

캠페인 이름을 0901_신상_리타겟처럼 적기로 했다가 누군가 신상리타겟0901로 적으면, 이름에서 날짜와 상품군을 잘라 내던 규칙이 그 행에서만 빈값을 내놓습니다. 규칙은 멀쩡한데 들어온 값이 약속과 달라 생긴 문제입니다.

🔄 ETL과 ELT의 차이

같은 세 글자를 순서만 바꿔 ELT라고 적는 경우가 늘었습니다. 차이는 하나로, 바꾸는 시점이 넣기 앞이냐 뒤냐입니다.

• ETL: 꺼낸 값을 먼저 정리한 뒤 정리된 것만 넣습니다. 쌓이는 양이 줄고 들어가는 표가 깔끔하지만, 나중에 다른 모양이 필요해지면 원본이 남아 있지 않아 다시 꺼내야 합니다
• ELT: 꺼낸 값을 일단 원본 그대로 넣어 두고, 필요할 때 그 안에서 바꿉니다. 원본이 남아 있어 나중에 다른 질문을 던지기 쉬운 대신 쌓이는 양이 커집니다

저장 비용이 예전보다 내려가면서 일단 넣고 나중에 바꾸는 방식을 고르는 팀이 늘어난 편으로 보입니다. 둘 중 하나가 옳은 방식이라기보다, 쌓을 양과 나중에 다시 바꿀 일이 얼마나 될지에 따라 달라집니다.

🏗️ 데이터 웨어하우스, 레이크, 마트 비교

데이터가 모이는 곳에는 이름이 셋 있습니다. 우유 비유로 옮기면 레이크는 걷어 온 그대로 받아 둔 집유 탱크이고, 웨어하우스는 규격에 맞춰 담아 쌓아 둔 제품 창고이고, 마트는 오늘 나갈 것만 골라 담아 둔 출고대입니다.

각 도구의 요금과 기능 한도는 시점마다 달라져서 이 글에서는 이름만 적어 둡니다. 실제로 고를 때는 그날의 공식 요금 문서를 확인하는 편이 맞습니다.

표에서 읽어야 할 결론은 하나입니다. 셋은 서로 경쟁하는 도구가 아니라 층이 다릅니다. 레이크에 원본이 있어야 웨어하우스의 표를 다시 만들 수 있고, 웨어하우스가 있어야 마트의 숫자가 같은 기준으로 채워집니다. 규모가 작은 팀은 셋을 따로 두지 않고 웨어하우스 하나에 원본 표와 요약 표를 함께 두기도 합니다.

🧭 마케터가 데이터 쌓이는 곳을 알아야 하는 이유

데이터를 직접 다루지 않아도 이 구조를 알아 두면 세 가지가 달라집니다.

• 틀린 숫자의 원인을 좁힐 수 있습니다: 리포트 값이 이상하면 원본이 안 들어왔는지, 정리 규칙이 어긋났는지, 요약 표만 오래됐는지를 나눠 물어볼 수 있습니다
• 새 지표를 요청할 때 필요한 것을 말할 수 있습니다: 원본에 그 값이 없으면 리포트에도 생기지 않으므로, 요청은 화면이 아니라 수집 단계부터 시작해야 합니다
• 자동화를 맡길 때 범위를 정할 수 있습니다: 꺼내기만 맡길지, 정리 규칙까지 맡길지에 따라 걸리는 기간과 이후 관리 방법이 달라집니다

KPI를 정해 두고도 매주 값이 달라진다면 지표 정의보다 파이프라인 쪽을 먼저 보는 편이 빠릅니다. GA4 데이터를 BigQuery로 내보내 정리한 사례는 GA4 데이터 유실, BigQuery로 자동 해결에 적어 두었습니다.

⏱️ 손으로 하던 정리를 자동화로 넘기는 시점

모든 반복 작업을 자동화할 필요는 없습니다. 아래 세 신호 가운데 두 개가 겹치면 넘길 때로 봅니다.

• 매주 몇 시간이 넘게 들 때: 한 달이면 하루치 업무가 그 정리에만 들어갑니다
• 사람마다 다른 파일이 생길 때: 같은 이름의 지표가 두 파일에서 다른 값으로 나오면 회의가 숫자 맞추기로 끝납니다
• 같은 실수가 반복될 때: 붙여 넣는 순서를 한 번 틀려 생긴 오류가 분기마다 다시 나온다면 사람 문제가 아니라 절차 문제입니다

넘길 때도 처음부터 크게 만들지 않는 편이 낫습니다. 가장 자주 하는 정리 하나만 골라 자동으로 돌려 보고, 한 달쯤 결과가 맞는지 확인한 뒤 다음 것을 붙입니다. 열 가지를 한 번에 옮기면 어느 부분이 틀렸는지 찾는 데 더 오래 걸립니다.

⚠️ 파이프라인이 자주 깨지는 세 곳

• 소스 쪽 열 이름이 바뀔 때: 광고 플랫폼이 보고서 열 이름을 바꾸거나 항목을 하나 더하면, 그 이름을 그대로 찾던 규칙이 빈값을 돌려줍니다. 열 이름을 코드 안에 흩어 두지 않고 한곳에 모아 두면 고칠 곳이 한 군데로 줄어듭니다
• 기간이 겹쳐 중복으로 들어갈 때: 어제치를 다시 받아 오면서 이미 들어간 행을 지우지 않으면 매출이 두 배로 잡힙니다. 날짜와 캠페인 같은 값을 묶어 같은 행인지 판단하고, 다시 넣을 때는 그 기간을 지우고 새로 넣는 방식을 씁니다
• 실패했는데 아무도 모를 때: 가장 위험한 경우입니다. 어제 작업이 멈췄는데 화면에는 그제까지 숫자가 그대로 떠 있으면 값이 줄어든 것으로 보고 판단을 내리게 됩니다. 성공과 실패를 모두 알리도록 알림을 걸어 두는 편이 안전합니다.

❓ 자주 묻는 질문

ETL과 데이터 파이프라인은 같은 말인가요?

거의 같은 뜻으로 쓰이지만 범위가 조금 다릅니다. ETL은 꺼내고 바꾸고 넣는 세 단계를 가리키고, 데이터 파이프라인은 그 세 단계에 실행 일정과 실패 처리, 알림까지 붙여 돌아가게 만든 전체를 가리킵니다. 회의에서는 구분 없이 섞여 쓰이는 편입니다.

데이터 웨어하우스 없이 구글 시트만 써도 되나요?

원본이 한두 곳이고 행 수가 수만 건 안쪽이면 시트로도 충분합니다. 시트가 버거워지는 신호는 용량보다 먼저 나타나는데, 파일을 열 때마다 수식이 다시 계산되어 느려지거나 같은 지표가 파일마다 다르게 나오기 시작하면 그때가 옮길 때입니다.

마케터가 직접 ETL을 만들 수 있나요?

간단한 것은 코드 없이도 만듭니다. 광고 플랫폼이 제공하는 시트 연동 부가기능이나 예약 내보내기로 꺼내기와 넣기를 걸어 두고, 바꾸기만 시트 함수로 처리하는 방식이 흔합니다. 소스가 늘고 정리 규칙이 복잡해지면 그때 개발 담당과 범위를 나눕니다.

GA4를 BigQuery로 내보내면 바로 분석되나요?

내보내기를 켜면 원본 이벤트 데이터가 하루 단위로 쌓이는데, 이 상태는 레이크에 가깝습니다. 이벤트 하나가 여러 줄로 펼쳐진 모양이라 리포트로 쓰려면 세션과 캠페인 기준으로 다시 묶는 정리가 필요합니다. 켜 두는 것과 쓸 수 있게 만드는 것은 별개의 일입니다.

📋 3줄 요약

1. ETL은 흩어진 곳에서 데이터를 꺼내고 쓸 수 있는 모양으로 바꾸고 모아 두는 곳에 넣는 세 단계를 가리키는 말입니다.

2. 세 단계 가운데 바꾸기는 사람이 정한 약속을 옮겨 둔 부분이라 일이 가장 많고 가장 자주 깨집니다.

3. 데이터 웨어하우스와 레이크와 마트는 서로 경쟁하는 도구가 아니라 원본과 정리본과 사용본으로 층이 다릅니다.