[데벨챌 4기] 그로스 해킹 - 양승화 5장~6장 리뷰

5장에서는 그로스 해킹 시작부터, 성장 실험까지 라는 주제로, 회사에서 그로스 해킹을 시작하기 위해 할 수 있는 액션들을 소개하고, AB 테스트에 대한 개념, 분석 방법과 유의할 점과 주의 사항에 대해 소개한다.

 

5장 : 그로스 해킹 시작부터, 실험까지

5-1. 그로스 해킹 시작하기

그로스 해킹은 - 핵심 지표 정의, 가설 / 실험 진행, 데이터 분석 과정을 반복하며

조직은 배움 축적을, 서비스는 성장할 수 있지만 이를 위해서는 환경과 문화가 제대로 구축되어야 함을 배울 수 있었다.

 

그로스 해킹 시작을 위한 단계

1단계 : 데이터를 활용할 수 있는 업무 환경 만들기

2단계 : 데이터 파이프라인 구축

3단계 : 데이터 활용을 위한 역량과 문화 갖추기

4단계 : 성장 실험

 

특히, 이론적인 내용 뿐만 아니라, 마이리얼트립에서 직접 그로스 팀이라는 조직을 신설하고, 데이터 기반으로 업무를 진행하는 프로세스와 역량을 갖추기 위해 시도해온 경험들을 읽어볼 수 있어 좋았다.

 

5-2. 데이터 파이프라인 만들기

데이터 파이프라인 또한 개발에 앞서 설계가 필요하며, 고려해야 할 질문들이 존재한다.

• 어떤 데이터를 쌓을 것인지
• 어떤 형태로 쌓을 것인지
• 어디에 쌓을 것인지
• 어떻게 꺼내서 볼 것인지

또한 데이터 파이프라인을 설계하는 작업도 데이터 엔지니어가 혼자 결정하는 것이 아닌, 데이터 사용자 [분석가, 마케터, 경영진]에 따라서 혹은 요구사항에 따라 달라질 수 있다는 점을 배웠다.

 

5-4. 성장 실험 : A/B 테스트

사실 가장 흥미롭게 읽었던 챕터는 A/B 테스트 관련 내용이었다. 통계학을 공부하면서 자주 접했던 개념이기도 하고, 데이터 분석가와 밀접하게 관련된 개념이기도 해서, 재미있었던 것 같다.

A/B 테스트란 

• 두 개의 변형 A와 B를 사용하는 종합 대조 실험 (controlled experiment)
• 통계적 가설 검정, 2-표본 가설 점정의 한 형태
• 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떤 옵션이 더 효과적인지를 검증하는 과정

A/B 테스트의 정의에 이어, 이를 실행하기 위해 설계해야 할 항목들에 대해 소개했다.

• 가설
• 실험 집단 / 통제 집단
• 독립 변수 
• 종속 변수
• 통제 변수
• 샘플 크기
• 실험 기간

A/B 테스트 설계 시 유의 사항

• 실험 집단과 통계 집단 샘플링
• 순차 테스트와 동시 테스트
• 샘플 크기

실험 집단과 통계 집단 샘플링

A/B 테스트에서 회원 번호, 결제 번호 등을 홀/짝으로 나눈 것으로 실험 집단을 구분 짓는 것이 랜덤하게 구분했다고 오해하는 가장 많은 경우 → 단순 홀/짝 구분은 랜덤 샘플링이 아님

테스트하고 싶은 독립 변수 외에 종속 변수에 영향을 미치는 나머지 요소들을 얼마나 잘 식별하고 통제하느냐가 A/B 테스트를 설계하는 과정에서 대단히 중요하다는 점을 꼭 기억하자. - 198p

A/B 테스트를 통계학 관점에서만 소개한다면 내용이 조금은 어렵게 느껴질 수도 있었을 것 같은데 다양한 예시와 개념에 따라 구체적인 설명이 함께 있어, 이해하기 훨씬 수월했던 것 같다. A/B 에서 고려해야 할 것들과 유의사항, 그리고 진행하는 과정에서 발생할 수 있는 실수들 - 주의사항에 대해 함께 설명되어 재미있게 읽을 수 있었다. 

 

A/B 테스트의 주의할 점 중, 과거 A/B 테스트의 경험을 지나체게 신뢰하는 것이 있었는데, "한번 진행된 A/B 테스트의 결과가 만고 불변의 진리라고 믿어서는 안된다. 어제의 최적화는 오늘의 레거시일 수도 있다는 점을 기억하자." 라는 문장이 기억에 남는다.

 

A/B 테스트를 과거에 진행했다고 해서 그 결과를 계속 유효하다고 보는 것이 아닌, 결과가 달라질 수 있음에 유의하고 A/B 테스트 또한 반복해서 결과를 확인해야 함을 배웠다. 이러한 반복적인 수행이 진정한 그로스 해킹의 관점의 분석 활용 방식인것 같다.