그로스 해킹(2)

04장 지표¶

4.1 지표 활용하기¶

• 그로스 해킹 : 목표 지표를 선정하고 그 지표를 개선하기 위해 진행하는 일련의 활동

• 지표는 속성에 따라 스톡(Stock) 형태의 지표와 플로(Flow) 형태의 지표로 분류

• 스톡(Stock) : 저량 지표, 특정 시점의 스냅숏에 해당하는 지표(누적 가입자 수, 누적 거래액 등)

• 플로(Flow) : 유량 지표, 시작과 끝에 대한 시간 범위 존재, 일정 시간 동안의 변화량(1월1일 가입자 수, 일 평균 수량 등)

• 일반적으로 플로 형태의 지표가 스독 지표에 비해 더 많은 정보 가짐

• 지표 속성에 따라 지표를 모니터링하는 방식이나 대시보드 설계 등이 전혀 달라진다.

• 허무 지표(Vanity metric) : 행동을 이끌어내지 못하는 의미 없는 지표, 겉으로는 많은 일을 한 것처럼 포장 가능(누적 다운로드, 누적 방문자 등)

• 지표 개선을 위한 행동이 부분 최적화가 아닌 전체 관점에서의 최적화에 초점을 맞춰야 한다.

• 심슨 패러독스 : 쪼개진 데이터에서 성립하는 관계가 합쳐진 데이터에서는 반대로 나타나는 현상

• 분석 대상 데이터 세트에 아웃라이어가 있거나 분포를 알 수 없는 경우라면 중앙값을 대푯값으로 사용하는 것을 고려해 볼 피요가 있다.

• 데이터 시각화는 해당 데이터셋이 어떻게 구성돼 있는지 확인하는 탐색적 분석 과정에서 유용하게 활용

• 분석 목표에 맞는 데이터를 신중하게 수집하고 가공하는 단계가 잘 진행되지 않으면 그다듬에 진행하는 어떤 고도화된 알고리즘이나 분석 방법도 의미가 없다.

4.2 OMTM(One Metric That Matters)¶

• 지표간 우선순위가 명확하지 않으면 서비스의 방향성을 정할 수 없다.

• OMTM : 북극성 지표, OMTM의 가치는 구성원들이 바라보는 방향성을 일치시키고 자원을 집중하는 데서 나온다.

• 매출을 OMTM으로 정하는 것의 부적절한 이유 : 매출은 서비스의 핵심 가치가 사용자에게 잘 전달됐는지와 비례해서 증가하지 않는다, 매출은 완벽한 후행지표

○ OMTM vs KPI

• OMTM은 성장을 목표로 하는 지표(결과뿐 아니라 과정도 큰 의미 존재), KPI(Key Performance Index)는 평가를 위해 활용하는 지표

• OMTM은 모두가 공유하는 하나의 목표, KPI는 팀이나 부서별로 서로 다르게 설정

• KPI는 성과 측정을 위한 지표로 한번 정해지면 평가할 때까지는 거의 바뀌지 않는다.

• 하지만 OMTM은 성장을 위한 목표로 주변 환경이나 서비스 성장 속도에 따라 유연한 대응이 가능한 지표

• KPI 달성과 서비스 성장은 연결돼 있지 않지만 OMTM은 그 자체로 서비스가 잘 운영되고 있다고 알려주는 중요한 지표

○ OMTM vs OKR

• OKR(Objectives & Key Results)dms 3-5개 목표와 목표당 3-5개 정도의 핵심 결과로 구성

• OKR은 도전적인 목표, 전사적인 정렬(각 부서가 독자적으로 OKR을 수립하는 것이 아닌 전사가 나아가야할 방향을 일치하도록 사업부서의 OKR과 개인의OKR 설정), 투명한 공유를 강조

• OMTM과 OKR 모두 도전적인 소수의 목표에 집중할 것을 권장, 구성원들이 모두 같은 그림을 그리는 것의 중요성을 강조, 경쟁이 아닌 협력의 필요성을 이야기하고 구성원 개개인의 자율성과 투명한 공유 환경을 중요하게 여긴다는 점에서 굉장히 비슷하다.

---

05장 그로스 해킹 시작부터, 성장 실험까지¶

5.1 그로스 해킹 시작하기¶

• 데이터를 기반으로 업무를 진행하는 프로세스와 역량을 갖추고 있지 않은 회사는 그로스 해킹을 한다는 것은 불가능하다.

• 데이터 분석을 하기 위해서는 ETL(Extract, Transform, Load)이라는 프로세스가 선행 필요(ELT은 데이터를 수집하고, 분석하기 편한 형태로 변환하고, 원하는 데이터베이스에 최종 적재하는 일련의 과정)

5.2 데이터 파이프라인 만들기¶

• 데이터 파이프라인 : 데이터를 쌓고 필요한 형태로 가공하고, 추출하고, 의사결정에 활용할 수 있는 프로세스를 만드는 일

• 행동 로그 설계의 핵심은 이벤트의 속성을 어떤 수준으로 함께 날길 것인가를 정의하는 부분

• 발생하는 모든 이벤트를 기록해야 한다는 생각을 버리고 분석에 필요한 이벤트를 전확하게 적재하는 것이 핵심

5.3 데이터 활용을 위한 역량과 문화 갖추기¶

5.4 성장 실험 : A/B 테스트¶

• A/B 테스트란 두 가지 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떤 옵션이 더 효과적인지를 검증하는 과정

• 가설 : A/B 테스트가 의미 있으려면 실험을 통해 무엇을 확인하고 싶은지가 명확해야 한다.

• 실험 집단/통제 집단 : 전체 모수 중 실험 조건에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것인지 정의, 통제 변수 관리와 엄격한 기준에 따른 샘플링 필요

• 독립 변수 : 인과 관계에서 원인이 되는 변수

• 종속 변수 : 인과 관계에서 결과가 되는 변수, 실험 설계 과정에서는 종속 변수의 현재 수준을 측정하고 실험을 통해 어느 정도의 변화를 기대하는지 정의하는 것이 필요

• 통제 변수 : 실헙 집단/통제 집단 모두에게 동등한 조건을 가져야 하는 변수

• 샘플 크기 : 가설 검증에 필요한 실험 참가자의 숫자

• 실험 기간 : 가설 검증을 위한 데이터 수집하는 데 필요한 기간, 특별한 이유가 없다면 진행 중인 실험을 임의로 중단하고 중간에 결론을 내려서는 안 된다.

• 랜덤 추출은 통제 변수가 잘 관리된 것을 전제로 몬든 표본이 동일한 확률을 가진 상태에서 뽑는 무작위 추출로 통제 변수 관리가 잘 되지 않은 상태라면 랜덤 추출이라는 말을 써서는 안 된다.

• 순차 테스트 : A 조건으로 일정 기간 테스트를 한 다음, B 조건으로 바꿔서 연이어 테스트를 진행 후 두 가지 조건의 결과를 비교, 통제 변수 관리 불가, 실험 기간이 달라짐에 따라 기대하지 못한 외부 효과 개입 가능(A-B-A 테스트와 같이 시차를 두고 통제 조건을 재차 테스트해 보는 것으로 보완 가능)

• 샘플 크기에 대한 고려 없이 실험 진행하면 엿보기 & 조기 중지의 함정에 빠질 수 있다.

• p값은 귀무가설 하에서 관찰된 검정통계량만큼의 극단적인 값이 관찰될 확률을 의미

○ A/B 테스트 진행 시 주의사항

1. 무가설 : 어떤 가설을 검증하고 싶은지를 명확히 정하지 않고, 막연한 아이디어에서 출발하는 경우 결과가 거의 없다.

2. 통제 변수 관리 실패 : 통제 변수를 식별하지 못했거나, 통제 변수를 잘 관리하지 못하는 것

3. 단순 평균 비교 : A/B 테스트에 따른 종속 변수를 단순 평균 비교하면 우연에 의한 결과와 실제 효과를 혼동할 수 있다. 유의수준, 효과 크기 등 종합적으로 고려해서 판단해야 한다.

4. 엿보기+조기 중지 : 실험을 진행하는 동안 계속 p값의 변화를 살펴보고 있다가 p값이 0.05 이하로 내려가는 시점에 갑자기 실험을 중단해 버리는 것, p값이 안정화되지 않은 시점에서 테스트를 조기 중지하면 실제로는 없는 효과를 있는 것처럼 판단할 수 있다.

5. 시간의 흐름에 따른 차이를 살펴보지 않는 것 : 실험 과정을 시간의 흐름에 따라 꼼꼼하게 재확인하는 것이 필요

6. 과거의 A/B 테스트 경험을 지나치게 신뢰하는 것 : 한번 진행된 결과가 만고불변의 진리라고 믿어서는 안 된다.

7. 국지적 최적화의 함정 : A/B 테스트는 A와 B라는 조건 중 B가 더 좋다는 점을 알려줄 수 있지만 B가 모든 경우에서 가장 좋은 최적의 조건이라는 것을 말하지 않는다. A/B 테스트는 전역 최적화가 아닌 국지적 최적화를 찾는 실험

---

06장 그로스 조직과 업무 프로세스¶

6.1 그로스 조직 만들기¶

• 그로스 해킹 : 다양한 직군의 사람들이 각자의 전문성을 발휘하면서 협업하는 프로젝트성 업무

• 그로스 해킹 팀의 가장 장요한 목표는 핵심 지표를 개선하는 것이다. 다음으로 그로스 조직은 회사에 성장 DNA를 전파하는 조직이 돼야 한다는 것이다.

• 그로스 직군에서 요구되는 업무 프로세스와 역량은 지표, 데이터, 측정, 가설, 검증, 실험, 스프린트, 반복 등의 용어로 설명할 수 있다.

1. 크로스펑셔널 팀 구조 : 각 직군별 담당자들이 모여서 그로스 해킹을 하는 목적 조직 구성, 그로스 조직의 리포팅 라인이 모호

2. 독립 팀 구조 : 독립된 그로스 조직을 새롭게 만드는 형태, 그로스 입무에 집중할 수 있는 장점, 전사적인 커뮤니케이션 복잡도가 커질 수 있다.

3. 복합 구조 : 크로스펑셔널 팀 구조와 독립 팀 구조의 장단점을 절충한 형태, 구성원 개개인의 리소스 관리가 까다롭다는 단점

6.2 그로스 조직이 일하는 방식¶

• 데이터를 기반으로 가설을 세우고 ⇒ 실험을 바탕으로 이를 검증하고 ⇒ 배움을 축적하는 과정을 빠르게 반복한다.

• 그로스 조직이 일하는 방식에서 가장 핵심은 프로세스 전반에 걸쳐 목표와 실행이 서로 영향을 주고받아야 한다는 점이다.

○ 목표 지표를 정의하고 측정하기

• 목표는 정성적, 개념적 언어로 표현 가능하지만 지표는 명확하게 측정 가능한 수준으로 구체화해야한다.

○ 아이디에이션과 데이터 분석

• 아이디에이션은 진행한 실험에 대한 아이디어를 수집하고 구체화하는 과정, 특정 시기에만 하는 게 아니라 스프린트의 전체 기간 동안 지속적으로 진행해야 한다.

• 좋은 아이디어는 여러 데이터와 시행착오를 거쳐서 조금씩 다듬어가는 과정을 통해 만들어진다.

○ 플래닝

• 아이디에이션은 다양한 아이디어를 생각하고 구체화하면서 아이디어 공급로를 채우는 것이라면, 플래닝은 아이디어 공급로에 있는 아이디어의 우선순위를 정의하고 실험 대상이 되는 아이디어를 선별하는 프로세스를 의미

• ICE(Impact, Confidence, Ease) 프레임워크를 사용하여 아이디어의 우선 순위를 결정

• 많은 사람들의 리소스가 걸려있는 실험에 대한 의사결정은 책임 소재가 불분명한 다수의 의견을 따르기보다는 책이 있는 1인이 결정하는 것이 바람직하다.

○ 실험 준비, 진행, 분석

• 그로스 조직 리드가 실험에 대한 의사결정을 하거나 각 실험별로 책임자를 정한 후 의사결정을 내리는 것이 좋다.

○ 회고

• 좋았던 점 혹은 나빴던 점은 구체적으로 적어 생산적인 피드백이 나올 수 있도록한다.

6.3 성장을 위한 문화¶

○ 그로스는 톱-다운 : CEO를 비롯한 경영진으로부터 성장 실험을 할 수 있는 리소스와 자원을 충분히 확보하고, 조직 외부의 불합리한 간섭으로부터 조직원을 보호할 수 있어야 한다.

○ 제품 개발과 성장의 조화 : 그로스 해킹은 기존의 제품 개발 프로세스를 보완하고 필요한 부분을 검증하면서 디테일을 챙기도록 해 주는 역할을 한다. 즉, 제품 개발과 그로스 해킹 및 성장 실험은 서로 대체제가 아니라 보완재로 활용돼야 한다.

○ 데이터 접근성 높이기 : 데이터 접근 권한을 폭넓게 열어주는 것은 전사적인 데이터 리터러시를 크게 높이는 효과

○ 협업 문화 만들기 : 그로스 조직과 기존 사업부서 간 인풋과 아웃풋을 엄청나게 주고받는 구조를 만들어야한다.

○ 그로스 해킹은 언제부터 하면 될까? : 그로스 해킹은 어떤 조건이 갖춰져야만 시작할 수 있는 것이 아니다. 리더의 의지와 구성원들의 공감대가 형성돼 있고 성장의 대상이 되는 서비스가 어느 정도 모습을 갖추고 있다면 바로 그로스 해킹을 시작해야할 시기이다.

In [1]:

from IPython.core.display import display, HTML
display(HTML("<style>.container {width:80% !important;}</style>"))

C:\Users\20229069\AppData\Local\Temp\ipykernel_14116\529043151.py:1: DeprecationWarning: Importing display from IPython.core.display is deprecated since IPython 7.14, please import from IPython display
  from IPython.core.display import display, HTML