SlideShare uma empresa Scribd logo
1 de 51
Baixar para ler offline
그로스, 만병통치약에 대한 허와 실
눔코리아 그로스팀 매니저 양욱진
noom
모바일 헬스케어 플랫폼
- 라이프 로깅 + 휴먼 코칭 + 커리큘럼
- Most scalable human coaching platform
미션: “많은 사람들이 생활습관 변화로 건강한 삶을 살 수 있게 하자”
- 많은 사람들이 → 확장 가능하고, 가격 경쟁력을 갖춰야
- 체중관리에서 시작, 2021년에는 중증관리 영역으로 확장을 목표로
10년 된 스타트업 / 뉴욕, 서울, 도쿄 +
양욱진
3초 송일국, 새 신랑, 취미는 클라이밍
화학공학 전공, 엔젤투자사 인턴, 프로그래밍 시작
대기업에서 시작해 스타트업으로
눔에서 값진 30개월
오늘 할 이야기는요
힘든 시기를 거쳐가며 눔에서 그로스* 를 했습니다.
- 그로스 정의 A: 데이터 기반으로 Funnel 을 꾸준히 개선해서 회사 매출과 수익성을 개선하는 일
- 그로스 정의 B: 1 에서 100 을 만들기 위해 A/B 테스트를 쉬지 않고 계속 하는 것
- 그로스팀의 역할: 회사의 성장에서 병목이 되는 부분을 해결하는 특공대, 조직에 그로스 마인드셋 전파
시행착오를 겪으며 배운 그로스에 대한 생각을 나누려고 합니다.
발표 마지막에 이 슬라이드 주소를 공유하겠습니다.
오늘 하는 이야기를 어느 정도 신뢰해주셔도 좋습니다. 왜냐하면,
눔은 최근 2년동안 엄청난 성장을 이뤘고,
지금도 빠르게 성장하고 있습니다.
매출만 올리는 껍데기 뿐인 성장이 아니었습니다.
Unit economics 기반으로 성장세와 수익성을
밸런싱하고 있습니다.
앞으로 더 많이 성장할 수 있다는 것을
Sequoia capital 도 인정했습니다.
이 성장의 비결은 그로스 중심의 문화입니다.
전사적으로 매일 1개 이상의 A/B 테스트가
이뤄지고 있습니다.
오늘은 이 그로스에 대해서, “허와 실 자문자답”
형태로 이야기를 풀어보고자 합니다.
눔의 활성 유료 사용자수
허와 실 1
이제 막 prototype 이 나왔어요.
이제 A/B 테스트를 많이 하면 성공하는 건가요?
허와 실 1. 이제 막 prototype 이 나왔어요.
이제 A/B 테스트를 많이 하면 성공하는 건가요?
● 그로스 방법론은 Product Market Fit* 을 찾았을 경우에만 유효합니다.
○ 그게 아니면 “밑 빠진 독에 물 붓기”가 될 수 있습니다.
● 그로스는 1 에서 100 을 만드는 과정이고, 0 에서 1 을 만드는 과정은 초기 멤버들에게 달렸습니다.
● 눔은 체중감량 시장에서 1 에서 10 까지 왔고, 10 에서 100 으로의 도전중입니다.
○ 100 을 달성하면, 중증관리 시장으로 새로운 도전이 시작됩니다.
Product Fit = 우리의 솔루션이 문제를 정말 해결해주는가
Market Fit = 이런 솔루션에 대해 돈을 지불할 용의가 있는 사람이 충분히 많은가
허와 실 2
회원 가입 버튼을 파란색에서 빨간색으로
바꿨더니 전환율이 50% 개선됐다는 블로그
포스팅을 봤어요. 우리 서비스에서도 빨간색
버튼으로 바꿀까요?
허와 실 2. 회원 가입 버튼을 파란색에서 빨간색으로 바꿨더니
전환율이 50% 개선됐다는 블로그 포스팅을 봤어요. 우리
서비스에서도 빨간색 버튼으로 바꿀까요?
● 아니요, 재현될 확률이 낮습니다.
○ 풀려는 문제가 다르고, 타겟 사용자(문화, 나라, 연령대, 성별)가 다르기 때문입니다.
● 눔에서는 한국에서 잘 되고 미국 및 일본에서 안 된 경우가 꽤 흔히 있습니다.
● 저희 팀에서는 이 재현될 확률(Confidence)을 정량화에서 우선순위를 정하는 3가지 척도(ICE)중에
하나로 쓰고 있습니다.
○ 다른 Pod 에서 잘 됐다 → 10점
○ 다른 지사에서 잘 됐다 → 9점
○ 다른 Pod 또는 지사에서 그럭저럭 잘 됐다 → 8점
○ 유사 서비스에서 하고 있다 → 7점
○ 블로그에서 잘된 사례를 봤다 → 5, 6점
허와 실 3
10년 전에도 그로스 해킹이라는 단어를 들어봤던
것 같은데, 왜 요즘 와서 다시 핫해지는 건가요?
허와 실 3. 10년 전에도 그로스 해킹이라는 단어를 들어봤던 것
같은데, 왜 요즘 와서 다시 핫해지는 건가요?
● 10년 전에 핫했던 그로스 해킹은 사례 기반이었습니다.
○ 예: "Dropbox / 친구 초대하면 둘 모두에게 추가 용량 제공"
● 하지만 이런 사례 기반의 그로스는 영속성이 없었습니다.
○ 데이터가 아닌 직관으로 결정을 내리는 경우가 많았고, 직관으로 내리는 결정은 치명적인
실수들을 낳았습니다. 또한 판단을 내리고 실험을 런칭할 수 있는 도구들도 부족했습니다.
● 지금의 그로스는 문화에서 출발합니다.
○ 조직구조부터 시작해 일하는 방법론도 다릅니다.
○ 데이터를 쉽게 확인하고, 실험을 빠르게 런칭할 수 있도록 돕는 툴도 많이 생겼습니다.
● 대단한 성과를 이뤄낸 기업들(Facebook, Uber 등)은 그로스 조직을 별도로 두고 있고, 이를
리드하는 사람의 힘이 큽니다.
허와 실 4
A/B 테스트 계속 성공하다보면 수직 성장해야
하는 것 아닌가요? 이론적으로는 10% 개선
50번만 해도 117배 성장이에요.
허와 실 4. A/B 테스트 계속 성공하다보면 수직성장해야 하는 것
아닌가요? 이론적으로는 10% 개선 50번만 해도 117배 성장이에요.
● (그랬으면 좋겠지만) 그렇지 않습니다.
○ 왜냐하면 특정 돈을 지불하고 우리 서비스를 사용할 사람들은 시장에 유한하기 때문입니다.
○ 남은 사람들을 데려오는 건 점점 더 힘들어집니다.
● 때문에 Product 개선도 동시에 이뤄져야 합니다.
○ 그래야 어렵게 모셔온 고객들이 오랫동안 잔존합니다. (Lifetime Value 상승)
○ 기능이 개선되면 잠재 고객층도 확장됩니다.
● 또한, 시간이 지날수록 (최적화가 많이 된) 대조군을 이기기 힘들어집니다.
○ 갈수록 실패하는 실험이 더 많아집니다. 이 경우, A/B 테스트는 크리티컬한 제2종 오류(틀린데
맞았다고 하는 경우)를 예방합니다.
○ 20% 이상의 개선이 이뤄지는 실험의 빈도는 시간이 지날수록 줄어듭니다.
허와 실 5
어떤 그로스팀은 마케팅을 하고 있고,
어떤 그로스팀은 native app 을 만지고 있고...
색깔이 너무 없는 것 아닌가요?
허와 실 5. 어떤 그로스팀은 마케팅을 하고 있고, 어떤 그로스팀은
native app 을 만지고 있고… 색깔이 너무 없는 것 아닌가요?
● 그로스는 크게 2가지로 분류됩니다: Marketing-driven growth, Product-driven growth
○ 그로스 조직이 독자적으로 없으면, 마케팅 조직 또는 프로덕트 조직에 속하기도 합니다.
● 서비스 초기에는 대부분 Marketing-driven growth 에 초점을 맞춥니다.
○ 일단 꾸준한 유입이 있어야 뒷단에서도 실험도 하고, 데이터도 쌓이기 때문이죠.
○ Contents/Performance marketing, Buyflow 등의 Acquisition 영역이 속합니다.
● Marketing-driven growth 에서 최적화가 많이 되면 Product-driven growth 로 넘어갑니다.
○ 지속 가능하려면 Product 가 좋아야 하니깐요. (최고의 Product = 최고의 Marketing)
○ 초기 경험과 잔존율을 관리하는 Activation, Retention 영역이 속합니다.
● 눔은 Marketing-driven growth 에서 시작해, 이제는 Product-driven growth 를 함께 하고 있습니다.
○ 지금은 그로스팀이 아닌 팀에서도 A/B 테스트를 하며 지표를 개선하고 있습니다.
허와 실 6
A/B 테스트:
숫자에 집착하는 통계 놀이 아닌가요?
허와 실 6. A/B 테스트: 숫자에 집착하는 통계 놀이 아닌가요?
● 그로스 초기에는 '과학 실험'을 하고 있다고 착각할 때가 많았습니다.
○ p-value, 통계적 유의미성, 실험에 들어가는 샘플 크기, 실험 알고리즘 등에 크게 집착했죠.
○ 논문 리서치가 도움 안된 건 아니지만, 적당한 선이 있는 것 같습니다. 경험이 가장 값졌고요.
● 회사에서 제일 중요한 것은 매출의 성장이고, 이를 위해 '정확성과 속도 사이 밸런싱’이 중요합니다.
○ 한달에 통계적 유의미성 99% 짜리 실험 1개 돌리는 것보다,
한달에 통계적 유의미성 95% 짜리 실험 4개 돌리는게 낫습니다.
● 한달에 A/B 테스트 10개 하는 회사와 0개하는 회사가 있을 때, 1년 뒤가 어떨지는 예측하기
쉽습니다.
● 눔은 전사적으로 하루 1개 이상의 A/B 테스트(한국/미국/일본 등, AARRR)가 이뤄지고 있습니다.
○ 이것이 24개월간 120배 이상 성장한 원동력이었습니다.
허와 실 7
그로스하면서 어떤 실수를 하나요?
한계를 느낄 때도 있나요?
허와 실 7. 그로스하면서 어떤 실수를 하나요?
한계를 느낄 때도 있나요?
● 실수 1: 데이터만 보다가 미션/브랜딩과 상충하는 일을 하게 될 때
○ 예: “눔으로 단기간에 급진적으로 살을 뺄 수가 있어요”
● 실수 2: 고객이 중요하게 생각하는 가치와, 우리의 셀링 메시지가 다를 때
○ 예: 들어본 적 있는 사용자, 갓 결제한 사용자, 충성 사용자가 이야기하는 가치가 모두 다르다면?
● 실수 3: Cohort bias - 특정 타겟에만 최적화가 되서 사용자 확장이 힘들어질 때
○ 예: 최적화 끝에 여성비율이 95% 까지 달해서 고민이었던 Pinterest
● 한계 1: 먼 미래를 예측해야 할 때
○ 예: 정기결제에 의해 4개월 뒤에 나올 결과를 예측하기 → 데이터 확보하면 다음은 비교적 쉬워짐
● 한계 2: 성장이 Log 함수를 그릴 때 (성장은 하고 있지만, 가속도가 점점 줄어들 때)
○ Brand awareness 에 투자가 필요한 시점입니다.
○ 눔은 미국에서 이 단계를 훌륭히 해냈고, 한국도 2019년 말부터 공격적인 투자할 계획입니다.
허와 실 8
제가 있는 회사에서도 그로스를 시작해보고 싶어요.
뭐가 제일 중요할까요?
허와 실 8. 제가 있는 회사에서도 그로스를 시작해보고 싶어요.
뭐가 제일 중요할까요?
● (Product Market Fit 을 찾으셨고, 훌륭한 팀원들이 있다는 가정 하에)
제일 중요한 것은 C-level 의 전폭적이고 지속적인 지원이라고 생각합니다.
랩에 들어가고 나서야 교수님이 “우리 랩은 과제 안 따와도 될 정도로 연구비 넉넉하니깐, 연구에만 집중할 수 있어”가 얼마나 중요한
이야기인지 깨닫는 것에 비유할 수 있습니다.
● 그로스에 의해 지표가 tipping 하는데까지는 꽤 많은 시간이 걸립니다. 눔은 1년 가까이 걸렸습니다.
지표로 보여주지 않는 이상, 조직의 신뢰를 받기 힘듭니다. 신뢰가 없으면 그로스 마인드셋도
없습니다.
● 눔의 C-level 은 전폭적으로 그로스에 대해 인력과 예산을 지원했고, 직접 리드했습니다.
○ Growth lead 는 운영이 안정화될 때까지 인사, 예산을 확보할 힘이 있어야 합니다.
● 만약 T/F 를 통해 3개월 안에 성과를 만들어서 지속할지 여부를 정해야 한다면, 굉장히 힘든 일이 될
것 같습니다.
눔과 함께 성장할 분을 찾고 있습니다 (1 / 2)
무엇이 좋나요?
● 많은 사람들을 건강하게 만드는 비전에서 나오는 행복
● 앞으로 더 큰 성장 가능성, 중증관리 영역까지 펼쳐진 길
● 한국에서의 기회: 10x 성장, 보험사/제약사와의 대형딜
● 개인과 회사가 함께 성장할 수 있는 환경, 경영진들의 전폭적인 지원
● 좋은 사람들과 문화, 글로벌 협업 환경
● 그로스 포지션의 늘어나는 수요 → 커리어 전환 기회
● 좋은 대우와 복지, 생산성을 극대화해주는 근무 환경과 문화
눔과 함께 성장할 분을 찾고 있습니다 (2 / 2)
Growth Engineer
● 실험 환경(샌드박스) 관리
● 대부분 Web Front-end
● 글로벌 협업이 많음
● 풍부한 Git, Javascript 경험
(React.js 환영)
● 더 궁금하신가요? (클릭)
Growth Marketer
● 디지털 광고 운영 및 관리
● 광고 효과 분석 및 보고
● 예산 집행 관리 경험
● 퍼널 개선 및 최적화 경험
● 더 궁금하신가요? (클릭)
생각나는 지인이 있으시다면 추천해주세요
추천한 지인이 지원해서 채용될 경우, 100만원을 드립니다!
오늘 자료는 여기에서 확인하실 수 있습니다.
bit.ly/noomkr_growth
62개의 사전 질문에 대한 답변을 마지막 슬라이드에 추가해뒀습니다.
추가로 준비한 주제
업무 우선순위 정하는 기준 - ICE Growth 팀 구성과 인재상 AARRR
A/B 테스트와 관련된 잡다한 이야기 MAB 알고리즘 Growth engineering tools
업무 우선순위 정하는 기준 - ICE
Impact
● 지표 개선에 얼마나 영향을 주는가
● 전환율이 나쁜 구간일수록 높은 점수
● 커버리지가 높을수록 높은 점수
● 우리 팀의 기준 (10점 만점)
○ 20% 개선 → 10점
○ 10% 개선 → 5점
○ 5% 개선 → 3점
Ease
● 실험 준비 및 운영에 얼마나 시간이
소요되는가
● 2명이 4시간씩 = 8시간
● 우리 팀의 기준 (10점 만점)
○ 4시간 미만 → 10점
○ 8시간 → 9점
○ 2일 → 8점
○ 5일 → 7점
○ 2주일 → 5점
Confidence
● 얼마나 확신할 수 있는가
● 풀려는 문제가 다르고, 타겟 사용자
(문화, 나라, 연령대, 성별)가
다르면 재현될 확률 낮음
● 우리 팀의 기준 (10점 만점)
○ 다른 Pod 에서 잘 됐다 → 10점
○ 다른 지사에서 잘 됐다 → 9점
○ 다른 Pod 또는 지사에서 그럭저럭
잘 됐다 → 8점
○ 유사 서비스에서 한다 → 7점
○ 블로그에서 봤다 → 5, 6점 Impact, Confidence, Ease 총합이
높은 가설부터 실험으로 런칭합니다
Growth 팀 구성과 인재상
● 참고: Spotify 의 Squad
● Product Manager
● Engineer
● (Performance, Contents)
Marketer
● Data scientist
● Designer
● 비즈니스 임팩트로 동기부여 받는 사람
스타트업에서 시행착오를 겪은 경험이 있으면 좋습니다
● Optimized for fast learning
Build-Measure-Learn 사이클에 익숙하면 좋습니다
● 함께 일하고 싶은 사람
다른 팀과의 협업이 많기 때문입니다
● 정량적 분석에 집착하지 않고 정성적 분석도 하는 사람
● 수시로 가설을 세우고 예측을 하는 사람
Activation
● 온보딩, 초기 경험 개선
● 체험 취소, 7일 환불 줄이기
Retention
● 이것이 보장돼야 Acquisition, Activation 에서 실험 가능
● 정기결제 비율, 재결제 성공율
Revenue
● 기존 상품의 가격 올리기
● 업셀 상품 판매, 비싼 상품의 판매량 비율 늘리기
Referral
● 이게 잘되기 시작하면 Paid channel 비중 감소
● 최종 정착지
Acquisition
● Paid channel, Non-paid channel
● Creatives / 광고 운영 / 채널 확장 / Landing page
A/B 테스트와 관련된 잡다한 이야기
● 가지 치기를 통한 최적화 vs. 유지보수 비용 밸런싱
● Arm 당 최소 sample size, 실험의 최소 기간
● 과거 실험들 사이에 영향이 있는지 알아보고 싶다면
● 배움을 극대화하고, 속도를 올리려면 - Bulk update 이후, 후속 실험으로 Minor update
● A/B 테스트가 정확한지 확인해보고 싶을 때 - A/A 테스트
● 실험 전환 목표는 항상 동일하게?
● Primary metric 은 감소했지만, Secondary metric 은 상승했다면?
● 실험에 민감한 요소가 있다면? (예: Pricing test)
● 실험이 매출에 악영향을 주면 어떡하죠?
Growth engineering tools
● Infra-level: Data warehouse/pipeline
● 정량적 분석: Mixpanel(또는 Amplitude), Attribution tool
○ 특정 사용자수까지는 무료인 툴이 많습니다.
○ 비용이 부담되는 경우, 특정 부분만 tracking 하기도 합니다.
● 정성적 분석: FullStory
● Business Intelligence: Looker
● A/B test: 간단한 것은 Optimizely, 복잡한 것은 직접 구현
Epsilon-greedy
● Greedy 에 탐험을 더해서 리스크를 줄였다.
● 실험에 보내는 비율(=Epsilon)을 제한하고, 나머지는 best arm
으로 보낸다. Best arm 은 계속 업데이트 된다.
● MAB 중 구현이 가장 간단하고, 시간대 별 사용자 패턴이 있을
경우에 효과적이다.
● 가능한 변이: Epsilon 값을 주기적으로 업데이트
UCB
● 각 arm 마다 reward 라는 가중치를 두고, Traffic 대비 reward
가 높을수록 많은 traffic 을 보낸다. (여러번 성공한 슬롯머신)
● 한쪽으로 쏠리지 않게 불확실성 변수를 둔다. 시간이 지날수록
불확실성 변수의 영향이 줄어든다. (Time-To-Live 설정하기)
● 가능한 변이: Trend 를 반영하기 위해, 최신에 추가된 arm 에
reward 를 높게 부여하기
MAB (Multi Armed Bandit) Algorithm
Summary
● 카지노에서 시작됐다. 투자 기법으로 많이 쓰인다. (참고)
● 실험을 하면서 KPI 손해를 최소화할 수 있다.
● Multi-variant test 와 차이: Adaptive traffic allocation
및 active learning 이 된다.
● 정해진 컨텐츠 공간이 있을 때 유용하게 쓰인다.
예: 카카오 컨텐츠 탭, 이커머스 상품 추천
● 다양한 페이지가 존재하고 레이아웃이 꾸준히 업데이트
되는 경우, 구현 난이도 때문에 효율성이 떨어진다.
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 그로스 해킹에서 해킹이란 단어의 정확한 의미
A. 저희 팀을 비롯하여 많은 그로스팀들이 해킹이라는 단어를 사용하지 않는 것 같습니다. (주관적인 의견인데) 사례가 아닌
문화에서 출발하는 두번째 그로스 물결에서, 옛날의 그로스와 구분하기 위해 ‘해킹’을 빼서 사용하는 것 같습니다.
● Q. 의료인과 같이 움직이기 어려운 고객군에 대한 growth hack 방법에 대해 들어보고 싶습니다
A. 샘플 사이즈가 적기 때문에 그로스 방법론을 적용하기는 힘들겠습니다. 눔은 많은 병원 및 대학 연구실들과 연구를 하고
있습니다. 눔 코리아/재팬을 총괄하는 분이 예방의학 분야의 의사 출신이다보니 관계 및 pain point 를 잘 아는 것이
주요했던 것 같습니다.
● Q. 어떻게 시작하는 것이 중요한가요? 무엇부터 시작해야할지 모르겠어요.
A. 질문 주신 분께 허와 실 8번 슬라이드가 도움됐으면 좋겠습니다.
● Q. 그로스 해킹이 린 분석과 비슷한 것 같았어요. 두가지의 차이점과 Ux와의 접점이 궁금합니다.
A. 린 분석이 정확히 뭔지 몰라서 검색해봤는데, 동일한 개념 같습니다. 그로스라고 이야기를 안하지만 비슷한 업무를 하고
계신 분들이 꽤 많은 것 같습니다. 특히 게임 업계에서요.
● Q. 엔지니어 디자이너들 각 분야에서 그로스할 때 맡은 역할 혹은 알아야할 점이 궁금합니다.
A. 그로스 엔지니어들은 ‘데이터 기반으로 가설을 뽑을 수 있고, 실험을 빠르게 런칭하고 분석할 수 있는 환경'을 만듭니다.
그리고 본인 또는 팀원이 작성한 design documentation 을 기반으로 A/B 테스팅을 세팅합니다. 디자이너도 크게 다르지
않습니다. 제작부터 배포까지 할 수 있는 분야(예: 광고)라면 직접 A/B 테스팅을 제작, 런칭, 분석하기도 합니다. 그리고 다른
Pod 에서 진행하는 실험에 필요한 각종 asset 을 제공합니다.
흔히들 그로스 팀원은 T shaped skillset 을 갖추면 좋다고들 합니다. 이를 위해 본인 분야가 아닌 Pod 싱크에도 주기적으로
참석해서 이해도를 높이고 기여합니다. 즉, 엔지니어도 creative pod 에서 사용하는 metric 과 어떤 방식으로 실험을
준비/런칭/분석하는지에 대한 이해도가 있으며, 가설과 실험군에 대한 아이디어를 기여합니다.
● Q. 그로스해킹과 어필리에이트 마케팅은 어떤 면에서 차이가 있는지 궁금합니다. 단순히 용어차이란 분도 계시고 아예 다른
분야란 얘기도 하시고...
A. 제휴 마케팅은 그로스가 다루는 AARRR 에서 Acquisition 영역에 속한다고 생각합니다.
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 분석을 통해 개선 사항을 찾았을 때, 그 개선이 모든 유저/사용자들에게 도움을 줄 수 있는 지 궁금합니다. 다른
유저들에게는 나쁜 영향이나 피해가 될 수도 있을 것 같아서요. 이런 이슈를 어떻게 피할 수 있는 지 궁금합니다.
A. 네, 실제로 그런 일이 발생합니다. 특히 우리는 맞다고 생각했는데, 실제로는 아닌 경우가 크리티컬합니다. 이를 방지하기
위해 모든 변화는 A/B 테스팅을 통해 검증이 필요합니다.
전체적으로는 positive effect 였으나 일부에게만 negative effect 였던 경우에는 고민이 필요합니다. 피해가 크리티컬하지
않다면 일부를 위한 최적화를 하지 않습니다. 왜냐하면 유지보수 비용(가지치기, 2 x 2 x 2 x ...)이 더 크기 때문입니다.
● Q. YC에서는 그로스해킹이 사기라고 하는데 반박을 하자면 어떤 걸까요?
A. YC 에서 어떤 근거와 배경을 가지고 한 이야기인지 모르겠습니다. 다만, YC 에서도 그로스를 정면으로 부정하지는 않았을
것 같습니다. 적어도 눔은 그로스 문화를 바탕으로 급격히 성장했고, 지금도 성장하고 있습니다.
● Q. 기존의 UX research 프로세스와 다른점
A. 그로스와 UX research 는 비교 대상이 아닌 것 같습니다. 그로스에서 가설을 뽑고 실험군을 설계하는 과정에서 꾸준한 UX
research 가 필요합니다.
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 개발자나 데이터 분석가가 없는 중견기업이 그로스해킹을 시작할 수 있는 방법은 무엇일까요
A. T/F 를 꾸리고 성공적인 A/B 테스팅 결과를 만든 뒤, 경영진에게 “이런 방법론으로 우리 지표를 괄목 성장시킬 수 있다”
라고 설득할 것 같습니다. 실제로 눔도 이렇게 시작했습니다.
● Q. 그로스에 실제 도움이 되는 효과적인 분석툴 사용법을 알고 싶어요
A. 질문 주신 분께 이 슬라이드가 도움됐으면 좋겠습니다. 하나만 고르라면 Mixpanel 또는 Amplitude 를 추천합니다.
● Q. 그로스 해킹을 하다보면 어느 순간 퍼포먼스 마케팅에서 해결되지 않는 오가닉 유입, 매출 발생에 대한 니즈가 있을텐데요,
이걸 감지해야하는 때는 언제이고, 그 이후 해야할 액션은 무엇인가요?
A. [예산 - 매출] 그래프가 linear 하지 않고, logarithm 형태로 바뀌는 순간이 필요한 지점이라고 생각합니다. 이때는 Brand
awareness 를 높이는 작업이 필요하다고 생각합니다.
● Q. 스타트업에서 그로스 해킹을 쉽게 접목시킬 수 있는 방안이 있다면?
A. 솔직히 말씀드리자면 ‘쉬운 방법’은 모르겠습니다. 제대로 하려면 장기간 인력, 예산에 대한 지원이 필요하기 때문입니다.
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 그로스해킹의 실제 적용된 사례들이 궁금합니다.
A. 한국에서만 몇 백개의 A/B 테스팅을 했기 때문에 적용된 사례는 적어도 100개 이상일 것입니다. 하나만 꼽으라면
‘Positive friction’입니다. 사용자가 engage 많이 할수록 구매까지 이어질 확률이 높아집니다. 사례들을 더 말씀드릴 수도
있지만, 허와 실 2번 슬라이드에서 말씀드린 것처럼 재현되지 않을 확률이 큽니다.
● Q. 어디까지 기술적/분석학적인 걸 알아야 하는지 궁금합니다.
A. 포지션에 따라 다를 것 같습니다. Data scientist 포지션이 아니라면, 통계학적 지식이 크게 필요하지 않다고 생각합니다.
예를 들어, 통계를 몰라도 통계적 유의미성을 계산해주는 페이지를 사용할 수 있습니다.
● Q. AB테스팅 지표를 실제 필드에서는 어떻게 효과적으로 정리하고 이용하는지 궁금합니다
A. 아마도 A/B 테스팅에서 사용하는 ‘전환 목표’를 말씀하시는 것 같습니다. 저희 팀도 이것에 대한 고민이 많았습니다.
특수한 경우를 제외하고는 구매(매출 발생)을 primary goal 로 사용하고 있습니다. 다만, 실험마다 secondary goal(예: 설문
완료율)을 세우고 분석에 참고합니다. Secondary goal 은 상승했는데 primary goal 은 하락한 경우, 분석 후에 후속 실험을
진행합니다.
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 그로스해킹에 대해 전반적인 개념을 알고싶습니다.
A. 어렵게는 “데이터 기반으로 Funnel 을 꾸준히 개선해서 회사 매출과 수익성을 개선하는 일”,
쉽게는 “1 에서 100 을 만들기 위해 A/B 테스트를 쉬지 않고 계속 하는 것”라고 설명드리고 싶습니다.
● Q. 데이터 분석도구마다 제공되는 기준 차이에서 우리 서비스만의 기준점은 무엇이 되어야 할지 궁금합니다.
A. 실제로 저희 팀에서도 일어나고 있는 일입니다. 저희는 Mixpanel 을 중심으로 사용하고 있습니다. 다른 툴과 10% 내의
차이라면 크게 신경쓰지 않습니다. 정확한 데이터가 필요한 경우에는 DB 또는 Log 에서 query 해서 수치를 얻어냅니다.
● Q. 그로스해킹은 신사업이 아닌 기존 비지니스에 도입 하려면 어떻게 하는 것이 좋을까요? 기존 비지니스이다 보니 데이터로
보이지 않거나 세팅해서 준비하는 시간이 긴 경우 AB테스트가 어렵다 라는 반론이 있을 때 어떻게하면 좋을까요?
A. 오히려 (신사업보다는) Product Market Fit 을 찾은 기존 비즈니스에 그로스 방법론을 도입하는게 더 효과적이지 않을까
생각합니다. 부정적인 스탠스를 가진 분들을 설득하는 가장 좋은 방법인 사례와 수치를 들고가는 것 같습니다. 저라면
Optimizely, Firebase 등을 통해 빠르게 실험(Impact 가 낮더라도 Confidence 및 Ease 가 높은 가설 위주로)을 런칭하고,
성공적인 결과와 함께 설득할 것 같습니다. 잘 풀리시길 바라겠습니다!
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 전형적인 워터폴 방식을 고수하는 조직에서 그로스해킹 방식으로 전환 할 수 있는 방법이 있는지 궁금합니다.
A. 앞선 질문에서 답변드린 것처럼 T/F 를 꾸리고 성공적인 A/B 테스팅 결과를 만든 뒤, 경영진에게 “이런 방법론으로 우리
지표를 괄목 성장시킬 수 있다”라고 설득할 것 같습니다. 어려운 일이지만 잘 되시길 바라겠습니다.
● Q. 디스트리뷰션 채널을 어떻게 최대한 효과적으로 레버리지 할 수 있는가?
A. 눔은 attribution tool 을 직접 개발해서 사용하고 있습니다. 이 툴을 바탕으로 채널과 캠페인 단위로 얼마나 예산을
배정하면 좋을지가 결정됩니다. 하지만 처음부터 툴을 개발하는 비용이 너무 크기 때문에 이미 상용화된 서비스의 사용을
추천드립니다.
● Q. 그로스 해킹을 정말 잘하고 있는 국내/외 사례와 왜/어떻게 잘하고 있는지 알고 싶습니다.
A. 눔이요. 국내에도 그로스 잘하는 회사들이 많습니다. 친구 화면과 내 화면이 다르다면 그로스하고 있는 서비스라고 확신할
수 있습니다. 잘하는 회사들을 보면, 대부분 그로스 중심의 문화로 조직을 운영하고 있는 것 같습니다.
● Q. A/B test가 궁금합니다.
A. 너무 광범위한 내용이다 보니, 관련 슬라이드 링크만 첨부했습니다 → A/B 테스트와 관련된 잡다한 이야기
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 그로스팀은 마케팅, 기획, 개발, 데이터 분석 등 각 분야의 전문가 최소 1명씩으로 구성되는 것 같은데, 이러한 팀 구성이
어려운 초기 스타트업은 어떻게 해야 하나요? 특히 데이터 분석이 가능한 마케터 중심으로 그로스해킹을 진행하는 경우 운영
방법에 대해 조언 부탁드립니다!
A. 눔도 T shaped skills 을 가진 두 분이서 그로스를 시작했습니다. 물론 이런 형태로 영속할 수는 없기 때문에, 어느
시점에는 경영진으로부터 지원을 받고 제대로 된 팀을 갖춰야 합니다. 뒷 문장의 경우, Optimizely 같은 가벼운 툴을 가지고
성공적인 실험 사례를 만드는데 주력할 것 같습니다.
● Q. KPI와 그로스를 연결시키기 위한 기획 방식이 궁금합니다.
A. 눔에서는 그로스팀 지표가 곧 회사의 주요 지표입니다. 이 지표들은 팀 및 개인의 OKR 에도 들어가있습니다.
● Q. 리텐션을 높이는 방법과 반드시 리텐션이 모바일비즈니스에서 중요한가요?
A. 중요하다고 생각합니다. Retention 이 보장되지 않는 상태에서 하는 Acquisition growth 는 ‘밑 빠진 독에 물 붓기’
입니다. Product-driven growth 를 통해 Retention 을 높일 수 있습니다. 즉, 서비스에서도 A/B 테스트를 꾸준히 해야
합니다.
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 많은 성과 분석 툴중 추천하고 싶으신 것이 어떤게 있는지 궁금합니다.
A. 눔에서는 Mixpanel 을 만족하며 사용하고 있습니다.
● Q. 분석 결과 솔루션에 돈이 많이 드는 경우가 생기면 할지말지 어떻게 결정 실행하는지 궁금합니다.
A. 눔은 다행히 이런 툴에 대한 결제에 관대합니다. 그리고 대부분의 툴이 무료로도 꽤 많은 트래픽을 커버할 수 있는 걸로
알고 있습니다. 비용이 너무 부담될 경우, 부분적으로 tracking 하는 것(예: 5 페이지 중에 2 페이지만 측정)을 추천드립니다.
또한, N개월이 지난 사용자를 삭제해서 비용 최적화를 할 수도 있습니다.
● Q. 사용자경험을 해치지 않는 그로스해킹 전략은 무엇인가요?
A. 사용자 경험을 해칠 수도 있다고 생각되는 실험의 경우, 실험에 들어가는 트래픽을 줄여서 진행합니다.
● Q. 그로스 해킹을 하는데 가장 중요한 것은 무엇이며 어떻게 접근해야 할까요?
A. 허와 실 8번 슬라이드에서 다뤘듯이, 지표가 tipping 할 때까지 충분한 예산과 인원을 지원받는 것이라 생각합니다.
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 현재 회사에서 상품 가격으로 A/B 테스트를 종종 진행하고 있습니다. 이럴 경우 유저가 환경에서 A/B의 결제 가격이
다른데요. 이런류의 A/B 테스트가 가끔은 신규 유입과 매출을 발생하고는 있지만 기존 유저에게 좋지 않는 영향을 주지는
않을까 걱정됩니다.
A. 기존 유저에게 좋지 않은 영향을 줄 수 있다고 우려되는 경우, 실험에 들어가는 트래픽을 줄입니다. 재방문 또는 다른
기기를 통해 들어온 경우, 동일한 arm(대조군 or 실험군)에 들어갈 수도 있도록 노력합니다. 또한, 컴플레인이 들어올 경우에
대한 보상 대책이 준비되어 있어야 합니다.
● Q. 일정 규모가 되지 않은 스타트업에서는 아무리 그로스해킹 한다고 해도 덩어리가 작기 때문에 어느정도의 의도적인
부스팅 비용이 필요해 보입니다. 테스트 하기 위한 모수가 부족한 경우도 있고... 또한 마케팅 비용, 스타트업에게 300만원은
엄청 크게 부담되지만, 큰 회사에게 300만원은 작기 때문에 그런 차이에 대한 최소한의 가이드 주시면 좋을 것 같습니다.
A. 우선 Product Market Fit 을 찾는 과정이 가장 먼저라고 생각합니다. 그 뒤로는 (작아도 괜찮으니) 매달 예산과 목표치를
정해놓고, 달성하면 조금씩 올려가는 프로세스를 추천드립니다.
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 그로스를 위해서 데이터 메트릭 수집을 위한 방법들이 궁금합니다.
A. Mixpanel, Amplitude 로 시작하는 것을 추천드립니다. 이상으로 넘어가게 되면 Infra-level 에서 Data warehouse
구축이 필요합니다.
● Q. 어떻게 하면 제대로 된 가설을 세울 수 있을까요? 궁금한 점은 많은데 이를 가설로 세우는 게 어렵습니다.
A. 가설은 팀 내에서 크라우드 소싱할 수도 있고, 아니면 다른 서비스를 사용해보면서 얻을 수도 있겠습니다. 때로는 무작정
(익명화된) N명의 사용기록을 보면서 개선점을 찾기도 합니다. 중요한 것은 이 가설에 대한 우선순위를 정량화하는 것이라
생각합니다. 우선순위를 정하는 방법은 이 슬라이드에서 확인하실 수 있습니다.
● Q. 그로스의 목적은 기업 매출 성장의 목적이 맞을까요, 사용자 환경/서비스개선의 목적이 맞을까요? 어떤 것에 우선 순위를
두고 집중하는게 좋을까요?
A. ‘매출 성장과 수익성 개선’이라고 생각합니다. 그 과정에서 하는 일들이 ‘미션’에 반하지 않아야 하고, 그러다보면
자연스럽게 사용자 경험도 개선된다고 생각합니다.
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
사전 질문에 대한 답변
주제: 그로스 전반이 궁금해요
● Q. 그로스해킹과 디지털마케팅의 차이는 무엇인가요
A. 그로스는 크게 Product-driven growth 와 Marketing-driven growth 로 분류할 수 있습니다.
Digital marketing 의 경우, Marketing-driven growth 의 한 영역으로 볼 수 있다고 생각합니다.
● Q. 수치를 해석할 때 가장 중요하게 봐야 하는 부분, 성과 측정 주기와 방법이 궁금합니다.
A. 실험마다 ‘전환 목표'를 통일하는 것을 추천드립니다. 이왕이면 매출 관련 지표이면 좋겠습니다.
실험을 런칭한 뒤에 기능적 이상이 있는지 모니터링 하는 것 외에는 실험 종료 전까지 힐끗 힐끗 수치를 확인하지 않는 것을
추천드립니다. 실험은 최소 기간을 두되, 요일마다 패턴이 있을 수 있으므로 최소 일주일 이상을 돌리는 것을 추천드립니다.
또한 실험마다 Secondary metric 을 정하면 추가 개선점을 찾기에 용이합니다.
● Q. 팀에 속해있는 사람 수 직군이 궁금합니다.
A. 저희 팀은 현재 6명이고, Squad 형태입니다. 이번에 새롭게 2명(그로스 엔지니어, 그로스 마케터)을 채용하고 있습니다!
뉴욕 오피스에 별도의 그로스팀이 있고, 주기적으로 싱크하고 있습니다.
● Q. 주요 사용하시는 분석 툴, 일주일에 몇개 정도의 캠페인을 돌리시는 지 궁금합니다.
A. 가장 많이 사용하는 분석 툴은 Mixpanel 입니다. 일주일에 몇 개의 광고 A/B 테스팅을 런칭하는지 물어보신거라면, 주당
평균 2개의 실험을 런칭합니다. 뉴욕 오피스, 도쿄 오피스에서 런칭하는 실험까지 합치면 훨씬 많습니다.
● Q. 팀 빌딩은 어떻게 하고 계신가요
A. 팀원 중 3분은 비슷한 업무를 하시던 분들을 다른 팀에서 모셔왔습니다.
회사 성장 속도에 맞춰서 이번에 새롭게 2개의 포지션(그로스 엔지니어, 그로스 마케터)을 채용하고 있습니다!
● Q. 그로스 인력은 어떤 경로로 선발하시나요?
A. 그로스 마인드셋을 가지고 있는 분들을 채용해서 함께 성장하는 것을 목표로 하고 있습니다.
사실 이 세미나도 채용에 도움되길 바라는 마음으로 준비했습니다.
사전 질문에 대한 답변
주제: 눔코리아에서 하는 그로스가 궁금해요
● Q. AB test를 하실텐데 어떤 식으로 하시나요. 분명히 실험군에서는 노이즈가 있을텐데..
A. 어떤 식으로 진행하는지는 너무 광범위한 내용이라 별도로 연락주시면 설명드리겠습니다.
‘노이즈’는 어떻게 해석하냐에 따라 다를 것 같습니다. 만약 ‘전환율 하락’이라면 흔히 발생하는 일입니다. 이 경우는 실험군을
baseline 하지 않으면 그만입니다. 만약 ‘신뢰성 이슈’라면, 실험군에 들어가는 트래픽을 줄여서 진행합니다.
● Q. 그로스를 위한 팀 혹은 개별 기능, 팀, 서비스 전체의 핵심지표설정, 어떻게 접근하시나요?
A. 핵심 지표 및 목표치는 토의를 거쳐 수직적으로 결정(전사 → 오피스 → 팀 → 개인)됩니다.
구현할 기능 및 실험의 우선순위는 ICE 방법론을 통해 정합니다.
● Q. 데이터, 엔지니어링, 기획, 마케팅 역량이 모두 집중 되어야하는 영역같은데, 이 직군의 사람들이 협업을 통해 진행하는 지,
그로스 담당자가 따로 진행하는지 궁금합니다.
A. 저희는 그로스팀에 해당 역량을 가진 팀원들이 모여있습니다. 다만, 직군 별로 영역이 칼 같지는 않습니다. 즉,
엔지니어라고 개발만 하지는 않습니다. 다른 Pod 에서 하는 실험에도 아이디어를 제시하고, 각 Pod 에서 얻은 배움을
스프린트마다 공유합니다. 때로는 (그로스팀이 아닌) 다른 팀을 도와 A/B 테스팅을 진행하기도 합니다.
사전 질문에 대한 답변
주제: 눔코리아에서 하는 그로스가 궁금해요
● Q. 우선순위는 어떻게 하고 계시나요?
A. 우선순위는 ICE 방법론을 통해 정하고 있습니다.
● Q. 실험 분석 및 관리를 어떻게 하고 계신가요?
A. Pod 별로 ICE 리스트를 관리하는 담당자가 있습니다. 그리고 가장 우선순위가 높은 실험들을 스프린트 내에 런칭하고
분석합니다. 끊김없는 실험 런칭을 위해 ICE 리스트에 Upcoming 을 별도로 관리하고 실험군을 구체화합니다. 실험이 종료되면
Mixpanel 로 정량적 분석을 하고, 통계적 유의미성이 떨어지면 정성적 분석을 함께 합니다. 실험의 성패만큼 중요한 것이
꾸준히 ‘배움’이 쌓이고, 팀에서 공유되는 것입니다. A/B 테스트가 성공했으나, 왜 성공했는지 모르는 것을 경계해야 합니다.
● Q. B2B 비즈니스에서의 그로스해킹 방법의 어려운 점과 어떻게 해결하셨는지 궁금합니다.
A. 눔도 B2B 비즈니스를 진행하고 있고, 크게 3가지 어려움이 있습니다.
(1) 파트너 회사의 동의없이 함부로 변경사항을 만들지 못한다는 점
(2) 실험할 수 있는 양의 트래픽이 꾸준히 들어올지 확신할 수 없다는 점
(3) 사용자층이 다르면 여기서의 배움을 B2C 에 녹일 수 없다는 점
사전 질문에 대한 답변
주제: 눔코리아에서 하는 그로스가 궁금해요
● Q. 눔만의 그로스 노하우가 있다면?
A. 지난 2년간 목표 지표가 바뀐 적이 없습니다. 그리고 이 지표가 팀 뿐만 아니라 개인의 목표에도 반영되어 있습니다.
그리고 글로벌 서비스(뉴욕, 도쿄 오피스에서도 퍼널별로 실험 진행)를 하다보니, 동일한 기간에 더 많은 실험을 돌릴 수
있었습니다. 여기서 얻은 인사이트가 주기적으로 공유됩니다.
● Q. 테스트를 통해 실제 개선이 이뤄진 사례가 궁금해요.
A. 지난 2년간 한국 시장에서만 몇 백의 실험을 했고, 적용된 것이 100개 이상입니다. 이를 바탕으로 큰 성장을 이뤄냈지만,
1.1^100 수준은 아니었습니다. 그 이유는 허와 실 4번 슬라이드에서 다뤘습니다. 성공 사례를 딱 찝어서 말씀드릴 수는 없지만,
사용자 engagement 를 늘릴수록 결제까지 전환이 더 잘 됐습니다.
● Q. 그로스해킹은 꼭 전담팀이 필요할까요? 마케팅팀에서 그로스를 고민해도 잘 운영이 될까요? 사내 그로스해킹 운영방법이
궁금합니다.
A. 꼭 전담팀이 있을 필요는 없지만, 있으면 좋다고 생각합니다. 각 팀에서 그로스에 대한 고민할 여유가 없기 때문에, 이를 초반에
도와줄 조직이 필요하다고 생각합니다. 꼭 붙어서 “실험 세팅, 지표 설정, 데이터 확인 및 분석“을 몇 번 도와주다보면 해당
팀에서도 직접 실험을 돌릴 수 있게 될 것입니다. 현재 눔코리아에서는 그로스팀이 아닌 팀들도 A/B 테스트를 운영하고 있습니다.
사전 질문에 대한 답변
주제: 눔코리아에서 하는 그로스가 궁금해요
● Q. 그로스란 영역을 가리지 않는다 생각하는데요.. 구성원이 모두가 그로스해커가 되게할만한.. 말을 지어내 붙이자면
조직문화의 그로스 사례가 있을까요?
A. 네, 아주 중요한 주제입니다. Impact 점수는 낮더라도 Confidence(성공할 것 같고), Ease(금방 런칭할 수 있는) 점수가 높은
실험을 몇번 같이 하다보면 그로스의 효용성을 심어줄 수 있습니다. 사실 말은 쉬워보이지만, 조직 구성 및 평가 등 엮인 내용이
많습니다.
● Q. 평소 그로스는 모든 팀 멤버가 가지고 있어야하는 마인드셋으로 이해하고 있었습니다. 눔 코리아에는 그로스팀이 따로
존재하는데, 그로스 팀의 정체성과 KPI 를 잡는 방식이 궁금했고, 다른 팀 (예를 들어, 개발 혹은 디자인) 과 어떻게 협업하는지가
궁금합니다.
A. 그로스팀의 KPI 는 회사의 KPI 와 일치합니다. 예산과 목표치는 분기마다 토의를 거쳐 ‘전사 → 오피스 → 팀’ 순서로
결정됩니다. 그로스팀은 자체적으로 개발 및 디자인 리소스를 확보하고 있기 때문에 크게 요청할 일이 없습니다. 만약 요청할
일이 있는 경우, 여기에 들어가는 시간과 어느 정도 매출 개선이 기대되는지를 함께 설명합니다.
사전 질문에 대한 답변
주제: 눔코리아에서 하는 그로스가 궁금해요
● Q. 실험을 어떻게 만들고 운영하는지 궁금합니다.
A. Pod 마다 가설을 관리하는 ICE 리스트가 있습니다. 데이터 분석을 통해 실험의 우선순위를 관리합니다. (참고: ICE 방법론)
가장 우선순위가 높은 가설을 스프린트에 런칭합니다. Pod 마다 얻은 인사이트를 공유하고, 이는 오피스 단위 싱크에서 다시
한번 공유됩니다.
● Q. 재구매율과 전환율 개선을 어떻게 하셨는지 궁금해요.
A. 재구매율의 경우, 변화에 대한 결과를 보는데 오랜 시간이 걸립니다. 따라서 데이터 기반으로 개선하되, A/B 테스트를 많이
하지는 않습니다. 오히려 사전 알림에서 취소율, 결제 후 환불율을 낮추는 일과 같이 결과가 일주일 안에 나오는 것에는 A/B
테스트가 효과적입니다.
사전 질문에 대한 답변
주제: 눔코리아에서 하는 그로스가 궁금해요
● Q. 그로스 엔지니어가 되고 싶은 사람이 키워야 할 역량이나 기술이 있다면 무엇을 추천하시나요?
A. 그로스 엔지니어가 하는 일이 “광범위한 Funnel 에서 병목이 되는 부분을 ‘적정 기술'을 통해 해결하는 것”이기 때문에 특정
언어나 framework 에 얽매이지 않습니다. 가장 중요한 것은 ‘비즈니스 임팩트’ 기반으로 생각하는 마인드셋 같습니다. 코드가
불완전하더라도 실험을 빨리 런칭하는게 더 중요하게 생각할 수 있으면 좋겠습니다.
아무래도 A/B 테스트를 직접 런칭해보고, 한계에 부딪힐 때마다 필요한 기술을 학습하는게 가장 효과적인 방법 같습니다.
● Q. 그로스에 대해 더 공부하고 싶으면 어떤 책 혹은 유튜브 채널 등 유익한 정보를 얻을 수 있는 매체를 알려주시면
감사하겠습니다!
A. Hacking growth 책, Growth university 등이 있지만, 가장 좋은 방법은 잘하는 그로스팀에서 함께 일해보는 것 아닐까요?
저희 그로스팀이 현재 그로스 엔지니어를 채용 중에 있습니다!
● Q. 그로스의 분야가 어디까지인지 궁금해요. 여러 직무에서 다양하게 활용할 수 있는 컨셉인 것 같아서요! :)
A. 네, 그로스는 방법론에 가까워서 분야가 정해져 있지 않습니다. AARRR 모두에 걸쳐있습니다.
사전 질문에 대한 답변
주제: 그로스 엔지니어의 역할과 역량
● Q. 비개발 직군이 그로스 관련 업무로의 커리어를 시작하고 싶다면, 어떤 것부터 준비하는 것이 좋을까요?
A. 저는 필요성에 의한 학습이 가장 효율적이라고 생각합니다. 따라서 Optimizely 등의 도구를 통해 A/B 테스트를 하다가,
기술적인 한계를 느낄 때마다 하나씩 학습하고 본인 것으로 만드는 것을 추천드립니다.
● Q. 그로스해커로써 커리어에 대한 전망이나 비젼이 궁금합니다.
A. 공급과 수요가 둘 다 적었는데, 최근 몇년동안 수요가 꾸준히 늘고 있습니다. 앞으로 몇년동안은 공급보다 수요가 높은
현상이 유지될 것이라 생각합니다. 대학에서 그로스를 가르치는 것도 아니고, 그로스 잘하는 팀에서 배우고 성장하는게 유일한
공급처이기 때문입니다.
● Q. 퍼포먼스 마케터가 그로스 업무를 맡고 있을 때 그 사람은 마케터일까요? 그로스해커일까요?
A. 직함에 대한 정의는 솔직히 잘 모르겠습니다. 그로스 마케터라고 하면 어떨까요?
● Q. 그로스팀은 스타트업 내에서 어떻게 구성해야하며, 각자의 role의 궁금합니다.
A. 질문주신 분께 이 슬라이드가 도움됐으면 좋겠습니다.
사전 질문에 대한 답변
주제: 그로스 엔지니어의 역할과 역량

Mais conteúdo relacionado

Mais procurados

★세상과 통하는 사업계획서 만들기 강연 자료 배포 20150729
★세상과 통하는 사업계획서 만들기 강연 자료 배포 20150729★세상과 통하는 사업계획서 만들기 강연 자료 배포 20150729
★세상과 통하는 사업계획서 만들기 강연 자료 배포 20150729미선 윤
 
스타트업 트렌드 리포트 2020
스타트업 트렌드 리포트 2020스타트업 트렌드 리포트 2020
스타트업 트렌드 리포트 2020StartupAlliance
 
스타트업 트렌드 리포트 2019
스타트업 트렌드 리포트 2019스타트업 트렌드 리포트 2019
스타트업 트렌드 리포트 2019StartupAlliance
 
[제6회 앙트십 코리아] 2-1. 우경우 - 회사를 바꾸거나, 회사를 바꾸거나
[제6회 앙트십 코리아] 2-1. 우경우 - 회사를 바꾸거나, 회사를 바꾸거나[제6회 앙트십 코리아] 2-1. 우경우 - 회사를 바꾸거나, 회사를 바꾸거나
[제6회 앙트십 코리아] 2-1. 우경우 - 회사를 바꾸거나, 회사를 바꾸거나StartupAlliance
 
Lean Startup Framework
Lean Startup FrameworkLean Startup Framework
Lean Startup FrameworkChan Park
 
[2020 스타트업 생태계 컨퍼런스] 1-5. 액셀러레이터 300개 시대의 명과 암(DHP 최윤섭 대표)
[2020 스타트업 생태계 컨퍼런스] 1-5. 액셀러레이터 300개 시대의 명과 암(DHP 최윤섭 대표)[2020 스타트업 생태계 컨퍼런스] 1-5. 액셀러레이터 300개 시대의 명과 암(DHP 최윤섭 대표)
[2020 스타트업 생태계 컨퍼런스] 1-5. 액셀러레이터 300개 시대의 명과 암(DHP 최윤섭 대표)StartupAlliance
 
스타트업의 전략적 사고
스타트업의 전략적 사고스타트업의 전략적 사고
스타트업의 전략적 사고Hyunjong Wi
 
2017 스타트업 트렌드 리포트
2017 스타트업 트렌드 리포트2017 스타트업 트렌드 리포트
2017 스타트업 트렌드 리포트StartupAlliance
 
오픈서베이 스타트업 트렌드 리포트 2017
오픈서베이 스타트업 트렌드 리포트 2017오픈서베이 스타트업 트렌드 리포트 2017
오픈서베이 스타트업 트렌드 리포트 2017opensurvey_biz
 
[법인영업 GA] 기업부설연구소
[법인영업 GA] 기업부설연구소[법인영업 GA] 기업부설연구소
[법인영업 GA] 기업부설연구소더게임체인저스
 
Mo(message oriented)service 투자제안서 120221
Mo(message oriented)service 투자제안서 120221Mo(message oriented)service 투자제안서 120221
Mo(message oriented)service 투자제안서 120221위키두레
 
사업계획서 기술창업V1.4 20160416
사업계획서 기술창업V1.4 20160416사업계획서 기술창업V1.4 20160416
사업계획서 기술창업V1.4 20160416Jinsoo Kim
 
Business Problem Solving
Business Problem SolvingBusiness Problem Solving
Business Problem SolvingHyunjong Wi
 
[기타] (주)인사이트컨설팅 회사소개서
[기타] (주)인사이트컨설팅 회사소개서[기타] (주)인사이트컨설팅 회사소개서
[기타] (주)인사이트컨설팅 회사소개서더게임체인저스
 
[창업&예비창업자] 창업 성장단계별 경영전략
[창업&예비창업자] 창업 성장단계별 경영전략[창업&예비창업자] 창업 성장단계별 경영전략
[창업&예비창업자] 창업 성장단계별 경영전략더게임체인저스
 
[경기창조경제혁신센터] 앙뜨프리너십 Bootcamp Season.1
[경기창조경제혁신센터] 앙뜨프리너십 Bootcamp Season.1[경기창조경제혁신센터] 앙뜨프리너십 Bootcamp Season.1
[경기창조경제혁신센터] 앙뜨프리너십 Bootcamp Season.1paul8331
 
[법인영업 GA] R&D 지원사업 성공전략
[법인영업 GA] R&D 지원사업 성공전략[법인영업 GA] R&D 지원사업 성공전략
[법인영업 GA] R&D 지원사업 성공전략더게임체인저스
 
[창업&예비창업자] 올바른 정책자금 활용방법
[창업&예비창업자] 올바른 정책자금 활용방법[창업&예비창업자] 올바른 정책자금 활용방법
[창업&예비창업자] 올바른 정책자금 활용방법더게임체인저스
 
[창업자&예비창업자] 투자없이 죽음의 계곡을 넘기는 스타트업 생존경영
[창업자&예비창업자] 투자없이 죽음의 계곡을 넘기는 스타트업 생존경영[창업자&예비창업자] 투자없이 죽음의 계곡을 넘기는 스타트업 생존경영
[창업자&예비창업자] 투자없이 죽음의 계곡을 넘기는 스타트업 생존경영더게임체인저스
 

Mais procurados (20)

★세상과 통하는 사업계획서 만들기 강연 자료 배포 20150729
★세상과 통하는 사업계획서 만들기 강연 자료 배포 20150729★세상과 통하는 사업계획서 만들기 강연 자료 배포 20150729
★세상과 통하는 사업계획서 만들기 강연 자료 배포 20150729
 
스타트업 트렌드 리포트 2020
스타트업 트렌드 리포트 2020스타트업 트렌드 리포트 2020
스타트업 트렌드 리포트 2020
 
스타트업 트렌드 리포트 2019
스타트업 트렌드 리포트 2019스타트업 트렌드 리포트 2019
스타트업 트렌드 리포트 2019
 
[제6회 앙트십 코리아] 2-1. 우경우 - 회사를 바꾸거나, 회사를 바꾸거나
[제6회 앙트십 코리아] 2-1. 우경우 - 회사를 바꾸거나, 회사를 바꾸거나[제6회 앙트십 코리아] 2-1. 우경우 - 회사를 바꾸거나, 회사를 바꾸거나
[제6회 앙트십 코리아] 2-1. 우경우 - 회사를 바꾸거나, 회사를 바꾸거나
 
Lean Startup Framework
Lean Startup FrameworkLean Startup Framework
Lean Startup Framework
 
[2020 스타트업 생태계 컨퍼런스] 1-5. 액셀러레이터 300개 시대의 명과 암(DHP 최윤섭 대표)
[2020 스타트업 생태계 컨퍼런스] 1-5. 액셀러레이터 300개 시대의 명과 암(DHP 최윤섭 대표)[2020 스타트업 생태계 컨퍼런스] 1-5. 액셀러레이터 300개 시대의 명과 암(DHP 최윤섭 대표)
[2020 스타트업 생태계 컨퍼런스] 1-5. 액셀러레이터 300개 시대의 명과 암(DHP 최윤섭 대표)
 
스타트업의 전략적 사고
스타트업의 전략적 사고스타트업의 전략적 사고
스타트업의 전략적 사고
 
[강의안] 기업의 생존경영
[강의안] 기업의 생존경영[강의안] 기업의 생존경영
[강의안] 기업의 생존경영
 
2017 스타트업 트렌드 리포트
2017 스타트업 트렌드 리포트2017 스타트업 트렌드 리포트
2017 스타트업 트렌드 리포트
 
오픈서베이 스타트업 트렌드 리포트 2017
오픈서베이 스타트업 트렌드 리포트 2017오픈서베이 스타트업 트렌드 리포트 2017
오픈서베이 스타트업 트렌드 리포트 2017
 
[법인영업 GA] 기업부설연구소
[법인영업 GA] 기업부설연구소[법인영업 GA] 기업부설연구소
[법인영업 GA] 기업부설연구소
 
Mo(message oriented)service 투자제안서 120221
Mo(message oriented)service 투자제안서 120221Mo(message oriented)service 투자제안서 120221
Mo(message oriented)service 투자제안서 120221
 
사업계획서 기술창업V1.4 20160416
사업계획서 기술창업V1.4 20160416사업계획서 기술창업V1.4 20160416
사업계획서 기술창업V1.4 20160416
 
Business Problem Solving
Business Problem SolvingBusiness Problem Solving
Business Problem Solving
 
[기타] (주)인사이트컨설팅 회사소개서
[기타] (주)인사이트컨설팅 회사소개서[기타] (주)인사이트컨설팅 회사소개서
[기타] (주)인사이트컨설팅 회사소개서
 
[창업&예비창업자] 창업 성장단계별 경영전략
[창업&예비창업자] 창업 성장단계별 경영전략[창업&예비창업자] 창업 성장단계별 경영전략
[창업&예비창업자] 창업 성장단계별 경영전략
 
[경기창조경제혁신센터] 앙뜨프리너십 Bootcamp Season.1
[경기창조경제혁신센터] 앙뜨프리너십 Bootcamp Season.1[경기창조경제혁신센터] 앙뜨프리너십 Bootcamp Season.1
[경기창조경제혁신센터] 앙뜨프리너십 Bootcamp Season.1
 
[법인영업 GA] R&D 지원사업 성공전략
[법인영업 GA] R&D 지원사업 성공전략[법인영업 GA] R&D 지원사업 성공전략
[법인영업 GA] R&D 지원사업 성공전략
 
[창업&예비창업자] 올바른 정책자금 활용방법
[창업&예비창업자] 올바른 정책자금 활용방법[창업&예비창업자] 올바른 정책자금 활용방법
[창업&예비창업자] 올바른 정책자금 활용방법
 
[창업자&예비창업자] 투자없이 죽음의 계곡을 넘기는 스타트업 생존경영
[창업자&예비창업자] 투자없이 죽음의 계곡을 넘기는 스타트업 생존경영[창업자&예비창업자] 투자없이 죽음의 계곡을 넘기는 스타트업 생존경영
[창업자&예비창업자] 투자없이 죽음의 계곡을 넘기는 스타트업 생존경영
 

Semelhante a 190829 테헤란로 런치클럽-그로스, 만병통치약에 대한 허와 실 (눔코리아 그로스팀 양욱진 매니저)

헤이조이스23콘조이스_6가지 성장법_지속적으로 성장하는 서비스는 어떻게 일하고 있을까?
헤이조이스23콘조이스_6가지 성장법_지속적으로 성장하는 서비스는 어떻게 일하고 있을까? 헤이조이스23콘조이스_6가지 성장법_지속적으로 성장하는 서비스는 어떻게 일하고 있을까?
헤이조이스23콘조이스_6가지 성장법_지속적으로 성장하는 서비스는 어떻게 일하고 있을까? Hyunjung Kim
 
marketer
marketermarketer
marketerTrenbe
 
2020.01.31 퍼블리 뉴스 큐레이터 모임
2020.01.31 퍼블리 뉴스 큐레이터 모임2020.01.31 퍼블리 뉴스 큐레이터 모임
2020.01.31 퍼블리 뉴스 큐레이터 모임Publy-co
 
How to startup# 03 business model
 How to startup# 03  business model How to startup# 03  business model
How to startup# 03 business model종익 주
 
Tov marketing a반
Tov marketing a반Tov marketing a반
Tov marketing a반정아 이
 
프로덕트 매니지먼트하기
프로덕트 매니지먼트하기프로덕트 매니지먼트하기
프로덕트 매니지먼트하기YOO SE KYUN
 
[PAP] 팝콘 시즌 1 컨퍼런스 사전 QnA
[PAP] 팝콘 시즌 1 컨퍼런스 사전 QnA[PAP] 팝콘 시즌 1 컨퍼런스 사전 QnA
[PAP] 팝콘 시즌 1 컨퍼런스 사전 QnABokyung Choi
 
쫄투 강의 2014_시즌2
쫄투 강의 2014_시즌2쫄투 강의 2014_시즌2
쫄투 강의 2014_시즌2YJ Min
 
고객중심고성과조직 Khu
고객중심고성과조직 Khu고객중심고성과조직 Khu
고객중심고성과조직 Khu연 허
 
린런치패드(Lean launchpad)_How to build a startup_part2
린런치패드(Lean launchpad)_How to build a startup_part2린런치패드(Lean launchpad)_How to build a startup_part2
린런치패드(Lean launchpad)_How to build a startup_part2종훈 이
 
여기컨_스타트업 기획자의 월화수목금_이수지
여기컨_스타트업 기획자의 월화수목금_이수지여기컨_스타트업 기획자의 월화수목금_이수지
여기컨_스타트업 기획자의 월화수목금_이수지TechFeministgroup
 
[Causal Inference KR] 스타트업에서의 인과추론
[Causal Inference KR] 스타트업에서의 인과추론[Causal Inference KR] 스타트업에서의 인과추론
[Causal Inference KR] 스타트업에서의 인과추론Bokyung Choi
 
Recruiting
RecruitingRecruiting
RecruitingTrenbe
 
OKR (Objective Key Results) l 목표 핵심결과지표
OKR (Objective Key Results) l 목표 핵심결과지표OKR (Objective Key Results) l 목표 핵심결과지표
OKR (Objective Key Results) l 목표 핵심결과지표HRyon Lim
 
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)Minwoo Kim
 
OKR 3분 만에 이해하기
OKR 3분 만에 이해하기OKR 3분 만에 이해하기
OKR 3분 만에 이해하기Doran Hwang
 
바바라 민토+로지컬싱킹/안현진x2012
바바라 민토+로지컬싱킹/안현진x2012바바라 민토+로지컬싱킹/안현진x2012
바바라 민토+로지컬싱킹/안현진x2012Hyunjin Ahn
 
바바라 민토+로지컬싱킹/안현진x2012
바바라 민토+로지컬싱킹/안현진x2012바바라 민토+로지컬싱킹/안현진x2012
바바라 민토+로지컬싱킹/안현진x2012Hyunjin Ahn
 
20190415 finance
20190415 finance20190415 finance
20190415 financeTrenbe
 

Semelhante a 190829 테헤란로 런치클럽-그로스, 만병통치약에 대한 허와 실 (눔코리아 그로스팀 양욱진 매니저) (20)

헤이조이스23콘조이스_6가지 성장법_지속적으로 성장하는 서비스는 어떻게 일하고 있을까?
헤이조이스23콘조이스_6가지 성장법_지속적으로 성장하는 서비스는 어떻게 일하고 있을까? 헤이조이스23콘조이스_6가지 성장법_지속적으로 성장하는 서비스는 어떻게 일하고 있을까?
헤이조이스23콘조이스_6가지 성장법_지속적으로 성장하는 서비스는 어떻게 일하고 있을까?
 
marketer
marketermarketer
marketer
 
2020.01.31 퍼블리 뉴스 큐레이터 모임
2020.01.31 퍼블리 뉴스 큐레이터 모임2020.01.31 퍼블리 뉴스 큐레이터 모임
2020.01.31 퍼블리 뉴스 큐레이터 모임
 
How to startup# 03 business model
 How to startup# 03  business model How to startup# 03  business model
How to startup# 03 business model
 
Tov marketing a반
Tov marketing a반Tov marketing a반
Tov marketing a반
 
프로덕트 매니지먼트하기
프로덕트 매니지먼트하기프로덕트 매니지먼트하기
프로덕트 매니지먼트하기
 
[PAP] 팝콘 시즌 1 컨퍼런스 사전 QnA
[PAP] 팝콘 시즌 1 컨퍼런스 사전 QnA[PAP] 팝콘 시즌 1 컨퍼런스 사전 QnA
[PAP] 팝콘 시즌 1 컨퍼런스 사전 QnA
 
쫄투 강의 2014_시즌2
쫄투 강의 2014_시즌2쫄투 강의 2014_시즌2
쫄투 강의 2014_시즌2
 
고객중심고성과조직 Khu
고객중심고성과조직 Khu고객중심고성과조직 Khu
고객중심고성과조직 Khu
 
린런치패드(Lean launchpad)_How to build a startup_part2
린런치패드(Lean launchpad)_How to build a startup_part2린런치패드(Lean launchpad)_How to build a startup_part2
린런치패드(Lean launchpad)_How to build a startup_part2
 
여기컨_스타트업 기획자의 월화수목금_이수지
여기컨_스타트업 기획자의 월화수목금_이수지여기컨_스타트업 기획자의 월화수목금_이수지
여기컨_스타트업 기획자의 월화수목금_이수지
 
[Causal Inference KR] 스타트업에서의 인과추론
[Causal Inference KR] 스타트업에서의 인과추론[Causal Inference KR] 스타트업에서의 인과추론
[Causal Inference KR] 스타트업에서의 인과추론
 
Recruiting
RecruitingRecruiting
Recruiting
 
Nps(Net Promoter Score)
Nps(Net Promoter Score)Nps(Net Promoter Score)
Nps(Net Promoter Score)
 
OKR (Objective Key Results) l 목표 핵심결과지표
OKR (Objective Key Results) l 목표 핵심결과지표OKR (Objective Key Results) l 목표 핵심결과지표
OKR (Objective Key Results) l 목표 핵심결과지표
 
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)
 
OKR 3분 만에 이해하기
OKR 3분 만에 이해하기OKR 3분 만에 이해하기
OKR 3분 만에 이해하기
 
바바라 민토+로지컬싱킹/안현진x2012
바바라 민토+로지컬싱킹/안현진x2012바바라 민토+로지컬싱킹/안현진x2012
바바라 민토+로지컬싱킹/안현진x2012
 
바바라 민토+로지컬싱킹/안현진x2012
바바라 민토+로지컬싱킹/안현진x2012바바라 민토+로지컬싱킹/안현진x2012
바바라 민토+로지컬싱킹/안현진x2012
 
20190415 finance
20190415 finance20190415 finance
20190415 finance
 

Mais de StartupAlliance

스타트업 트렌드리포트2021
스타트업 트렌드리포트2021스타트업 트렌드리포트2021
스타트업 트렌드리포트2021StartupAlliance
 
210727 스타트업얼라이언스 아젠다세미나 "스타트업과 주52시간제 토론회" 발제자료
210727 스타트업얼라이언스 아젠다세미나 "스타트업과 주52시간제 토론회" 발제자료210727 스타트업얼라이언스 아젠다세미나 "스타트업과 주52시간제 토론회" 발제자료
210727 스타트업얼라이언스 아젠다세미나 "스타트업과 주52시간제 토론회" 발제자료StartupAlliance
 
Start up trend report 2020 ENG
Start up trend report 2020 ENGStart up trend report 2020 ENG
Start up trend report 2020 ENGStartupAlliance
 
Startup trend report 2019 ENG
Startup trend report 2019 ENGStartup trend report 2019 ENG
Startup trend report 2019 ENGStartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 2-8. 벤처투자 생태계의 진화와 과제(STEPI 김선우 단장)
[2020 스타트업 생태계 컨퍼런스] 2-8. 벤처투자 생태계의 진화와 과제(STEPI 김선우 단장)[2020 스타트업 생태계 컨퍼런스] 2-8. 벤처투자 생태계의 진화와 과제(STEPI 김선우 단장)
[2020 스타트업 생태계 컨퍼런스] 2-8. 벤처투자 생태계의 진화와 과제(STEPI 김선우 단장)StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 2-7. LP로서의 입장과 스타트업 투자자로서의 입장(D.CAMP 김홍일 센터장)
[2020 스타트업 생태계 컨퍼런스] 2-7. LP로서의 입장과 스타트업 투자자로서의 입장(D.CAMP 김홍일 센터장)[2020 스타트업 생태계 컨퍼런스] 2-7. LP로서의 입장과 스타트업 투자자로서의 입장(D.CAMP 김홍일 센터장)
[2020 스타트업 생태계 컨퍼런스] 2-7. LP로서의 입장과 스타트업 투자자로서의 입장(D.CAMP 김홍일 센터장)StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 2-7. Scale-Up With K-Growth(한국성장금융 서종군 전무)
[2020 스타트업 생태계 컨퍼런스] 2-7. Scale-Up With K-Growth(한국성장금융 서종군 전무)[2020 스타트업 생태계 컨퍼런스] 2-7. Scale-Up With K-Growth(한국성장금융 서종군 전무)
[2020 스타트업 생태계 컨퍼런스] 2-7. Scale-Up With K-Growth(한국성장금융 서종군 전무)StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 2-5. 모태펀드 운용기준과 방향(한국벤처투자 이영민 대표)
[2020 스타트업 생태계 컨퍼런스] 2-5. 모태펀드 운용기준과 방향(한국벤처투자 이영민 대표)[2020 스타트업 생태계 컨퍼런스] 2-5. 모태펀드 운용기준과 방향(한국벤처투자 이영민 대표)
[2020 스타트업 생태계 컨퍼런스] 2-5. 모태펀드 운용기준과 방향(한국벤처투자 이영민 대표)StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 2-4. 소상공인 손실을 줄여주는 '라스트오더'(미로 ...
[2020 스타트업 생태계 컨퍼런스] 2-4. 소상공인 손실을 줄여주는 '라스트오더'(미로 ...[2020 스타트업 생태계 컨퍼런스] 2-4. 소상공인 손실을 줄여주는 '라스트오더'(미로 ...
[2020 스타트업 생태계 컨퍼런스] 2-4. 소상공인 손실을 줄여주는 '라스트오더'(미로 ...StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 2-3. 소상공인을 위한 IT 서비스, 나우버스킹(나우버스킹 ᄌ...
[2020 스타트업 생태계 컨퍼런스] 2-3. 소상공인을 위한 IT 서비스, 나우버스킹(나우버스킹 ᄌ...[2020 스타트업 생태계 컨퍼런스] 2-3. 소상공인을 위한 IT 서비스, 나우버스킹(나우버스킹 ᄌ...
[2020 스타트업 생태계 컨퍼런스] 2-3. 소상공인을 위한 IT 서비스, 나우버스킹(나우버스킹 ᄌ...StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 2-2. 데이터로 소상공인을 돕는 '캐시노트'(한국신용데이터 김동호 대표).pdf
[2020 스타트업 생태계 컨퍼런스] 2-2. 데이터로 소상공인을 돕는 '캐시노트'(한국신용데이터 김동호 대표).pdf[2020 스타트업 생태계 컨퍼런스] 2-2. 데이터로 소상공인을 돕는 '캐시노트'(한국신용데이터 김동호 대표).pdf
[2020 스타트업 생태계 컨퍼런스] 2-2. 데이터로 소상공인을 돕는 '캐시노트'(한국신용데이터 김동호 대표).pdfStartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 2-1. 소상공인과의 협업 노하우(더존비즈온 지용구 ...
[2020 스타트업 생태계 컨퍼런스] 2-1. 소상공인과의 협업 노하우(더존비즈온 지용구 ...[2020 스타트업 생태계 컨퍼런스] 2-1. 소상공인과의 협업 노하우(더존비즈온 지용구 ...
[2020 스타트업 생태계 컨퍼런스] 2-1. 소상공인과의 협업 노하우(더존비즈온 지용구 ...StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 1-8. 국내외 임팩트 생태계의 현황과 신규 트렌드(HGI 정경선 의장)
[2020 스타트업 생태계 컨퍼런스] 1-8. 국내외 임팩트 생태계의 현황과 신규 트렌드(HGI 정경선 의장)[2020 스타트업 생태계 컨퍼런스] 1-8. 국내외 임팩트 생태계의 현황과 신규 트렌드(HGI 정경선 의장)
[2020 스타트업 생태계 컨퍼런스] 1-8. 국내외 임팩트 생태계의 현황과 신규 트렌드(HGI 정경선 의장)StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 1-7. 창업 생태계 속에서의 창업동아리의 역할(SNUSV 오지현 회장)
[2020 스타트업 생태계 컨퍼런스] 1-7. 창업 생태계 속에서의 창업동아리의 역할(SNUSV 오지현 회장)[2020 스타트업 생태계 컨퍼런스] 1-7. 창업 생태계 속에서의 창업동아리의 역할(SNUSV 오지현 회장)
[2020 스타트업 생태계 컨퍼런스] 1-7. 창업 생태계 속에서의 창업동아리의 역할(SNUSV 오지현 회장)StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 1-4. 일본 스타트업 생태계 업데이트(코로프라소프트 타케베 에이카 심사역)
[2020 스타트업 생태계 컨퍼런스] 1-4. 일본 스타트업 생태계 업데이트(코로프라소프트 타케베 에이카 심사역)[2020 스타트업 생태계 컨퍼런스] 1-4. 일본 스타트업 생태계 업데이트(코로프라소프트 타케베 에이카 심사역)
[2020 스타트업 생태계 컨퍼런스] 1-4. 일본 스타트업 생태계 업데이트(코로프라소프트 타케베 에이카 심사역)StartupAlliance
 
[2020 스타트업 생태계 컨퍼런스] 1-2. 미국 스타트업 생태계 업데이트(세마트랜스링크캐피털 김범수 파트너)
[2020 스타트업 생태계 컨퍼런스] 1-2. 미국 스타트업 생태계 업데이트(세마트랜스링크캐피털 김범수 파트너)[2020 스타트업 생태계 컨퍼런스] 1-2. 미국 스타트업 생태계 업데이트(세마트랜스링크캐피털 김범수 파트너)
[2020 스타트업 생태계 컨퍼런스] 1-2. 미국 스타트업 생태계 업데이트(세마트랜스링크캐피털 김범수 파트너)StartupAlliance
 
191105 테헤란로 북클럽-유니콘을 만드는 프렌치 스타트업의 비밀(곽원철 저자)
191105 테헤란로 북클럽-유니콘을 만드는 프렌치 스타트업의 비밀(곽원철 저자)191105 테헤란로 북클럽-유니콘을 만드는 프렌치 스타트업의 비밀(곽원철 저자)
191105 테헤란로 북클럽-유니콘을 만드는 프렌치 스타트업의 비밀(곽원철 저자)StartupAlliance
 
[제6회 앙트십 코리아] 3-1. 우영승 - 로컬비즈니스의 새로운 협업 모델, 시흥시와 빌드
[제6회 앙트십 코리아] 3-1. 우영승 - 로컬비즈니스의 새로운 협업 모델, 시흥시와 빌드[제6회 앙트십 코리아] 3-1. 우영승 - 로컬비즈니스의 새로운 협업 모델, 시흥시와 빌드
[제6회 앙트십 코리아] 3-1. 우영승 - 로컬비즈니스의 새로운 협업 모델, 시흥시와 빌드StartupAlliance
 
[제6회 앙트십 코리아] 1-2. 이수인 - 모든 아이들에게 훌륭한 교육 기회를
[제6회 앙트십 코리아] 1-2. 이수인 - 모든 아이들에게 훌륭한 교육 기회를[제6회 앙트십 코리아] 1-2. 이수인 - 모든 아이들에게 훌륭한 교육 기회를
[제6회 앙트십 코리아] 1-2. 이수인 - 모든 아이들에게 훌륭한 교육 기회를StartupAlliance
 
[제6회 앙트십 코리아] 1-1. 황성재 - 발명과 창업 그 사이 어딘가
[제6회 앙트십 코리아] 1-1. 황성재 - 발명과 창업 그 사이 어딘가[제6회 앙트십 코리아] 1-1. 황성재 - 발명과 창업 그 사이 어딘가
[제6회 앙트십 코리아] 1-1. 황성재 - 발명과 창업 그 사이 어딘가StartupAlliance
 

Mais de StartupAlliance (20)

스타트업 트렌드리포트2021
스타트업 트렌드리포트2021스타트업 트렌드리포트2021
스타트업 트렌드리포트2021
 
210727 스타트업얼라이언스 아젠다세미나 "스타트업과 주52시간제 토론회" 발제자료
210727 스타트업얼라이언스 아젠다세미나 "스타트업과 주52시간제 토론회" 발제자료210727 스타트업얼라이언스 아젠다세미나 "스타트업과 주52시간제 토론회" 발제자료
210727 스타트업얼라이언스 아젠다세미나 "스타트업과 주52시간제 토론회" 발제자료
 
Start up trend report 2020 ENG
Start up trend report 2020 ENGStart up trend report 2020 ENG
Start up trend report 2020 ENG
 
Startup trend report 2019 ENG
Startup trend report 2019 ENGStartup trend report 2019 ENG
Startup trend report 2019 ENG
 
[2020 스타트업 생태계 컨퍼런스] 2-8. 벤처투자 생태계의 진화와 과제(STEPI 김선우 단장)
[2020 스타트업 생태계 컨퍼런스] 2-8. 벤처투자 생태계의 진화와 과제(STEPI 김선우 단장)[2020 스타트업 생태계 컨퍼런스] 2-8. 벤처투자 생태계의 진화와 과제(STEPI 김선우 단장)
[2020 스타트업 생태계 컨퍼런스] 2-8. 벤처투자 생태계의 진화와 과제(STEPI 김선우 단장)
 
[2020 스타트업 생태계 컨퍼런스] 2-7. LP로서의 입장과 스타트업 투자자로서의 입장(D.CAMP 김홍일 센터장)
[2020 스타트업 생태계 컨퍼런스] 2-7. LP로서의 입장과 스타트업 투자자로서의 입장(D.CAMP 김홍일 센터장)[2020 스타트업 생태계 컨퍼런스] 2-7. LP로서의 입장과 스타트업 투자자로서의 입장(D.CAMP 김홍일 센터장)
[2020 스타트업 생태계 컨퍼런스] 2-7. LP로서의 입장과 스타트업 투자자로서의 입장(D.CAMP 김홍일 센터장)
 
[2020 스타트업 생태계 컨퍼런스] 2-7. Scale-Up With K-Growth(한국성장금융 서종군 전무)
[2020 스타트업 생태계 컨퍼런스] 2-7. Scale-Up With K-Growth(한국성장금융 서종군 전무)[2020 스타트업 생태계 컨퍼런스] 2-7. Scale-Up With K-Growth(한국성장금융 서종군 전무)
[2020 스타트업 생태계 컨퍼런스] 2-7. Scale-Up With K-Growth(한국성장금융 서종군 전무)
 
[2020 스타트업 생태계 컨퍼런스] 2-5. 모태펀드 운용기준과 방향(한국벤처투자 이영민 대표)
[2020 스타트업 생태계 컨퍼런스] 2-5. 모태펀드 운용기준과 방향(한국벤처투자 이영민 대표)[2020 스타트업 생태계 컨퍼런스] 2-5. 모태펀드 운용기준과 방향(한국벤처투자 이영민 대표)
[2020 스타트업 생태계 컨퍼런스] 2-5. 모태펀드 운용기준과 방향(한국벤처투자 이영민 대표)
 
[2020 스타트업 생태계 컨퍼런스] 2-4. 소상공인 손실을 줄여주는 '라스트오더'(미로 ...
[2020 스타트업 생태계 컨퍼런스] 2-4. 소상공인 손실을 줄여주는 '라스트오더'(미로 ...[2020 스타트업 생태계 컨퍼런스] 2-4. 소상공인 손실을 줄여주는 '라스트오더'(미로 ...
[2020 스타트업 생태계 컨퍼런스] 2-4. 소상공인 손실을 줄여주는 '라스트오더'(미로 ...
 
[2020 스타트업 생태계 컨퍼런스] 2-3. 소상공인을 위한 IT 서비스, 나우버스킹(나우버스킹 ᄌ...
[2020 스타트업 생태계 컨퍼런스] 2-3. 소상공인을 위한 IT 서비스, 나우버스킹(나우버스킹 ᄌ...[2020 스타트업 생태계 컨퍼런스] 2-3. 소상공인을 위한 IT 서비스, 나우버스킹(나우버스킹 ᄌ...
[2020 스타트업 생태계 컨퍼런스] 2-3. 소상공인을 위한 IT 서비스, 나우버스킹(나우버스킹 ᄌ...
 
[2020 스타트업 생태계 컨퍼런스] 2-2. 데이터로 소상공인을 돕는 '캐시노트'(한국신용데이터 김동호 대표).pdf
[2020 스타트업 생태계 컨퍼런스] 2-2. 데이터로 소상공인을 돕는 '캐시노트'(한국신용데이터 김동호 대표).pdf[2020 스타트업 생태계 컨퍼런스] 2-2. 데이터로 소상공인을 돕는 '캐시노트'(한국신용데이터 김동호 대표).pdf
[2020 스타트업 생태계 컨퍼런스] 2-2. 데이터로 소상공인을 돕는 '캐시노트'(한국신용데이터 김동호 대표).pdf
 
[2020 스타트업 생태계 컨퍼런스] 2-1. 소상공인과의 협업 노하우(더존비즈온 지용구 ...
[2020 스타트업 생태계 컨퍼런스] 2-1. 소상공인과의 협업 노하우(더존비즈온 지용구 ...[2020 스타트업 생태계 컨퍼런스] 2-1. 소상공인과의 협업 노하우(더존비즈온 지용구 ...
[2020 스타트업 생태계 컨퍼런스] 2-1. 소상공인과의 협업 노하우(더존비즈온 지용구 ...
 
[2020 스타트업 생태계 컨퍼런스] 1-8. 국내외 임팩트 생태계의 현황과 신규 트렌드(HGI 정경선 의장)
[2020 스타트업 생태계 컨퍼런스] 1-8. 국내외 임팩트 생태계의 현황과 신규 트렌드(HGI 정경선 의장)[2020 스타트업 생태계 컨퍼런스] 1-8. 국내외 임팩트 생태계의 현황과 신규 트렌드(HGI 정경선 의장)
[2020 스타트업 생태계 컨퍼런스] 1-8. 국내외 임팩트 생태계의 현황과 신규 트렌드(HGI 정경선 의장)
 
[2020 스타트업 생태계 컨퍼런스] 1-7. 창업 생태계 속에서의 창업동아리의 역할(SNUSV 오지현 회장)
[2020 스타트업 생태계 컨퍼런스] 1-7. 창업 생태계 속에서의 창업동아리의 역할(SNUSV 오지현 회장)[2020 스타트업 생태계 컨퍼런스] 1-7. 창업 생태계 속에서의 창업동아리의 역할(SNUSV 오지현 회장)
[2020 스타트업 생태계 컨퍼런스] 1-7. 창업 생태계 속에서의 창업동아리의 역할(SNUSV 오지현 회장)
 
[2020 스타트업 생태계 컨퍼런스] 1-4. 일본 스타트업 생태계 업데이트(코로프라소프트 타케베 에이카 심사역)
[2020 스타트업 생태계 컨퍼런스] 1-4. 일본 스타트업 생태계 업데이트(코로프라소프트 타케베 에이카 심사역)[2020 스타트업 생태계 컨퍼런스] 1-4. 일본 스타트업 생태계 업데이트(코로프라소프트 타케베 에이카 심사역)
[2020 스타트업 생태계 컨퍼런스] 1-4. 일본 스타트업 생태계 업데이트(코로프라소프트 타케베 에이카 심사역)
 
[2020 스타트업 생태계 컨퍼런스] 1-2. 미국 스타트업 생태계 업데이트(세마트랜스링크캐피털 김범수 파트너)
[2020 스타트업 생태계 컨퍼런스] 1-2. 미국 스타트업 생태계 업데이트(세마트랜스링크캐피털 김범수 파트너)[2020 스타트업 생태계 컨퍼런스] 1-2. 미국 스타트업 생태계 업데이트(세마트랜스링크캐피털 김범수 파트너)
[2020 스타트업 생태계 컨퍼런스] 1-2. 미국 스타트업 생태계 업데이트(세마트랜스링크캐피털 김범수 파트너)
 
191105 테헤란로 북클럽-유니콘을 만드는 프렌치 스타트업의 비밀(곽원철 저자)
191105 테헤란로 북클럽-유니콘을 만드는 프렌치 스타트업의 비밀(곽원철 저자)191105 테헤란로 북클럽-유니콘을 만드는 프렌치 스타트업의 비밀(곽원철 저자)
191105 테헤란로 북클럽-유니콘을 만드는 프렌치 스타트업의 비밀(곽원철 저자)
 
[제6회 앙트십 코리아] 3-1. 우영승 - 로컬비즈니스의 새로운 협업 모델, 시흥시와 빌드
[제6회 앙트십 코리아] 3-1. 우영승 - 로컬비즈니스의 새로운 협업 모델, 시흥시와 빌드[제6회 앙트십 코리아] 3-1. 우영승 - 로컬비즈니스의 새로운 협업 모델, 시흥시와 빌드
[제6회 앙트십 코리아] 3-1. 우영승 - 로컬비즈니스의 새로운 협업 모델, 시흥시와 빌드
 
[제6회 앙트십 코리아] 1-2. 이수인 - 모든 아이들에게 훌륭한 교육 기회를
[제6회 앙트십 코리아] 1-2. 이수인 - 모든 아이들에게 훌륭한 교육 기회를[제6회 앙트십 코리아] 1-2. 이수인 - 모든 아이들에게 훌륭한 교육 기회를
[제6회 앙트십 코리아] 1-2. 이수인 - 모든 아이들에게 훌륭한 교육 기회를
 
[제6회 앙트십 코리아] 1-1. 황성재 - 발명과 창업 그 사이 어딘가
[제6회 앙트십 코리아] 1-1. 황성재 - 발명과 창업 그 사이 어딘가[제6회 앙트십 코리아] 1-1. 황성재 - 발명과 창업 그 사이 어딘가
[제6회 앙트십 코리아] 1-1. 황성재 - 발명과 창업 그 사이 어딘가
 

190829 테헤란로 런치클럽-그로스, 만병통치약에 대한 허와 실 (눔코리아 그로스팀 양욱진 매니저)

  • 1. 그로스, 만병통치약에 대한 허와 실 눔코리아 그로스팀 매니저 양욱진
  • 2. noom 모바일 헬스케어 플랫폼 - 라이프 로깅 + 휴먼 코칭 + 커리큘럼 - Most scalable human coaching platform 미션: “많은 사람들이 생활습관 변화로 건강한 삶을 살 수 있게 하자” - 많은 사람들이 → 확장 가능하고, 가격 경쟁력을 갖춰야 - 체중관리에서 시작, 2021년에는 중증관리 영역으로 확장을 목표로 10년 된 스타트업 / 뉴욕, 서울, 도쿄 +
  • 3. 양욱진 3초 송일국, 새 신랑, 취미는 클라이밍 화학공학 전공, 엔젤투자사 인턴, 프로그래밍 시작 대기업에서 시작해 스타트업으로 눔에서 값진 30개월
  • 4. 오늘 할 이야기는요 힘든 시기를 거쳐가며 눔에서 그로스* 를 했습니다. - 그로스 정의 A: 데이터 기반으로 Funnel 을 꾸준히 개선해서 회사 매출과 수익성을 개선하는 일 - 그로스 정의 B: 1 에서 100 을 만들기 위해 A/B 테스트를 쉬지 않고 계속 하는 것 - 그로스팀의 역할: 회사의 성장에서 병목이 되는 부분을 해결하는 특공대, 조직에 그로스 마인드셋 전파 시행착오를 겪으며 배운 그로스에 대한 생각을 나누려고 합니다. 발표 마지막에 이 슬라이드 주소를 공유하겠습니다. 오늘 하는 이야기를 어느 정도 신뢰해주셔도 좋습니다. 왜냐하면,
  • 5. 눔은 최근 2년동안 엄청난 성장을 이뤘고, 지금도 빠르게 성장하고 있습니다. 매출만 올리는 껍데기 뿐인 성장이 아니었습니다. Unit economics 기반으로 성장세와 수익성을 밸런싱하고 있습니다. 앞으로 더 많이 성장할 수 있다는 것을 Sequoia capital 도 인정했습니다. 이 성장의 비결은 그로스 중심의 문화입니다. 전사적으로 매일 1개 이상의 A/B 테스트가 이뤄지고 있습니다. 오늘은 이 그로스에 대해서, “허와 실 자문자답” 형태로 이야기를 풀어보고자 합니다. 눔의 활성 유료 사용자수
  • 6. 허와 실 1 이제 막 prototype 이 나왔어요. 이제 A/B 테스트를 많이 하면 성공하는 건가요?
  • 7. 허와 실 1. 이제 막 prototype 이 나왔어요. 이제 A/B 테스트를 많이 하면 성공하는 건가요? ● 그로스 방법론은 Product Market Fit* 을 찾았을 경우에만 유효합니다. ○ 그게 아니면 “밑 빠진 독에 물 붓기”가 될 수 있습니다. ● 그로스는 1 에서 100 을 만드는 과정이고, 0 에서 1 을 만드는 과정은 초기 멤버들에게 달렸습니다. ● 눔은 체중감량 시장에서 1 에서 10 까지 왔고, 10 에서 100 으로의 도전중입니다. ○ 100 을 달성하면, 중증관리 시장으로 새로운 도전이 시작됩니다. Product Fit = 우리의 솔루션이 문제를 정말 해결해주는가 Market Fit = 이런 솔루션에 대해 돈을 지불할 용의가 있는 사람이 충분히 많은가
  • 8. 허와 실 2 회원 가입 버튼을 파란색에서 빨간색으로 바꿨더니 전환율이 50% 개선됐다는 블로그 포스팅을 봤어요. 우리 서비스에서도 빨간색 버튼으로 바꿀까요?
  • 9. 허와 실 2. 회원 가입 버튼을 파란색에서 빨간색으로 바꿨더니 전환율이 50% 개선됐다는 블로그 포스팅을 봤어요. 우리 서비스에서도 빨간색 버튼으로 바꿀까요? ● 아니요, 재현될 확률이 낮습니다. ○ 풀려는 문제가 다르고, 타겟 사용자(문화, 나라, 연령대, 성별)가 다르기 때문입니다. ● 눔에서는 한국에서 잘 되고 미국 및 일본에서 안 된 경우가 꽤 흔히 있습니다. ● 저희 팀에서는 이 재현될 확률(Confidence)을 정량화에서 우선순위를 정하는 3가지 척도(ICE)중에 하나로 쓰고 있습니다. ○ 다른 Pod 에서 잘 됐다 → 10점 ○ 다른 지사에서 잘 됐다 → 9점 ○ 다른 Pod 또는 지사에서 그럭저럭 잘 됐다 → 8점 ○ 유사 서비스에서 하고 있다 → 7점 ○ 블로그에서 잘된 사례를 봤다 → 5, 6점
  • 10. 허와 실 3 10년 전에도 그로스 해킹이라는 단어를 들어봤던 것 같은데, 왜 요즘 와서 다시 핫해지는 건가요?
  • 11. 허와 실 3. 10년 전에도 그로스 해킹이라는 단어를 들어봤던 것 같은데, 왜 요즘 와서 다시 핫해지는 건가요? ● 10년 전에 핫했던 그로스 해킹은 사례 기반이었습니다. ○ 예: "Dropbox / 친구 초대하면 둘 모두에게 추가 용량 제공" ● 하지만 이런 사례 기반의 그로스는 영속성이 없었습니다. ○ 데이터가 아닌 직관으로 결정을 내리는 경우가 많았고, 직관으로 내리는 결정은 치명적인 실수들을 낳았습니다. 또한 판단을 내리고 실험을 런칭할 수 있는 도구들도 부족했습니다. ● 지금의 그로스는 문화에서 출발합니다. ○ 조직구조부터 시작해 일하는 방법론도 다릅니다. ○ 데이터를 쉽게 확인하고, 실험을 빠르게 런칭할 수 있도록 돕는 툴도 많이 생겼습니다. ● 대단한 성과를 이뤄낸 기업들(Facebook, Uber 등)은 그로스 조직을 별도로 두고 있고, 이를 리드하는 사람의 힘이 큽니다.
  • 12. 허와 실 4 A/B 테스트 계속 성공하다보면 수직 성장해야 하는 것 아닌가요? 이론적으로는 10% 개선 50번만 해도 117배 성장이에요.
  • 13. 허와 실 4. A/B 테스트 계속 성공하다보면 수직성장해야 하는 것 아닌가요? 이론적으로는 10% 개선 50번만 해도 117배 성장이에요. ● (그랬으면 좋겠지만) 그렇지 않습니다. ○ 왜냐하면 특정 돈을 지불하고 우리 서비스를 사용할 사람들은 시장에 유한하기 때문입니다. ○ 남은 사람들을 데려오는 건 점점 더 힘들어집니다. ● 때문에 Product 개선도 동시에 이뤄져야 합니다. ○ 그래야 어렵게 모셔온 고객들이 오랫동안 잔존합니다. (Lifetime Value 상승) ○ 기능이 개선되면 잠재 고객층도 확장됩니다. ● 또한, 시간이 지날수록 (최적화가 많이 된) 대조군을 이기기 힘들어집니다. ○ 갈수록 실패하는 실험이 더 많아집니다. 이 경우, A/B 테스트는 크리티컬한 제2종 오류(틀린데 맞았다고 하는 경우)를 예방합니다. ○ 20% 이상의 개선이 이뤄지는 실험의 빈도는 시간이 지날수록 줄어듭니다.
  • 14. 허와 실 5 어떤 그로스팀은 마케팅을 하고 있고, 어떤 그로스팀은 native app 을 만지고 있고... 색깔이 너무 없는 것 아닌가요?
  • 15. 허와 실 5. 어떤 그로스팀은 마케팅을 하고 있고, 어떤 그로스팀은 native app 을 만지고 있고… 색깔이 너무 없는 것 아닌가요? ● 그로스는 크게 2가지로 분류됩니다: Marketing-driven growth, Product-driven growth ○ 그로스 조직이 독자적으로 없으면, 마케팅 조직 또는 프로덕트 조직에 속하기도 합니다. ● 서비스 초기에는 대부분 Marketing-driven growth 에 초점을 맞춥니다. ○ 일단 꾸준한 유입이 있어야 뒷단에서도 실험도 하고, 데이터도 쌓이기 때문이죠. ○ Contents/Performance marketing, Buyflow 등의 Acquisition 영역이 속합니다. ● Marketing-driven growth 에서 최적화가 많이 되면 Product-driven growth 로 넘어갑니다. ○ 지속 가능하려면 Product 가 좋아야 하니깐요. (최고의 Product = 최고의 Marketing) ○ 초기 경험과 잔존율을 관리하는 Activation, Retention 영역이 속합니다. ● 눔은 Marketing-driven growth 에서 시작해, 이제는 Product-driven growth 를 함께 하고 있습니다. ○ 지금은 그로스팀이 아닌 팀에서도 A/B 테스트를 하며 지표를 개선하고 있습니다.
  • 16. 허와 실 6 A/B 테스트: 숫자에 집착하는 통계 놀이 아닌가요?
  • 17. 허와 실 6. A/B 테스트: 숫자에 집착하는 통계 놀이 아닌가요? ● 그로스 초기에는 '과학 실험'을 하고 있다고 착각할 때가 많았습니다. ○ p-value, 통계적 유의미성, 실험에 들어가는 샘플 크기, 실험 알고리즘 등에 크게 집착했죠. ○ 논문 리서치가 도움 안된 건 아니지만, 적당한 선이 있는 것 같습니다. 경험이 가장 값졌고요. ● 회사에서 제일 중요한 것은 매출의 성장이고, 이를 위해 '정확성과 속도 사이 밸런싱’이 중요합니다. ○ 한달에 통계적 유의미성 99% 짜리 실험 1개 돌리는 것보다, 한달에 통계적 유의미성 95% 짜리 실험 4개 돌리는게 낫습니다. ● 한달에 A/B 테스트 10개 하는 회사와 0개하는 회사가 있을 때, 1년 뒤가 어떨지는 예측하기 쉽습니다. ● 눔은 전사적으로 하루 1개 이상의 A/B 테스트(한국/미국/일본 등, AARRR)가 이뤄지고 있습니다. ○ 이것이 24개월간 120배 이상 성장한 원동력이었습니다.
  • 18. 허와 실 7 그로스하면서 어떤 실수를 하나요? 한계를 느낄 때도 있나요?
  • 19. 허와 실 7. 그로스하면서 어떤 실수를 하나요? 한계를 느낄 때도 있나요? ● 실수 1: 데이터만 보다가 미션/브랜딩과 상충하는 일을 하게 될 때 ○ 예: “눔으로 단기간에 급진적으로 살을 뺄 수가 있어요” ● 실수 2: 고객이 중요하게 생각하는 가치와, 우리의 셀링 메시지가 다를 때 ○ 예: 들어본 적 있는 사용자, 갓 결제한 사용자, 충성 사용자가 이야기하는 가치가 모두 다르다면? ● 실수 3: Cohort bias - 특정 타겟에만 최적화가 되서 사용자 확장이 힘들어질 때 ○ 예: 최적화 끝에 여성비율이 95% 까지 달해서 고민이었던 Pinterest ● 한계 1: 먼 미래를 예측해야 할 때 ○ 예: 정기결제에 의해 4개월 뒤에 나올 결과를 예측하기 → 데이터 확보하면 다음은 비교적 쉬워짐 ● 한계 2: 성장이 Log 함수를 그릴 때 (성장은 하고 있지만, 가속도가 점점 줄어들 때) ○ Brand awareness 에 투자가 필요한 시점입니다. ○ 눔은 미국에서 이 단계를 훌륭히 해냈고, 한국도 2019년 말부터 공격적인 투자할 계획입니다.
  • 20. 허와 실 8 제가 있는 회사에서도 그로스를 시작해보고 싶어요. 뭐가 제일 중요할까요?
  • 21. 허와 실 8. 제가 있는 회사에서도 그로스를 시작해보고 싶어요. 뭐가 제일 중요할까요? ● (Product Market Fit 을 찾으셨고, 훌륭한 팀원들이 있다는 가정 하에) 제일 중요한 것은 C-level 의 전폭적이고 지속적인 지원이라고 생각합니다. 랩에 들어가고 나서야 교수님이 “우리 랩은 과제 안 따와도 될 정도로 연구비 넉넉하니깐, 연구에만 집중할 수 있어”가 얼마나 중요한 이야기인지 깨닫는 것에 비유할 수 있습니다. ● 그로스에 의해 지표가 tipping 하는데까지는 꽤 많은 시간이 걸립니다. 눔은 1년 가까이 걸렸습니다. 지표로 보여주지 않는 이상, 조직의 신뢰를 받기 힘듭니다. 신뢰가 없으면 그로스 마인드셋도 없습니다. ● 눔의 C-level 은 전폭적으로 그로스에 대해 인력과 예산을 지원했고, 직접 리드했습니다. ○ Growth lead 는 운영이 안정화될 때까지 인사, 예산을 확보할 힘이 있어야 합니다. ● 만약 T/F 를 통해 3개월 안에 성과를 만들어서 지속할지 여부를 정해야 한다면, 굉장히 힘든 일이 될 것 같습니다.
  • 22. 눔과 함께 성장할 분을 찾고 있습니다 (1 / 2) 무엇이 좋나요? ● 많은 사람들을 건강하게 만드는 비전에서 나오는 행복 ● 앞으로 더 큰 성장 가능성, 중증관리 영역까지 펼쳐진 길 ● 한국에서의 기회: 10x 성장, 보험사/제약사와의 대형딜 ● 개인과 회사가 함께 성장할 수 있는 환경, 경영진들의 전폭적인 지원 ● 좋은 사람들과 문화, 글로벌 협업 환경 ● 그로스 포지션의 늘어나는 수요 → 커리어 전환 기회 ● 좋은 대우와 복지, 생산성을 극대화해주는 근무 환경과 문화
  • 23. 눔과 함께 성장할 분을 찾고 있습니다 (2 / 2) Growth Engineer ● 실험 환경(샌드박스) 관리 ● 대부분 Web Front-end ● 글로벌 협업이 많음 ● 풍부한 Git, Javascript 경험 (React.js 환영) ● 더 궁금하신가요? (클릭) Growth Marketer ● 디지털 광고 운영 및 관리 ● 광고 효과 분석 및 보고 ● 예산 집행 관리 경험 ● 퍼널 개선 및 최적화 경험 ● 더 궁금하신가요? (클릭) 생각나는 지인이 있으시다면 추천해주세요 추천한 지인이 지원해서 채용될 경우, 100만원을 드립니다!
  • 24. 오늘 자료는 여기에서 확인하실 수 있습니다. bit.ly/noomkr_growth 62개의 사전 질문에 대한 답변을 마지막 슬라이드에 추가해뒀습니다.
  • 25. 추가로 준비한 주제 업무 우선순위 정하는 기준 - ICE Growth 팀 구성과 인재상 AARRR A/B 테스트와 관련된 잡다한 이야기 MAB 알고리즘 Growth engineering tools
  • 26. 업무 우선순위 정하는 기준 - ICE Impact ● 지표 개선에 얼마나 영향을 주는가 ● 전환율이 나쁜 구간일수록 높은 점수 ● 커버리지가 높을수록 높은 점수 ● 우리 팀의 기준 (10점 만점) ○ 20% 개선 → 10점 ○ 10% 개선 → 5점 ○ 5% 개선 → 3점 Ease ● 실험 준비 및 운영에 얼마나 시간이 소요되는가 ● 2명이 4시간씩 = 8시간 ● 우리 팀의 기준 (10점 만점) ○ 4시간 미만 → 10점 ○ 8시간 → 9점 ○ 2일 → 8점 ○ 5일 → 7점 ○ 2주일 → 5점 Confidence ● 얼마나 확신할 수 있는가 ● 풀려는 문제가 다르고, 타겟 사용자 (문화, 나라, 연령대, 성별)가 다르면 재현될 확률 낮음 ● 우리 팀의 기준 (10점 만점) ○ 다른 Pod 에서 잘 됐다 → 10점 ○ 다른 지사에서 잘 됐다 → 9점 ○ 다른 Pod 또는 지사에서 그럭저럭 잘 됐다 → 8점 ○ 유사 서비스에서 한다 → 7점 ○ 블로그에서 봤다 → 5, 6점 Impact, Confidence, Ease 총합이 높은 가설부터 실험으로 런칭합니다
  • 27. Growth 팀 구성과 인재상 ● 참고: Spotify 의 Squad ● Product Manager ● Engineer ● (Performance, Contents) Marketer ● Data scientist ● Designer ● 비즈니스 임팩트로 동기부여 받는 사람 스타트업에서 시행착오를 겪은 경험이 있으면 좋습니다 ● Optimized for fast learning Build-Measure-Learn 사이클에 익숙하면 좋습니다 ● 함께 일하고 싶은 사람 다른 팀과의 협업이 많기 때문입니다 ● 정량적 분석에 집착하지 않고 정성적 분석도 하는 사람 ● 수시로 가설을 세우고 예측을 하는 사람
  • 28. Activation ● 온보딩, 초기 경험 개선 ● 체험 취소, 7일 환불 줄이기 Retention ● 이것이 보장돼야 Acquisition, Activation 에서 실험 가능 ● 정기결제 비율, 재결제 성공율 Revenue ● 기존 상품의 가격 올리기 ● 업셀 상품 판매, 비싼 상품의 판매량 비율 늘리기 Referral ● 이게 잘되기 시작하면 Paid channel 비중 감소 ● 최종 정착지 Acquisition ● Paid channel, Non-paid channel ● Creatives / 광고 운영 / 채널 확장 / Landing page
  • 29. A/B 테스트와 관련된 잡다한 이야기 ● 가지 치기를 통한 최적화 vs. 유지보수 비용 밸런싱 ● Arm 당 최소 sample size, 실험의 최소 기간 ● 과거 실험들 사이에 영향이 있는지 알아보고 싶다면 ● 배움을 극대화하고, 속도를 올리려면 - Bulk update 이후, 후속 실험으로 Minor update ● A/B 테스트가 정확한지 확인해보고 싶을 때 - A/A 테스트 ● 실험 전환 목표는 항상 동일하게? ● Primary metric 은 감소했지만, Secondary metric 은 상승했다면? ● 실험에 민감한 요소가 있다면? (예: Pricing test) ● 실험이 매출에 악영향을 주면 어떡하죠?
  • 30. Growth engineering tools ● Infra-level: Data warehouse/pipeline ● 정량적 분석: Mixpanel(또는 Amplitude), Attribution tool ○ 특정 사용자수까지는 무료인 툴이 많습니다. ○ 비용이 부담되는 경우, 특정 부분만 tracking 하기도 합니다. ● 정성적 분석: FullStory ● Business Intelligence: Looker ● A/B test: 간단한 것은 Optimizely, 복잡한 것은 직접 구현
  • 31. Epsilon-greedy ● Greedy 에 탐험을 더해서 리스크를 줄였다. ● 실험에 보내는 비율(=Epsilon)을 제한하고, 나머지는 best arm 으로 보낸다. Best arm 은 계속 업데이트 된다. ● MAB 중 구현이 가장 간단하고, 시간대 별 사용자 패턴이 있을 경우에 효과적이다. ● 가능한 변이: Epsilon 값을 주기적으로 업데이트 UCB ● 각 arm 마다 reward 라는 가중치를 두고, Traffic 대비 reward 가 높을수록 많은 traffic 을 보낸다. (여러번 성공한 슬롯머신) ● 한쪽으로 쏠리지 않게 불확실성 변수를 둔다. 시간이 지날수록 불확실성 변수의 영향이 줄어든다. (Time-To-Live 설정하기) ● 가능한 변이: Trend 를 반영하기 위해, 최신에 추가된 arm 에 reward 를 높게 부여하기 MAB (Multi Armed Bandit) Algorithm Summary ● 카지노에서 시작됐다. 투자 기법으로 많이 쓰인다. (참고) ● 실험을 하면서 KPI 손해를 최소화할 수 있다. ● Multi-variant test 와 차이: Adaptive traffic allocation 및 active learning 이 된다. ● 정해진 컨텐츠 공간이 있을 때 유용하게 쓰인다. 예: 카카오 컨텐츠 탭, 이커머스 상품 추천 ● 다양한 페이지가 존재하고 레이아웃이 꾸준히 업데이트 되는 경우, 구현 난이도 때문에 효율성이 떨어진다.
  • 32. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요 ● Q. 그로스 해킹에서 해킹이란 단어의 정확한 의미 A. 저희 팀을 비롯하여 많은 그로스팀들이 해킹이라는 단어를 사용하지 않는 것 같습니다. (주관적인 의견인데) 사례가 아닌 문화에서 출발하는 두번째 그로스 물결에서, 옛날의 그로스와 구분하기 위해 ‘해킹’을 빼서 사용하는 것 같습니다. ● Q. 의료인과 같이 움직이기 어려운 고객군에 대한 growth hack 방법에 대해 들어보고 싶습니다 A. 샘플 사이즈가 적기 때문에 그로스 방법론을 적용하기는 힘들겠습니다. 눔은 많은 병원 및 대학 연구실들과 연구를 하고 있습니다. 눔 코리아/재팬을 총괄하는 분이 예방의학 분야의 의사 출신이다보니 관계 및 pain point 를 잘 아는 것이 주요했던 것 같습니다. ● Q. 어떻게 시작하는 것이 중요한가요? 무엇부터 시작해야할지 모르겠어요. A. 질문 주신 분께 허와 실 8번 슬라이드가 도움됐으면 좋겠습니다. ● Q. 그로스 해킹이 린 분석과 비슷한 것 같았어요. 두가지의 차이점과 Ux와의 접점이 궁금합니다. A. 린 분석이 정확히 뭔지 몰라서 검색해봤는데, 동일한 개념 같습니다. 그로스라고 이야기를 안하지만 비슷한 업무를 하고 계신 분들이 꽤 많은 것 같습니다. 특히 게임 업계에서요.
  • 33. ● Q. 엔지니어 디자이너들 각 분야에서 그로스할 때 맡은 역할 혹은 알아야할 점이 궁금합니다. A. 그로스 엔지니어들은 ‘데이터 기반으로 가설을 뽑을 수 있고, 실험을 빠르게 런칭하고 분석할 수 있는 환경'을 만듭니다. 그리고 본인 또는 팀원이 작성한 design documentation 을 기반으로 A/B 테스팅을 세팅합니다. 디자이너도 크게 다르지 않습니다. 제작부터 배포까지 할 수 있는 분야(예: 광고)라면 직접 A/B 테스팅을 제작, 런칭, 분석하기도 합니다. 그리고 다른 Pod 에서 진행하는 실험에 필요한 각종 asset 을 제공합니다. 흔히들 그로스 팀원은 T shaped skillset 을 갖추면 좋다고들 합니다. 이를 위해 본인 분야가 아닌 Pod 싱크에도 주기적으로 참석해서 이해도를 높이고 기여합니다. 즉, 엔지니어도 creative pod 에서 사용하는 metric 과 어떤 방식으로 실험을 준비/런칭/분석하는지에 대한 이해도가 있으며, 가설과 실험군에 대한 아이디어를 기여합니다. ● Q. 그로스해킹과 어필리에이트 마케팅은 어떤 면에서 차이가 있는지 궁금합니다. 단순히 용어차이란 분도 계시고 아예 다른 분야란 얘기도 하시고... A. 제휴 마케팅은 그로스가 다루는 AARRR 에서 Acquisition 영역에 속한다고 생각합니다. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 34. ● Q. 분석을 통해 개선 사항을 찾았을 때, 그 개선이 모든 유저/사용자들에게 도움을 줄 수 있는 지 궁금합니다. 다른 유저들에게는 나쁜 영향이나 피해가 될 수도 있을 것 같아서요. 이런 이슈를 어떻게 피할 수 있는 지 궁금합니다. A. 네, 실제로 그런 일이 발생합니다. 특히 우리는 맞다고 생각했는데, 실제로는 아닌 경우가 크리티컬합니다. 이를 방지하기 위해 모든 변화는 A/B 테스팅을 통해 검증이 필요합니다. 전체적으로는 positive effect 였으나 일부에게만 negative effect 였던 경우에는 고민이 필요합니다. 피해가 크리티컬하지 않다면 일부를 위한 최적화를 하지 않습니다. 왜냐하면 유지보수 비용(가지치기, 2 x 2 x 2 x ...)이 더 크기 때문입니다. ● Q. YC에서는 그로스해킹이 사기라고 하는데 반박을 하자면 어떤 걸까요? A. YC 에서 어떤 근거와 배경을 가지고 한 이야기인지 모르겠습니다. 다만, YC 에서도 그로스를 정면으로 부정하지는 않았을 것 같습니다. 적어도 눔은 그로스 문화를 바탕으로 급격히 성장했고, 지금도 성장하고 있습니다. ● Q. 기존의 UX research 프로세스와 다른점 A. 그로스와 UX research 는 비교 대상이 아닌 것 같습니다. 그로스에서 가설을 뽑고 실험군을 설계하는 과정에서 꾸준한 UX research 가 필요합니다. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 35. ● Q. 개발자나 데이터 분석가가 없는 중견기업이 그로스해킹을 시작할 수 있는 방법은 무엇일까요 A. T/F 를 꾸리고 성공적인 A/B 테스팅 결과를 만든 뒤, 경영진에게 “이런 방법론으로 우리 지표를 괄목 성장시킬 수 있다” 라고 설득할 것 같습니다. 실제로 눔도 이렇게 시작했습니다. ● Q. 그로스에 실제 도움이 되는 효과적인 분석툴 사용법을 알고 싶어요 A. 질문 주신 분께 이 슬라이드가 도움됐으면 좋겠습니다. 하나만 고르라면 Mixpanel 또는 Amplitude 를 추천합니다. ● Q. 그로스 해킹을 하다보면 어느 순간 퍼포먼스 마케팅에서 해결되지 않는 오가닉 유입, 매출 발생에 대한 니즈가 있을텐데요, 이걸 감지해야하는 때는 언제이고, 그 이후 해야할 액션은 무엇인가요? A. [예산 - 매출] 그래프가 linear 하지 않고, logarithm 형태로 바뀌는 순간이 필요한 지점이라고 생각합니다. 이때는 Brand awareness 를 높이는 작업이 필요하다고 생각합니다. ● Q. 스타트업에서 그로스 해킹을 쉽게 접목시킬 수 있는 방안이 있다면? A. 솔직히 말씀드리자면 ‘쉬운 방법’은 모르겠습니다. 제대로 하려면 장기간 인력, 예산에 대한 지원이 필요하기 때문입니다. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 36. ● Q. 그로스해킹의 실제 적용된 사례들이 궁금합니다. A. 한국에서만 몇 백개의 A/B 테스팅을 했기 때문에 적용된 사례는 적어도 100개 이상일 것입니다. 하나만 꼽으라면 ‘Positive friction’입니다. 사용자가 engage 많이 할수록 구매까지 이어질 확률이 높아집니다. 사례들을 더 말씀드릴 수도 있지만, 허와 실 2번 슬라이드에서 말씀드린 것처럼 재현되지 않을 확률이 큽니다. ● Q. 어디까지 기술적/분석학적인 걸 알아야 하는지 궁금합니다. A. 포지션에 따라 다를 것 같습니다. Data scientist 포지션이 아니라면, 통계학적 지식이 크게 필요하지 않다고 생각합니다. 예를 들어, 통계를 몰라도 통계적 유의미성을 계산해주는 페이지를 사용할 수 있습니다. ● Q. AB테스팅 지표를 실제 필드에서는 어떻게 효과적으로 정리하고 이용하는지 궁금합니다 A. 아마도 A/B 테스팅에서 사용하는 ‘전환 목표’를 말씀하시는 것 같습니다. 저희 팀도 이것에 대한 고민이 많았습니다. 특수한 경우를 제외하고는 구매(매출 발생)을 primary goal 로 사용하고 있습니다. 다만, 실험마다 secondary goal(예: 설문 완료율)을 세우고 분석에 참고합니다. Secondary goal 은 상승했는데 primary goal 은 하락한 경우, 분석 후에 후속 실험을 진행합니다. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 37. ● Q. 그로스해킹에 대해 전반적인 개념을 알고싶습니다. A. 어렵게는 “데이터 기반으로 Funnel 을 꾸준히 개선해서 회사 매출과 수익성을 개선하는 일”, 쉽게는 “1 에서 100 을 만들기 위해 A/B 테스트를 쉬지 않고 계속 하는 것”라고 설명드리고 싶습니다. ● Q. 데이터 분석도구마다 제공되는 기준 차이에서 우리 서비스만의 기준점은 무엇이 되어야 할지 궁금합니다. A. 실제로 저희 팀에서도 일어나고 있는 일입니다. 저희는 Mixpanel 을 중심으로 사용하고 있습니다. 다른 툴과 10% 내의 차이라면 크게 신경쓰지 않습니다. 정확한 데이터가 필요한 경우에는 DB 또는 Log 에서 query 해서 수치를 얻어냅니다. ● Q. 그로스해킹은 신사업이 아닌 기존 비지니스에 도입 하려면 어떻게 하는 것이 좋을까요? 기존 비지니스이다 보니 데이터로 보이지 않거나 세팅해서 준비하는 시간이 긴 경우 AB테스트가 어렵다 라는 반론이 있을 때 어떻게하면 좋을까요? A. 오히려 (신사업보다는) Product Market Fit 을 찾은 기존 비즈니스에 그로스 방법론을 도입하는게 더 효과적이지 않을까 생각합니다. 부정적인 스탠스를 가진 분들을 설득하는 가장 좋은 방법인 사례와 수치를 들고가는 것 같습니다. 저라면 Optimizely, Firebase 등을 통해 빠르게 실험(Impact 가 낮더라도 Confidence 및 Ease 가 높은 가설 위주로)을 런칭하고, 성공적인 결과와 함께 설득할 것 같습니다. 잘 풀리시길 바라겠습니다! 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 38. ● Q. 전형적인 워터폴 방식을 고수하는 조직에서 그로스해킹 방식으로 전환 할 수 있는 방법이 있는지 궁금합니다. A. 앞선 질문에서 답변드린 것처럼 T/F 를 꾸리고 성공적인 A/B 테스팅 결과를 만든 뒤, 경영진에게 “이런 방법론으로 우리 지표를 괄목 성장시킬 수 있다”라고 설득할 것 같습니다. 어려운 일이지만 잘 되시길 바라겠습니다. ● Q. 디스트리뷰션 채널을 어떻게 최대한 효과적으로 레버리지 할 수 있는가? A. 눔은 attribution tool 을 직접 개발해서 사용하고 있습니다. 이 툴을 바탕으로 채널과 캠페인 단위로 얼마나 예산을 배정하면 좋을지가 결정됩니다. 하지만 처음부터 툴을 개발하는 비용이 너무 크기 때문에 이미 상용화된 서비스의 사용을 추천드립니다. ● Q. 그로스 해킹을 정말 잘하고 있는 국내/외 사례와 왜/어떻게 잘하고 있는지 알고 싶습니다. A. 눔이요. 국내에도 그로스 잘하는 회사들이 많습니다. 친구 화면과 내 화면이 다르다면 그로스하고 있는 서비스라고 확신할 수 있습니다. 잘하는 회사들을 보면, 대부분 그로스 중심의 문화로 조직을 운영하고 있는 것 같습니다. ● Q. A/B test가 궁금합니다. A. 너무 광범위한 내용이다 보니, 관련 슬라이드 링크만 첨부했습니다 → A/B 테스트와 관련된 잡다한 이야기 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 39. ● Q. 그로스팀은 마케팅, 기획, 개발, 데이터 분석 등 각 분야의 전문가 최소 1명씩으로 구성되는 것 같은데, 이러한 팀 구성이 어려운 초기 스타트업은 어떻게 해야 하나요? 특히 데이터 분석이 가능한 마케터 중심으로 그로스해킹을 진행하는 경우 운영 방법에 대해 조언 부탁드립니다! A. 눔도 T shaped skills 을 가진 두 분이서 그로스를 시작했습니다. 물론 이런 형태로 영속할 수는 없기 때문에, 어느 시점에는 경영진으로부터 지원을 받고 제대로 된 팀을 갖춰야 합니다. 뒷 문장의 경우, Optimizely 같은 가벼운 툴을 가지고 성공적인 실험 사례를 만드는데 주력할 것 같습니다. ● Q. KPI와 그로스를 연결시키기 위한 기획 방식이 궁금합니다. A. 눔에서는 그로스팀 지표가 곧 회사의 주요 지표입니다. 이 지표들은 팀 및 개인의 OKR 에도 들어가있습니다. ● Q. 리텐션을 높이는 방법과 반드시 리텐션이 모바일비즈니스에서 중요한가요? A. 중요하다고 생각합니다. Retention 이 보장되지 않는 상태에서 하는 Acquisition growth 는 ‘밑 빠진 독에 물 붓기’ 입니다. Product-driven growth 를 통해 Retention 을 높일 수 있습니다. 즉, 서비스에서도 A/B 테스트를 꾸준히 해야 합니다. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 40. ● Q. 많은 성과 분석 툴중 추천하고 싶으신 것이 어떤게 있는지 궁금합니다. A. 눔에서는 Mixpanel 을 만족하며 사용하고 있습니다. ● Q. 분석 결과 솔루션에 돈이 많이 드는 경우가 생기면 할지말지 어떻게 결정 실행하는지 궁금합니다. A. 눔은 다행히 이런 툴에 대한 결제에 관대합니다. 그리고 대부분의 툴이 무료로도 꽤 많은 트래픽을 커버할 수 있는 걸로 알고 있습니다. 비용이 너무 부담될 경우, 부분적으로 tracking 하는 것(예: 5 페이지 중에 2 페이지만 측정)을 추천드립니다. 또한, N개월이 지난 사용자를 삭제해서 비용 최적화를 할 수도 있습니다. ● Q. 사용자경험을 해치지 않는 그로스해킹 전략은 무엇인가요? A. 사용자 경험을 해칠 수도 있다고 생각되는 실험의 경우, 실험에 들어가는 트래픽을 줄여서 진행합니다. ● Q. 그로스 해킹을 하는데 가장 중요한 것은 무엇이며 어떻게 접근해야 할까요? A. 허와 실 8번 슬라이드에서 다뤘듯이, 지표가 tipping 할 때까지 충분한 예산과 인원을 지원받는 것이라 생각합니다. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 41. ● Q. 현재 회사에서 상품 가격으로 A/B 테스트를 종종 진행하고 있습니다. 이럴 경우 유저가 환경에서 A/B의 결제 가격이 다른데요. 이런류의 A/B 테스트가 가끔은 신규 유입과 매출을 발생하고는 있지만 기존 유저에게 좋지 않는 영향을 주지는 않을까 걱정됩니다. A. 기존 유저에게 좋지 않은 영향을 줄 수 있다고 우려되는 경우, 실험에 들어가는 트래픽을 줄입니다. 재방문 또는 다른 기기를 통해 들어온 경우, 동일한 arm(대조군 or 실험군)에 들어갈 수도 있도록 노력합니다. 또한, 컴플레인이 들어올 경우에 대한 보상 대책이 준비되어 있어야 합니다. ● Q. 일정 규모가 되지 않은 스타트업에서는 아무리 그로스해킹 한다고 해도 덩어리가 작기 때문에 어느정도의 의도적인 부스팅 비용이 필요해 보입니다. 테스트 하기 위한 모수가 부족한 경우도 있고... 또한 마케팅 비용, 스타트업에게 300만원은 엄청 크게 부담되지만, 큰 회사에게 300만원은 작기 때문에 그런 차이에 대한 최소한의 가이드 주시면 좋을 것 같습니다. A. 우선 Product Market Fit 을 찾는 과정이 가장 먼저라고 생각합니다. 그 뒤로는 (작아도 괜찮으니) 매달 예산과 목표치를 정해놓고, 달성하면 조금씩 올려가는 프로세스를 추천드립니다. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 42. ● Q. 그로스를 위해서 데이터 메트릭 수집을 위한 방법들이 궁금합니다. A. Mixpanel, Amplitude 로 시작하는 것을 추천드립니다. 이상으로 넘어가게 되면 Infra-level 에서 Data warehouse 구축이 필요합니다. ● Q. 어떻게 하면 제대로 된 가설을 세울 수 있을까요? 궁금한 점은 많은데 이를 가설로 세우는 게 어렵습니다. A. 가설은 팀 내에서 크라우드 소싱할 수도 있고, 아니면 다른 서비스를 사용해보면서 얻을 수도 있겠습니다. 때로는 무작정 (익명화된) N명의 사용기록을 보면서 개선점을 찾기도 합니다. 중요한 것은 이 가설에 대한 우선순위를 정량화하는 것이라 생각합니다. 우선순위를 정하는 방법은 이 슬라이드에서 확인하실 수 있습니다. ● Q. 그로스의 목적은 기업 매출 성장의 목적이 맞을까요, 사용자 환경/서비스개선의 목적이 맞을까요? 어떤 것에 우선 순위를 두고 집중하는게 좋을까요? A. ‘매출 성장과 수익성 개선’이라고 생각합니다. 그 과정에서 하는 일들이 ‘미션’에 반하지 않아야 하고, 그러다보면 자연스럽게 사용자 경험도 개선된다고 생각합니다. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요
  • 43. 사전 질문에 대한 답변 주제: 그로스 전반이 궁금해요 ● Q. 그로스해킹과 디지털마케팅의 차이는 무엇인가요 A. 그로스는 크게 Product-driven growth 와 Marketing-driven growth 로 분류할 수 있습니다. Digital marketing 의 경우, Marketing-driven growth 의 한 영역으로 볼 수 있다고 생각합니다. ● Q. 수치를 해석할 때 가장 중요하게 봐야 하는 부분, 성과 측정 주기와 방법이 궁금합니다. A. 실험마다 ‘전환 목표'를 통일하는 것을 추천드립니다. 이왕이면 매출 관련 지표이면 좋겠습니다. 실험을 런칭한 뒤에 기능적 이상이 있는지 모니터링 하는 것 외에는 실험 종료 전까지 힐끗 힐끗 수치를 확인하지 않는 것을 추천드립니다. 실험은 최소 기간을 두되, 요일마다 패턴이 있을 수 있으므로 최소 일주일 이상을 돌리는 것을 추천드립니다. 또한 실험마다 Secondary metric 을 정하면 추가 개선점을 찾기에 용이합니다.
  • 44. ● Q. 팀에 속해있는 사람 수 직군이 궁금합니다. A. 저희 팀은 현재 6명이고, Squad 형태입니다. 이번에 새롭게 2명(그로스 엔지니어, 그로스 마케터)을 채용하고 있습니다! 뉴욕 오피스에 별도의 그로스팀이 있고, 주기적으로 싱크하고 있습니다. ● Q. 주요 사용하시는 분석 툴, 일주일에 몇개 정도의 캠페인을 돌리시는 지 궁금합니다. A. 가장 많이 사용하는 분석 툴은 Mixpanel 입니다. 일주일에 몇 개의 광고 A/B 테스팅을 런칭하는지 물어보신거라면, 주당 평균 2개의 실험을 런칭합니다. 뉴욕 오피스, 도쿄 오피스에서 런칭하는 실험까지 합치면 훨씬 많습니다. ● Q. 팀 빌딩은 어떻게 하고 계신가요 A. 팀원 중 3분은 비슷한 업무를 하시던 분들을 다른 팀에서 모셔왔습니다. 회사 성장 속도에 맞춰서 이번에 새롭게 2개의 포지션(그로스 엔지니어, 그로스 마케터)을 채용하고 있습니다! ● Q. 그로스 인력은 어떤 경로로 선발하시나요? A. 그로스 마인드셋을 가지고 있는 분들을 채용해서 함께 성장하는 것을 목표로 하고 있습니다. 사실 이 세미나도 채용에 도움되길 바라는 마음으로 준비했습니다. 사전 질문에 대한 답변 주제: 눔코리아에서 하는 그로스가 궁금해요
  • 45. ● Q. AB test를 하실텐데 어떤 식으로 하시나요. 분명히 실험군에서는 노이즈가 있을텐데.. A. 어떤 식으로 진행하는지는 너무 광범위한 내용이라 별도로 연락주시면 설명드리겠습니다. ‘노이즈’는 어떻게 해석하냐에 따라 다를 것 같습니다. 만약 ‘전환율 하락’이라면 흔히 발생하는 일입니다. 이 경우는 실험군을 baseline 하지 않으면 그만입니다. 만약 ‘신뢰성 이슈’라면, 실험군에 들어가는 트래픽을 줄여서 진행합니다. ● Q. 그로스를 위한 팀 혹은 개별 기능, 팀, 서비스 전체의 핵심지표설정, 어떻게 접근하시나요? A. 핵심 지표 및 목표치는 토의를 거쳐 수직적으로 결정(전사 → 오피스 → 팀 → 개인)됩니다. 구현할 기능 및 실험의 우선순위는 ICE 방법론을 통해 정합니다. ● Q. 데이터, 엔지니어링, 기획, 마케팅 역량이 모두 집중 되어야하는 영역같은데, 이 직군의 사람들이 협업을 통해 진행하는 지, 그로스 담당자가 따로 진행하는지 궁금합니다. A. 저희는 그로스팀에 해당 역량을 가진 팀원들이 모여있습니다. 다만, 직군 별로 영역이 칼 같지는 않습니다. 즉, 엔지니어라고 개발만 하지는 않습니다. 다른 Pod 에서 하는 실험에도 아이디어를 제시하고, 각 Pod 에서 얻은 배움을 스프린트마다 공유합니다. 때로는 (그로스팀이 아닌) 다른 팀을 도와 A/B 테스팅을 진행하기도 합니다. 사전 질문에 대한 답변 주제: 눔코리아에서 하는 그로스가 궁금해요
  • 46. ● Q. 우선순위는 어떻게 하고 계시나요? A. 우선순위는 ICE 방법론을 통해 정하고 있습니다. ● Q. 실험 분석 및 관리를 어떻게 하고 계신가요? A. Pod 별로 ICE 리스트를 관리하는 담당자가 있습니다. 그리고 가장 우선순위가 높은 실험들을 스프린트 내에 런칭하고 분석합니다. 끊김없는 실험 런칭을 위해 ICE 리스트에 Upcoming 을 별도로 관리하고 실험군을 구체화합니다. 실험이 종료되면 Mixpanel 로 정량적 분석을 하고, 통계적 유의미성이 떨어지면 정성적 분석을 함께 합니다. 실험의 성패만큼 중요한 것이 꾸준히 ‘배움’이 쌓이고, 팀에서 공유되는 것입니다. A/B 테스트가 성공했으나, 왜 성공했는지 모르는 것을 경계해야 합니다. ● Q. B2B 비즈니스에서의 그로스해킹 방법의 어려운 점과 어떻게 해결하셨는지 궁금합니다. A. 눔도 B2B 비즈니스를 진행하고 있고, 크게 3가지 어려움이 있습니다. (1) 파트너 회사의 동의없이 함부로 변경사항을 만들지 못한다는 점 (2) 실험할 수 있는 양의 트래픽이 꾸준히 들어올지 확신할 수 없다는 점 (3) 사용자층이 다르면 여기서의 배움을 B2C 에 녹일 수 없다는 점 사전 질문에 대한 답변 주제: 눔코리아에서 하는 그로스가 궁금해요
  • 47. ● Q. 눔만의 그로스 노하우가 있다면? A. 지난 2년간 목표 지표가 바뀐 적이 없습니다. 그리고 이 지표가 팀 뿐만 아니라 개인의 목표에도 반영되어 있습니다. 그리고 글로벌 서비스(뉴욕, 도쿄 오피스에서도 퍼널별로 실험 진행)를 하다보니, 동일한 기간에 더 많은 실험을 돌릴 수 있었습니다. 여기서 얻은 인사이트가 주기적으로 공유됩니다. ● Q. 테스트를 통해 실제 개선이 이뤄진 사례가 궁금해요. A. 지난 2년간 한국 시장에서만 몇 백의 실험을 했고, 적용된 것이 100개 이상입니다. 이를 바탕으로 큰 성장을 이뤄냈지만, 1.1^100 수준은 아니었습니다. 그 이유는 허와 실 4번 슬라이드에서 다뤘습니다. 성공 사례를 딱 찝어서 말씀드릴 수는 없지만, 사용자 engagement 를 늘릴수록 결제까지 전환이 더 잘 됐습니다. ● Q. 그로스해킹은 꼭 전담팀이 필요할까요? 마케팅팀에서 그로스를 고민해도 잘 운영이 될까요? 사내 그로스해킹 운영방법이 궁금합니다. A. 꼭 전담팀이 있을 필요는 없지만, 있으면 좋다고 생각합니다. 각 팀에서 그로스에 대한 고민할 여유가 없기 때문에, 이를 초반에 도와줄 조직이 필요하다고 생각합니다. 꼭 붙어서 “실험 세팅, 지표 설정, 데이터 확인 및 분석“을 몇 번 도와주다보면 해당 팀에서도 직접 실험을 돌릴 수 있게 될 것입니다. 현재 눔코리아에서는 그로스팀이 아닌 팀들도 A/B 테스트를 운영하고 있습니다. 사전 질문에 대한 답변 주제: 눔코리아에서 하는 그로스가 궁금해요
  • 48. ● Q. 그로스란 영역을 가리지 않는다 생각하는데요.. 구성원이 모두가 그로스해커가 되게할만한.. 말을 지어내 붙이자면 조직문화의 그로스 사례가 있을까요? A. 네, 아주 중요한 주제입니다. Impact 점수는 낮더라도 Confidence(성공할 것 같고), Ease(금방 런칭할 수 있는) 점수가 높은 실험을 몇번 같이 하다보면 그로스의 효용성을 심어줄 수 있습니다. 사실 말은 쉬워보이지만, 조직 구성 및 평가 등 엮인 내용이 많습니다. ● Q. 평소 그로스는 모든 팀 멤버가 가지고 있어야하는 마인드셋으로 이해하고 있었습니다. 눔 코리아에는 그로스팀이 따로 존재하는데, 그로스 팀의 정체성과 KPI 를 잡는 방식이 궁금했고, 다른 팀 (예를 들어, 개발 혹은 디자인) 과 어떻게 협업하는지가 궁금합니다. A. 그로스팀의 KPI 는 회사의 KPI 와 일치합니다. 예산과 목표치는 분기마다 토의를 거쳐 ‘전사 → 오피스 → 팀’ 순서로 결정됩니다. 그로스팀은 자체적으로 개발 및 디자인 리소스를 확보하고 있기 때문에 크게 요청할 일이 없습니다. 만약 요청할 일이 있는 경우, 여기에 들어가는 시간과 어느 정도 매출 개선이 기대되는지를 함께 설명합니다. 사전 질문에 대한 답변 주제: 눔코리아에서 하는 그로스가 궁금해요
  • 49. ● Q. 실험을 어떻게 만들고 운영하는지 궁금합니다. A. Pod 마다 가설을 관리하는 ICE 리스트가 있습니다. 데이터 분석을 통해 실험의 우선순위를 관리합니다. (참고: ICE 방법론) 가장 우선순위가 높은 가설을 스프린트에 런칭합니다. Pod 마다 얻은 인사이트를 공유하고, 이는 오피스 단위 싱크에서 다시 한번 공유됩니다. ● Q. 재구매율과 전환율 개선을 어떻게 하셨는지 궁금해요. A. 재구매율의 경우, 변화에 대한 결과를 보는데 오랜 시간이 걸립니다. 따라서 데이터 기반으로 개선하되, A/B 테스트를 많이 하지는 않습니다. 오히려 사전 알림에서 취소율, 결제 후 환불율을 낮추는 일과 같이 결과가 일주일 안에 나오는 것에는 A/B 테스트가 효과적입니다. 사전 질문에 대한 답변 주제: 눔코리아에서 하는 그로스가 궁금해요
  • 50. ● Q. 그로스 엔지니어가 되고 싶은 사람이 키워야 할 역량이나 기술이 있다면 무엇을 추천하시나요? A. 그로스 엔지니어가 하는 일이 “광범위한 Funnel 에서 병목이 되는 부분을 ‘적정 기술'을 통해 해결하는 것”이기 때문에 특정 언어나 framework 에 얽매이지 않습니다. 가장 중요한 것은 ‘비즈니스 임팩트’ 기반으로 생각하는 마인드셋 같습니다. 코드가 불완전하더라도 실험을 빨리 런칭하는게 더 중요하게 생각할 수 있으면 좋겠습니다. 아무래도 A/B 테스트를 직접 런칭해보고, 한계에 부딪힐 때마다 필요한 기술을 학습하는게 가장 효과적인 방법 같습니다. ● Q. 그로스에 대해 더 공부하고 싶으면 어떤 책 혹은 유튜브 채널 등 유익한 정보를 얻을 수 있는 매체를 알려주시면 감사하겠습니다! A. Hacking growth 책, Growth university 등이 있지만, 가장 좋은 방법은 잘하는 그로스팀에서 함께 일해보는 것 아닐까요? 저희 그로스팀이 현재 그로스 엔지니어를 채용 중에 있습니다! ● Q. 그로스의 분야가 어디까지인지 궁금해요. 여러 직무에서 다양하게 활용할 수 있는 컨셉인 것 같아서요! :) A. 네, 그로스는 방법론에 가까워서 분야가 정해져 있지 않습니다. AARRR 모두에 걸쳐있습니다. 사전 질문에 대한 답변 주제: 그로스 엔지니어의 역할과 역량
  • 51. ● Q. 비개발 직군이 그로스 관련 업무로의 커리어를 시작하고 싶다면, 어떤 것부터 준비하는 것이 좋을까요? A. 저는 필요성에 의한 학습이 가장 효율적이라고 생각합니다. 따라서 Optimizely 등의 도구를 통해 A/B 테스트를 하다가, 기술적인 한계를 느낄 때마다 하나씩 학습하고 본인 것으로 만드는 것을 추천드립니다. ● Q. 그로스해커로써 커리어에 대한 전망이나 비젼이 궁금합니다. A. 공급과 수요가 둘 다 적었는데, 최근 몇년동안 수요가 꾸준히 늘고 있습니다. 앞으로 몇년동안은 공급보다 수요가 높은 현상이 유지될 것이라 생각합니다. 대학에서 그로스를 가르치는 것도 아니고, 그로스 잘하는 팀에서 배우고 성장하는게 유일한 공급처이기 때문입니다. ● Q. 퍼포먼스 마케터가 그로스 업무를 맡고 있을 때 그 사람은 마케터일까요? 그로스해커일까요? A. 직함에 대한 정의는 솔직히 잘 모르겠습니다. 그로스 마케터라고 하면 어떨까요? ● Q. 그로스팀은 스타트업 내에서 어떻게 구성해야하며, 각자의 role의 궁금합니다. A. 질문주신 분께 이 슬라이드가 도움됐으면 좋겠습니다. 사전 질문에 대한 답변 주제: 그로스 엔지니어의 역할과 역량