3. 데이터 분석가가 지표를 설정하는 법

지표 설정의 포인트

• North Star Metric을 정하는 것도 중요하지만, 그것에 영향을 미치는 선행지표 설정은 더욱 중요합니다.
• 다른 스타트업들의 투자유치에서 활용되는 지표를 맹신해서는 안됩니다.
• 언론보도, 채용공고에서 언급하긴 좋으나 다른 스타트업에서 그대로 참고하기 어렵습니다.
• 성장을 이끄는 지표가 무엇인지는 철저히 내부의 데이터를 기반으로 검증해야 합니다.
• 실질 수익을 증가시키지 못하는 선행 지표는 과감히 버리셔도 좋습니다
• ‘모든 지표를 충족하려는 순간 아무것도 개선시키지 못한다’는 것에 대한 빠른 수용
• 초기 Onboarding / Lock-in 유도 / 외부 확산 중 제일 중요하게 생각하는 내부 Agenda의 수립
• ‘어떠한 문제를 해결하기 위해 어떠한 지표를 향상시키는 프로젝트를 어느 기간에 걸쳐 시도한다’ 는 구조화된 의사결정

---

지표설정 용어정리

https://playinpap.github.io/summary-of-indicator-concepts-explained-by-bread/#metric-%EC%9D%B4%EB%9E%80

빵으로 설명하는 지표 개념 정리(OEC, KPI, Goal, Driver, Guardrail)

1. Metric 이란 지표라는 뜻으로, 모든 수치는 다 metric이 될 수 있다.
2. OEC 란 종합 평가 기준(OEC = Overall Evaluation Criterion)으로 실험 목표에 대한 정량적 측정이다. (각각의 지표를 적절히 합한 것)
   1. OEC 는 하나의 핵심 성과 지표 (KPI = Key Performance Indicator)가 온라인 통제 실험의 결과를 평가하기에 불충분하다고 판단될 때 주로 쓰이게 된다.
   2. 우리는 빵이 잘 만들어졌는지 재료준비도(%), 적정 시간(%), 포장완성도(%)를 통해 평가한다.
   3. 이 중 하나의 지표만으로 빵이 잘 만들어졌는지를 평가할 수 있는가?
   4. 이럴 때 “빵 완성도 = 재료준비도(%) + 적정 시간(%) + 포장완성도(%) “라는 지표를 만든다면 빵이 잘 만들어졌는지 쉽고 빠르게 평가할 수 있을 것이다.
3. KPI 란 핵심 성과 지표 (KPI = Key Performance Indicator)로 관련 이해 관계자에게 중요한 비즈니스 정보를 전달하는 지표이다.
   1. 재료준비도(%) = 밀가루량(%) + 소금량(%) + 계란량(%) + 베이킹 파우더량(%) …
   2. 적정시간(%) = 시간
   3. 포장완성도(%) = 포장지 상태(%) + 포장상태(%)
      1. “재료준비도(%)”, “포장완성도(%)” 는 여러 측정값을 기반으로 하는 복합 메트릭이고, “적정 시간(%)” 은 하나의 측정값을 기반으로 하는 단일 메트릭이다.
      2. KPI 는 복합 메트릭일 수도, 단일 메트릭일 수도 있는 것이고, 복합 KPI 는 OEC가 될 수 있는 것이다.
4. Goal, Driver, Guardrail 이란 메트릭의 구성, 구조를 논의할 때 일반적으로 사용되는 분류이다.
   1. 말이 조금 어려운 것 같은데, 빵을 다시 예로 들자면
      Goal 은 빵을 맛있게 만드는 것이고,
      Driver 은 재료 완성도와 적정 굽는 시간이며,
      Guardrail 은 재료의 유통기한을 지키는 것, 적정 굽는 시간을 초과하지 않는 것이다.
      • Goal : 빵을 맛있게 만드는 것 (지표로 만들기 애매한 것이 특징)
      • Driver : 재료 완성도(%), 적정 굽는 시간(%) (측정 가능한 지표)
      • Guardrail : 유통기한(%), 적정 굽는 시간(%) (측정 가능한 지표)
   2. Goal, Driver, Guardrail 분류의 지표를 사용하면, 균형을 맞추며 목표 달성이 가능할 것이다.
5. Goal : 궁극적인 성공을 가장 잘 포착하는 메트릭
   1. Goal Metric 이란 회사의 성공을 가장 잘 포착하는 메트릭으로, 일반적으로 매출로 생각하기 쉽다.Goal Metric 은 회사의 장기 비전을 반영하고, 사명과 연결되고. 대기업의 경우 CEO 신년사에 그 해의 중요한 목표 및 장기적 목표가 Goal Metric이 된다.Goal Metric 은 조직의 ‘성공’에 대한 정의이며, 이를 지표화하기는 쉽지 않다.이러한 사명을 지표화한다면 DAU, MAU 같은 지표를 생각할 수 있으나, 이는 단순히 일 방문자, 월 방문자 수만을 나타내기 때문에 변환이 완벽하지 않은 예시이다
   2. 예시로 페이스북의 사명은 커뮤니티를 형성하고 사람들을 더 가깝게 만들 수 있는 힘을 제공하는 것이었다.
   3. ??? 장기 비전, 사명, 목표는 지표화하기 쉬울까?
   4. 하지만 Goal Metric을 매출로만 생각하기엔 많은 Goal Metric은 많은 내용을 내포하고 있다.
6. Driver : 조직이 성공하는데 필요한 정신적 인과 모델, 성공 요인에 대한 가설을 반영하는 지표
   (Goal 메트릭보다 빠르게 움직이고 더 민감한 경향이 있는 메트릭)
   1. 예를 들어, “매출 증대는 Retention이 높아짐으로 인해 가능할 것이다.”라는 가설에서
      Driver Metric은 : Retention이고
      Goal Metric은 : 매출 증대일 수 있다.
7. Guardrail : Guardrail Metric 이란 새로운 실험 혹은 변화가 있을 때, 비즈니스에 가해지는 피해를 모니터링하고 심각한 피해를 방지하는 Metric이다.
   1. Organizational Guardrail Metric
      1. 비즈니스의 측면에서 문제의 발생 여부를 모니터링 : 페이지 로딩 지연시간(Page Loading Latency), 페이지당 에러(Errors Per Page), 클라이언트 충돌(Client Crashes)
   2. Trustworthy-Related Metrics
      1. 실험에 문제가 있음
         1. 실험의 측면에서 실험의 신뢰성을 모니터링하고, 가설의 위반을 확인한다.
         2. 실험에 참여된 모수가 랜덤하게 분배되었는지 등

 

---

지표 설정 전 알아야 하는 정보

흔히 하는 마케팅 오류

처음엔 어쨌든 공격적으로 마케팅을 해서 사람들이 많이 알게 만들자. 그러다보면 다운로드 수는 알아서 많이들 할거고, 그 중에서 구매를 알아서 하는 사람은 그거대로 다행이고, 결제 안하는 사람한테는 SMS/문자/푸쉬/이메일/프로모션 모든 수단을 동원하면 최소 절반 정도는 우리가 원하는대로 매출을 올려줄 거야. 그럼 열심히 쓰는 사람들은 또다시 주변에 우리 서비스를 추천해줄 거고, 거기서 확보된 마진으로 다시 마케팅을 확장하다보면 다음 시리즈로 갈 수 있을거야

다만, 본격적인 Scale-up을 결정하기에 앞서 최소 2가지는 고려해야 합니다.

• 우리의 서비스가 확실히 Loss Zone 에서 Profit Zone으로 바뀐게 맞는지
• Loss Zone을 벗어나게 해준 [Break-even 상태로 만들어준] 핵심 요인을 규명할 수 있는지

마케팅을 왜 공격적으로 하는가 ? 에 대한 대답으로
→ ‘내부에서 정한 목표가 그렇기 때문’ 이거나 ‘성공한 유사 스타트업과의 격차를 좁히고 싶어서’ 와 같은 답 X

---

MAU 가 무조건 적으로 수익을 보장하는가 ?

• ‘MAU를 늘리면 늘릴수록 수익도 가파르게 증가할 것’ 이라는 결론이 너무나도 뼈아프게 거짓으로 드러날 때의 대가는 치명적
  • 겉보기엔 매력적이지만, 실질적인 성장을 가져오지 못한다는 점에서 우리는 이런 상황을
    ‘허상 지표(Vanity Metrics)’ 에 매몰되었다고 간단히 표현할 수 있습니다.
  • 성장을 위해 적극적으로 살펴야 하는 지표를 ‘실질 지표(Actionable Metrics)’ 라고 칭하며 어떤 특징을 갖는지 확인해야 합니다.

‘Total Revenue’ 에만 집중하면서 저지르게 되는 흔한 실수는 이렇게 나누어 생각해볼 수 있습니다.

• 현상 : 허상 지표(Vanity Metric)에 우리의 리소스를 집중해서, 여전히 Profit Zone으로 진입하지 못했다.
• 원인 : 우리에게 추가적인 이윤을 만들어줄 상관지표를 내부의 데이터로 선별하지 못했다. 그러다보니, 다른 스타트업의 성장 사례에 지나치게 의존하면서 맹목적으로 모방하기에 바빴다.
• 해결책 : 우리의 Profit을 만들어줄 핵심 지표를 분명히 정의한다. (=Vanity Metric이 아닌 Actionable Metric을 찾고, 그것에 집중한다.) Actionable Metric은 외부의 정보가 아닌, 내부에서 확보된 유저 행동에 대한 심층 분석으로 찾아낸다.

---

좋은 Metric의 속성

좋은 Metric의 속성은 간단하고, 이해하기 쉬우며, 계산할 수 있어야 하고, 의논하기 편해야 한다.

Metric을 설명할 수 없다면, 그 Metric은 간단하지 않은 것이다.

Metric은 분명하고, 명확하고, 해석에 모호함이 없어야 한다.

또 Metric은 실행 가능해야 한다. 이 말은 즉, 좋은 Metric은 제품 변경에 따라 변경되어야 하며, 제품을 개선할 수 있는 방법에 대한 통찰력을 제공해야 한다는 뜻이다.

당연한 이야기지만 Metric은 조작되어서는 안 된다. 결과를 얻은 것 같이 보여지지만 비즈니스에 도움이 되지 않거나 성장에 도움이 되지 않는 인사이트만 제공하는 Metric이 조작된 Metric에 해당한다.

예시로 단기 수익이 있다. 가격을 올리면 단기적으로는 수익이 늘지만, 장기적으로 고객을 잃는 행위가 될 수 있다.

 

---

결론적으로 지표선정에서 그럼 어떻게 어디를 보아야 하는가?

당면한 과제

• 내부의 지표들을 토대로, Actionable Metric과 Vanity Metric을 어떻게 구분할 것인가
• Vanity Metric에 다시 몰두하게 될 경우, 내부에서 이것을 어떻게 교정할 것인가
• Actionable Metric에 다시 집중하게 됐다면, 선행 지표와 후행 지표의 상관 관계를 어떻게 계량화할 것인가

• 허상지표와 실질 지표를 구분하는 3가지 질문
  • 후속 액션에 대한 인사이트를 제공하나요 ?
    • 각각의 서비스가 처한 상황이 다르기 때문에, 집중해야 하는 지표가 서로 달라질 수밖에 없는 것은 사실입니다. 하지만 지표를 선정하고 중요도를 평가하는 과정에서 ‘지표변화 때문에 우리가 할일이 더 생기나요? 와 같은 질문은 꼭 필요합니다.
    • [우리의 목표]를 [설정한 지표]로서 [특정한 기간 안]에 [양적으로 몇%만큼] 증가시키며, [비용 효율은 몇%만큼] 개선시킬 수 있나요? 라는 질문을 해보아야 합니다.
  • 반복 수행해도 동일한 결과를 얻을수 있나요 ?
    • 만약 우리도 모르는 사이에 트래픽에 영향을 주는 외부 요인으로 이례적인 결과를 가져온 시기에 성과 분석을 했다면, 프로젝트/스프린트/캠페인의 반복수행이 똑같은 결과를 가져올 거라 보장하기는 어렵습니다.
    • 특정 유명인의 추천으로 인해 컨텐츠에 대한 바이럴이 일어나 구독&공유가 증가했다고 가정해봅시다. 사람들의 인식 속에서 ‘이미 누군가의 인위적인 Push가 있었던 것’ 으로 자리잡으면 반복적인 효과를 누리기 어려운 것이 일반적입니다. 오히려 역효과를 낳는 경우가 많기도 합니다.
  • 수집된 결과를 믿을수 있나요 ?
    • ‘인스타그램은 팔로워 기반의 SNS다’ 라는 단순한 명제 때문에 팔로워를 늘리는 것에만 집중하다보면, ‘나와 소통하는 사람이 누구인가’에 대한 문제를 중요하게 생각하지 않을 수 있습니다.
    • Microsoft는 5~6년 전부터 Xbox One의 분기별 재무보고에서 ‘콘솔기기 판매량’이라는 수치를 과감히 제외하기로 했습니다. “단일기기의 판매가 생태계 확장을 결정하는 유의미한 변수가 아님을 깨달았기 때문” 이라는 Xbox 총괄 Phil Spencer의 답변과 함께, Xbox Live의 활성화에 주력하며 더욱 깊이있는 유저 상호작용에 Deep-Dive하게 된 것이 중요한 사례입니다.

Product-led 조직의 커뮤니케이션 방식은 이런 차이를 가져옵니다.

전후

주어진 기능을 개선한다	고객의 니즈,문제점을 해결한다
서비스를 비용요인으로 생각한다	서비스를 성장동력으로 생각한다
기술스택과 배포환경을 중시한다	우리의 미션과 사용자경험을 중시한다
내 생각으로 개발을 먼저 하고난 후 검증한다	문제점을 발견하고, 해결해줄 수 있는 방향으로 조정한다
부서별 기능 분리	부서간 협업 활성화
피드백&의견교환 느림/내부 추정에 의존	피드백&의견교환 빠름/구조화된 의사결정
페이지뷰 & 클릭수 중시	고객경험 동시관리 & 잦은 상호작용 및 소비자 피드백 중시

---

 

선행 지표와 후행지표

선행 지표 - 우리 비즈니스에 어떤 일이 일어날지 예측하고, 진행상황을 추적하는 데 활용합니다

후행 지표 - 최종적인 결과값에 집중하며, 실험/업데이트 등으로 인한 성공여부를 판별합니다.

---

지표선정 자리에서 해야하는 5가지 질문들

지표선정 미팅 결과물에 대한 기대치는 아래와 같습니다.

• 대화의 결과물로 PM 은제품 성과와 가치에 대한 전사적인 싱크를 맞추게 된다.
• 대화의 결과물로 DA 는 PM 과의 싱크를 맞추고 (대시보드를 만드는 것과 같은) 제품개발의 후속액션을 준비하게 된다
• 대화의 결과물에 대해서 PM 그리고 DA, 양측 다 동의해야한다.

1. “What do you want to see happen?”

프로젝트로 발생/변화해야하는 가장 중요한 유저액션은 무엇인가요? (product purpose)

PM 이 프로젝트에 대해서 갖고있는 전반적인 느낌을 이해하는 것이 중요합니다.
프로젝트가 진행되기 전후 유저들의 시점에서 제품이 어떻게 달라질 것이라 기대하는지 파고드세요.

해결하고자 하는 문제를 PM 으로부터 공유받고, PM 이 프로젝트를 인프라 구축형태로 보고 있는지 아니면 실험적인 가설검증 형태로 생각하고 있는지 DA 가 파악해야합니다.

2. “Why now?”

왜 지금 해야해요? (priority check)

해볼 수 있는 것은 항상 많지만, 지금 해야하는 것을 정하는 것은 프로젝트의 우선순위입니다. 저는 일반적으로 비즈니스와 해당 프로젝트가 풀고자 하는 문제가 어떻게 연결되어있는지 알고자 합니다.

대화를 통해 PM 분이 지금 왜 해당 프로젝트를 중요하게 생각하는지 감정선을 공유받고 제 3자의 시선에서 논리적인지 피드백을 제공하기도 합니다.

PM 은 프로젝트가 잘 되면 어떤 가치가 있는지 그리고 그 가치가 현재 조직에 왜 중요한지 전사를 설득을 해야합니다. 논리과정이 make-sense 한지 봐야합니다. 결과적으로 우리는 논리를 올바르게 평가하는 KPI 를 선정하는 것이 목표입니다.

“Why now?” 를 제대로 답변하지 못하거나 잘못된 프로젝트의 우선순위를 높였다는 깨달음이 PM 에게 도달한다면 어젠다를 수정하기에 너무 늦지 않았음을 DA 가 알려주는 것도 서포터로 중요한 역할입니다.

3. “What do you think?”

PM 분은 어떤 지표 보면 좋을 것 같으세요? 왜요?

프로젝트에 대해서 가장 오래 깊이 고민한 사람은 앞에 앉아있는 PM 입니다.

미팅을 이끌고 가고 있는 DA 가 PM 보다는 프로젝트에 대한 더 객관적인 시야를 제공해줄 수는 있겠지만, PM 이 절대적으로 프로젝트에 대해 고민한 시간이 DA 보다 압도적으로 많을 것입니다.

지표선정 미팅이 PM 이 제품에 대해 갖고있는 생각을 갈아엎는 자리가 아닌 디벨롭 시키는 자리가 될 수 있도록 만드는 것도 DA 의 역할에 속합니다.

4. “Will it even budge?” :

우리 액션이 기대효과를 냈을 때, 선정된 KPI 가 움직일까요?

좋은 KPI 는 액션으로 인한 효과가 포착되는 지표입니다.

우리가 취한 액션이 정량적으로 드러날 수 있어야 배움축적까지 이어집니다.

하지만 액션이 효과가 있다하더라도 잘못된 KPI 가 선정되었을 시 효과가 없는 것처럼 보일 수도 있습니다.

KPI 의 위계가 높을 수록 지표가 후행적일 가능성이 높습니다.
KPI 의 위계가 높을 수록 우리 액션이 건드리는 유저군에 비해 KPI 가 훨씬 더 다양한 세그먼트를 포함할 가능성 또한 높아집니다.

따라서 선정된 KPI 의 구성요소는 무엇이고 영향을 주고있는 기능들은 어떤 것이 있는지 파악하고 있어야합니다. 지표구성이 복잡할 수록 지표가 올라갔을 때, 따라오는 비즈니스 임팩트도 더 크겠지만 그만큼 효과를 구분하기 어렵습니다.

지표구성에 대한 이해가 부족한 상태에서 흔히 발생하는 착각에 대한 예시입니다.

• VoC 에서 제기되는 불편함이 해소되면 제품 리텐션이 올라갈 것이다.

한가지의 불편함을 해소하더라도 겪고 있는 유저들이 너무 적을 경우 혹은
제품의 핵심가치를 경험하게 하는데에 영향을 주지 않는 요소라면 리텐션 상승을 보기는 어려울 것입니다.

높은 리텐션은 중요한 문제를 좋은 경험으로 해결하는 제품에 주어지는 훈장입니다.
하지만 리텐션을 높이는 방법은 굉장히 많습니다.

제품의 핵심가치를 더 많은 유저들이 경험하게 하는 것, 자주 경험하게 하는 것, 그리고 더 오랫동안 경험하게 하는 것 등이 있습니다. 한가지 불편요소를 제거하는 것도 중요하지만, 리텐션보다는 선행하는 KPI 를 선정하는 것이 더 정확한 효과측정을 위해 좋을 것입니다.

큼지막한 지표를 프로젝트의 KPI 로 선언하기 전에, 지표의 구성요소들을 꼭 다시 생각해보세요. 내가 취한 액션이 지표의 각 구성요소들에 얼마만큼 영향을 주는 상황인지 생각해봐야합니다.

5. “What about this?”

방금 대화를 토대로 저는 이 지표가 KPI로 적절할 것 같아요. Yes/No?

지표선정 미팅은 DA 가 일방적으로 결과물을 정해주는 자리가 아닙니다.

KPI 선정을 돕고 데이터로 후속액션을 서포트하는 역할은 DA 가 하겠지만,
실제로 제품의 성과와 가치에 대해서 조직과 소통하고 설득할 사람은 PM 입니다.

지표선정 미팅룸 밖으로 갖고 나갈 결과물, KPI 에 대해서는 PM 과 DA 양측의 합의가 있어야합니다.

PM 의 제품고민과 DA 의 데이터 활용능력을 기반으로 한 티키타카식 대화를 거쳐
미팅룸 밖에서 활용할 수 있는 KPI 를 함께 도출하도록 노력해야합니다.

 

---

그래서 설정한 지표 예시

지표 상세지표

OEC : 하나의 KPI가 온라인 통제 실험의 결과를 평가하기에 불충분 하다고 판단될 때 쓰는 것, KPI 여러 개를 합친 것	Stikiness → 각 탭별 일별 이용자수 / 전체 이용자수 → 일주일 중 얼마나 자주 이용했는가?
KPI : 실험 혹은 성과를 나타내는 지표, OEC 보다 하위 개념	각 항목별 일별 이용자수 일주일간 전체 이용자수 🏹 기능 자체에 관심이 있는지 분석 또는 1회성 여부 판단 각 항목별 일별 클릭횟수 일주일간 전체 클릭수 🏹 기능 자체에 관심이 있는지 분석 또는 1회성 여부 판단 추가적인 각 탭별 1 depth 항목 사용내역수 → 반복해서 고객들이 사용했는지 ? ( 반복해서 사용한 비율이 이전보다 높아졌다면 → GNB 개선으로 인한 효과가 있었다고 볼 수 있다.)
Goal Metric : 회사의 장기적 목표를 반영하는 지표, OEC 보다 상위 개념임, 하나의 프레임워크라고 봐도 무방	기존 신규 고객 대비 홈탭 대비 아하모먼트 까지 도달한 인원 비율 상승 → 리텐션 증가
Driver Metric : 회사의 장기적 목표를 이루기 위해 실행한 “단기적 실험들의 결과를 반영하는 지표”, predictive metric으로 weekly conversion 등을 가질 수 있음	전체 고객들의 첫주차 Retention 증가 (접근성이 증가했다는 가정을 함으로) 전체 MAU → GA 기준으로 산출
Guardrail Metric : 장기적으로는 회사 비즈니스의 손실을 줄이고, 단기적으로는 실험의 신뢰성을 보장하는 Metric	신규 기능을 겪은 기존 고객들의 리텐션 및 아하모먼트 방문이 줄어들면 안됨 → 7 Day 리텐션 체크 기존에 없어진 탭들을 자주 (1달에 1번 이상) 사용하던 고객들의 수 → 기능을 합쳤을때 어떻게 사용하는지 확인 필요

---

레퍼런스

https://playinpap.github.io/summary-of-indicator-concepts-explained-by-bread/https://blog.naver.com/mel5959/222752792122

빵으로 설명하는 지표 개념 정리(OEC, KPI, Goal, Driver, Guardrail)

https://medium.com/@alexandersyoon/%EC%A7%80%ED%91%9C%EC%84%A0%EC%A0%95-%EC%9E%90%EB%A6%AC%EC%97%90%EC%84%9C-%ED%95%B4%EC%95%BC%ED%95%98%EB%8A%94-5%EA%B0%80%EC%A7%80-%EC%A7%88%EB%AC%B8%EB%93%A4-data-analyst-%EC%9D%98-%EC%BB%A8%EC%84%A4%ED%8C%85-f7012d61a572

https://playinpap.github.io/vanity-metric-prelude/

https://playinpap.github.io/vanity-metric-part2/

https://playinpap.github.io/vanity-metric-part1/

https://youtu.be/0kdQiFRXsLo

https://youtu.be/TAYKfmaSwvs

https://youtu.be/LcgIwmFKiFQ