KPI =Key Performance Indicator
(마케팅을 진행할 때 반드시 눈여겨봐야 하는 핵심 성과 지표)
KPI만 세우면 만사 OK? 서비스를 망치는 '가짜 KPI'도 있다
KPI는 고정불변한 지표가 아니다. 초기에 설정했던 KPI를 기준으로 데이터를 분석해도 중요한 시사점을 발견하지 못하는 경우도 종종 있다. 이럴 경우에는 기존의 KPI를 수정해야 한다. 또 평소에도 KPI를 지속적으로 지켜보면서 수정할 부분이 없는지 고민하는 자세가 필요하다. (사례 생략)
서비스 단계별로 달라지는 핵심 KPI 설정법
어떤 지표가 중요한 지표일까? 사실 어떤 지표가 중요한지는 크게 의미가 없다. 누구에게나 절대적으로 중요한 지표는 없기 때문이다.
한 명의 사용자는 서비스를 인지하고 이 서비스의 진짜 사용자가 되기까지 여러 단계를 거친다. 서비스마다 조금씩 다르지만, 서비스의 핵심 가치는 초기 유저의 서비스 경험을 잘 설계하는 것에서 출발해, 서비스를 계속 이용하도록 만드는 것으로 귀결되는데, 이 가치가 제대로 발휘하려면 일단 가장 첫 번째 단계인 유저 유입이 원활해야한다. 따라서 이때는 고객 유입을 돕는 마케팅(주로 유료 광고) 성과 지표를 중요하게 다룬다.
이걸 설명한 이유는 서비스 각 단계별로 중요한 지표들이 저마다 다르기 때문. 즉, 담당하고 있는 서비스가 현재 어떤 단계에 속해있는지에 따라 그에 맞는 지표를 설정하는 게 포인트!
이번 챕터에서는 서비스를 크게 3단계로 분류하고, 각 단계별로 살펴봐야 하는 지표와 효과적인 KPI를 설정하는 방법까지 소개하고자 한다. 우리의 서비스가 현재 어떤 상황에 처했는지, 이 단계에서 가장 중요한 지표가 무엇이고 어떤 것을 KPI로 설정해야 좋을지 궁금했다면 주목하자!
1) 초기 유저 경험을 잘 설계했는지 체크하는 KPI 설정법
시중에 있는 수백만 개의 앱들 가운데 우리 서비스를 선택해 준, 귀하디 귀한 유저가 서비스를 꾸준히 이용하도록 하려면 초반에 유저의 마음을 사로잡아야 한다. (대상이 너무 게임 앱 기준이네)
>Adrian Crook가 제작한 FTUE(First Time User Experience, 최초 사용자 경험) 체크리스트
•
앱 초기 단계에서 '재밌는 부분'을 충분히 강조했는가?
•
앞으로의 게임 진행과 그에 따른 보상을 명확히 보여주었는가?
•
튜토리얼 후에도 유저가 체험할 수 있는 추가 기능들이 있는가?
•
유저의 아이템 구매 효과를 명확히 알려주었는가?
문항이 게임에 특화되어 있는 거서럼 보이지만, 다른 카테고리에도 활용할 수 있다.
독서 앱 ‘밀리의 서재’
앱을 다운로드한 다음, 처음 접속하면 위와 같은 화면이 뜬다. 화면 아랫줄에 '로그인'과 '회원가입' 버튼이 있는 거로 봐서 처음 방문한 유저라면 회원가입을 해야 서비스를 이용할 수 있겠다는 생각이 든다.
그렇다면 이 앱을 최초로 사용한 유저의 사용자 경험을 측정할 수 있는 KPI는 ‘회원가입률’이 될 것이다. 회원가입률이 높다면 초기 유저 경험이 단계별로 잘 설계됐다는 뜻이 된다. 이처럼 최초 사용자 경험을 정확히 측정하기 위해서는 그에 맞는 객관적인 수치, 즉 지표를 꼭 설정해야 한다.
첫 화면부터 회원가입 창을 띄우는 전략은 자칫하면 서비스의 진입장벽이 될 수도 있다. 하지만 밀리의 서재는 해당 화면에 다음의 내용을 보여줌으로써 유저들이 거부감을 느끼지 않도록 유도했다.
•
"밀리가 알려주는 전자책의 장점 3가지": 밀리의 서재가 제공하는 서비스 가치를 유저가 느낄 수 있도록 강조함
•
"전자책, 오디오북, 장르까지 이 모든 게 9,900원?": 유저가 이 앱에 돈을 지출했을 때 얻게 되는 가치를 명확히 알림
•
"첫 달 무료! 환불도 확실해요": 회원가입을 하면 '첫 달 무료 이용'이라는 보상을 명시함
심지어 유저가 스크롤을 내리는 동안에도 회원 가입하기 UI를 아래에 계속 띄워놨다. 이는 유저가 회원가입을 하겠다고 마음을 먹은 순간, 곧바로 회원가입을 할 수 있도록 유도한 것이다. 이러한 UI 덕분에 중간까지 스크롤을 내렸다가 회원가입 버튼을 찾아서 헤맬 필요가 전혀 없다.
이렇게 '회원가입'을 유저 서비스 초기 경험의 중요한 단계로 정했다면, 그에 따른 KPI는 '유입 대비 회원가입률'로 잡을 수 있다. 그렇다면 어떤 데이터가 필요할까? 크게 날짜별 '앱을 설치한 유저 수'와 '회원가입한 유저 수'라는 2가지 데이터가 필요할 것이다. 이 두 가지 데이터를 활용하면 시간의 경과에 따른 회원가입률을 살펴볼 수 있다.
2) 서비스 매력도를 측정하는 KPI 설정법
이번에는 유저가 서비스에 재미를 느끼는지 측정하는 단계이다. 유저가 우리 서비스에 매력을 느껴야 꾸준히 사용할 테고, 그래야 구매할 확률이 더 높아진다.
그런데 한 가지 문제가 있다. 딱 봐도 애매모호하게 들리는 이 '매력도'라는 요소를 어떻게 측정해야 좋을까? 매력도를 측정할 수 있는 가장 확실한 지표가 하나 있다. 사실 이 지표는 비즈니스가 어떤 단계에 있어도 절대 공식처럼 활용할 수 있어서 '마법의 KPI'라고들 부른다.
그 주인공은 바로 리텐션이다. 리텐션이란 쉽게 말해 재방문율을 뜻한다. 시간이 지날수록 얼마나 많은 유저가 서비스로 돌아오는지 측정한 지표. 앞서 말했듯이 유저들이 서비스를 계속 이용해야 매출이 발생할 가능성이 커지기 때문에 리텐션은 매출과도 직결된 지표라고 할 수 있다.
그렇다면 리텐션은 어떻게 계산할까? 가장 일반적인 방법은 첫 사용일로부터 N일 후 재방문한 유저의 비율을 계산하는 것. 아래 그림을 보면 이해하기 쉬우실 것.
보통은 재방문 수치를 사용해서 리텐션을 계산하는데, 하지만 여기에서 더 나아가 리텐션을 활용해서 서비스를 개선하고 싶다면 단순 데이터 이상이 필요하다. 다시 말해, 재방문한 고객이 100명이라고 해서 그 자체만으로는 유의미한 데이터가 아니라는 뜻. 100명 중에서 단순 재방문한 고객도 있을 테고, 실제로 구매를 하거나 서비스를 이용한 고객도 있을 테니까.
따라서 재방문한 유저가 우리 서비스를 제대로 이용하고 있다는 '행동 반응'이 무엇인지 반드시 정의해야 한다. 이번에는 숙박 공유 플랫폼인 에어비앤비를 예시로 살펴보겠다.
에어비앤비 입장에서 '어떤 행동을 보인 유저'를 리텐션 데이터의 기준으로 삼아야 할까. 그건 바로 '예약'. 단순한 앱만 오픈했다고 수익이 발생하는 게 아니기 때문에 에어비앤비는 앱 오픈에서 더 나아가 예약이라는 이벤트를 리텐션 기준으로 잡는 것이다.
다시 정리하면, 단순히 앱을 재오픈한 정보가 아니라 앱을 재오픈하고 나서 어떤 행동을 했는지에 대한 데이터를 확보해야 더욱 고도화된 측정이 가능하다. 자신이 담당하는 앱을 기준으로 리텐션 기준을 한 번 세워보길 바란다.
아래 표는 세계적으로 유명한 기업별 리텐션 유저의 행동 기준을 정리한 자료*인데, 참고하시면 힌트를 얻으실 수 있을 것이다. (*해당 자료는 공식 데이터가 아닌 앱에서 제공하는 서비스를 기준으로 필자가 정리한 것임을 참고)
지금까지 리텐션 기준 설정의 중요성을 살펴보앗다. 그런데 중요성은 둘째 치고, 대체 어디서부터 어떻게 시작해야 할지 막막한 사람도 있을 것이다.
그래서 여러분을 위해 서비스 초기에 간단하게 점검할 수 있는 리텐션 표를 하나 준비했다. 서비스 초기에는 수집한 데이터가 별로 없기 때문에 1, 3, 7일과 같이 비교적 짧은 기간의 리텐션을 확인하고, 중후반부터 14, 30일과 같이 조금 더 긴 기간의 데이터를 확인하면 좋다. 여기에 각 버전별로 리텐션을 높이기 위해 어떤 업데이트를 했는지 간단히 메모해라.
이때 가장 중요한 포인트는 버전을 업데이트할 때마다 유저 리텐션이 상승하는지 여부이다. 위 그래프를 보면 로딩 타임, 튜토리얼, 자동전투 모드, 전투 밸런스 조절 등 버전별로 게임 내 기능을 개선하면서 업데이트했는데, 보시다시피 매 버전마다 리텐션이 상승했다.
이렇게 서비스의 KPI와 가설을 올바르게 설정해서 테스트, 검증, 개선이라는 선순환이 이루어지면 버전을 업데이트할 때마다 리텐션은 상승할 것이다. 그렇다면 유저들은 서비스 론칭 시점보다 훨씬 개선된 서비스를 이용하게 된다.
끝으로 리텐션 데이터의 모수는 서비스의 핵심 유저를 다양한 조건별로 나눠서 모니터링하는 게 좋다. 예를 들어, 모수에 30대 미국 유저와 10대 한국 유저가 한데 섞여있으면 이 데이터를 바탕으로 수치를 개선하기란 어렵다. 시차도 다를뿐더러, 문화적 특성과 행동 패턴도 다를 테니 말이다. 또 7~8월의 데이터를 분석한다고 할 때, 10대 한국 유저는 방학이라는 특수성을 고려해야겠지만 30대 미국 유저에게는 적용되지 않는다.
리텐션 조건 세분화하는 팁•
인구통계정보: 성별, 나이, 직업, 지역, 나라 등
•
사용 주기: 서비스 N일 이용한 유저, 서비스 N달 이상 이용한 유저 등
•
플랫폼: 안드로이드, iOS, 웹
•
매체: 페이스북, 구글, 트위터, 오가닉 유저(유료 광고 매체를 통하지 않고 자발적으로 앱을 설치한 사용자)
•
지불 유무: 무료 사용자, 유료 사용자
3) 공식처럼 통하는 광고 KPI 설정법
다양한 유저 그룹별 행동 KPI를 분석해서 제품 개선까지 마쳤다. 세 번째 단계에서는 똑같은 광고비라도 더욱 효과적으로 사용할 수 있는 광고 KPI 설정법을 알아보겠다.
광고 성과를 측정하는 KPI 역시 어느 정도 정해져 있다. 물론 광고 자체의 성과보다는 이를 서비스와 연결해서 살펴보는 게 훨씬 더 중요하지만 이번 아티클에서는 광고 자체 성과를 측정하는 KPI 분석법으로 가볍게 훑어보려고 한다.
용어 정리•
임프레션: 광고가 방문자에게 노출된 횟수 (예: 임프레션 값이 3이고, 광고에 노출된 사용자가 1이라면 사용자 1명에게 총 3번 노출되었다는 뜻)
•
CTR(Click through rate): 클릭 수/임프레션(광고 노출). CTR을 높이기 위해 광고 소재, 메시지, 타겟팅을 변경하기도 한다
•
CVR(Conversion rate): 인스톨/클릭 수(이때, 인스톨 기준은 단순 설치 혹은 가입 등으로 변경될 수 있다). CVR이 낮다면 유저가 광고를 클릭하고 나서 앱을 설치하기까지 어떤 장애물이 있는지 살펴보고 개선점을 찾아야 한다 (예: 앱스토어의 아이콘, 스크린샷, 설명 등을 변경하거나 앱 용량을 줄인다)
•
CPI(Cost per install): 지출비/인스톨. 즉, 유저 한 명당 발생한 마케팅 비용을 뜻한다. 크리스마스 등의 이벤트가 있으면 광고 단가가 올라가기 때문에 CPI도 같이 높아진다.
대부분의 회사들에서 위와 같은 표를 사용해 광고 성과를 분석한다. 거의 공식처럼 통하기 때문에 퍼포먼스 마케터라면 눈 감고도 그릴 수 있을 정도로 외워두는 게 좋다.
테스트 광고를 진행할 때 앞서 설명한 KPI를 분석해두면 실전에서 유용하게 활용할 수 있는데, 특히 대규모 광고 예산을 수립하는 과정에서 하나의 기준으로 삼을 수 있다.
[테스트 광고를 통해 알아내야 하는 사항]
•
유저 당 얼마를 지출해야 할까?
•
목표한 모수를 유입하려면 얼마를 지출해야 할까?
•
어떤 광고 매체와 광고 상품을 선택해야 할까?
•
어떤 플랫폼을 선택해야 모수(지역, 디바이스, 나이, 성별 등)를 세분화해서 타겟팅할 수 있을까?
•
CPI가 저렴한 플랫폼은 어디일까?
•
광고 컨셉은 적절한가?
위에서 소개한 KPI들은 전부 유저 행동과 관련돼 있다.
•
CTR을 높이려면? 유저가 광고 노출 대비 클릭을 많이 해야 한다
•
CVR을 높이려면? 광고 클릭수 대비 설치를 많이 해야 한다
•
CPI를 낮추려면? 유저가 설치를 많이 해야 한다
따라서 광고 KPI를 개선한다는 것은 유저 행동에 관한 가설을 세우고 검증하는 일이 된다. 예를 들어, CTR이 낮아졌다고 가정해본다. 어떤 이유 때문에 CTR이 낮아진 걸까?
혹시 유저에게 광고가 너무 자주 노출돼서 광고 피로도가 높아진 건 아닐까? 그렇다면 광고가 노출된 빈도수를 확인하고, 광고 이미지나 문구를 새로 바꿀 수 있다. 그럼 어떤 식으로 변경할지 살펴보자.
현재 광고 문구는 다음과 같다. 참고로 광고 타깃은 신규 유저.
지금 설치하면 1만 골드 즉시 증정. 지금 바로 다운로드하세요!
만약 '1만 골드'라는 재화 가치를 인지하고 있는 기존 유저라면 해당 문구가 CTR을 높이는 데 도움이 될 수 있겠지만 신규 유저는 상황이 다르다. 신규 유저는 1만 골드의 가치를 모르기 때문.
'1만 골드가 5000원의 가치'라는 설명을 덧붙여도 신규 유저의 클릭을 유도하기 힘든 건 마찬가지. 아직 앱을 이용해본 적 없는 유저 입장에서는 1만 골드를 이용해서 게임에서 얻는 즐거움이 5000원의 가치보다 높다는 걸 이해하지 못할 테니.
이런 경우엔 문구를 변경하거나 해당 광고의 타깃을 기존 유저로 변경하는 방법 등이 있다. 이와 같은 방식으로 가설을 세우고, 문구나 광고 이미지를 변경하여 CTR을 높이는 과정을 광고 소재 최적화라고 한다.
•
내 서비스를 처음 이용하는 유저의 FTUE를 측정할 수 있는 KPI 설정하기
•
내 서비스의 리텐션 기준 설정하기
•
내 서비스의 광고 성과를 CPI, CTR, CVR 기준으로 정리한 다음, 어떤 KPI를 어떻게 개선할지 고민하기
초보 마케터가 빠지기 쉬운 데이터 함정 2가지
데이터 함정에서 벗어나기1: '누적'이라는 눈속임
누적 다운로드 수치는 대표적인 함정 지표이다. 누적 다운로드는 시간이 지날수록 증가하는 KPI인 데다가, 서비스를 개선하는 데 아무런 도움도 주지 못하기 때문. 이 수치는 주로 서비스 홍보를 위해 언론에 제공하거나 투자자, 비전문가들을 대상으로 PR을 진행할 때 사용하곤 한다. 또는 앞서 소개한 드라마 속의 인물들이 '우린 지금 잘하고 있다'고 스스로 칭찬하는 지표로 쓰이기도 한다.
이와 같이 겉으로는 좋아 보이지만 비즈니스엔 별다른 인사이트를 주지 못하는 지표를 '허무 지표(Vanity Metrics)'라고 부른다. *관련 자료: Vanity Metrics (Product Plan)
그렇다고 누적 다운로드와 같은 KPI가 꼭 나쁘다거나 데이터를 왜곡한다는 뜻은 아니다. 오히려 정확한 데이터를 왜곡 없이 전달해야 할 때, 사업 전략상 이러한 데이터는 도움이 된다. 다만 이런 지표는 서비스가 성장하고 있다는 기분 좋은 감정만 심어줄 뿐, 딱히 서비스 개선에 필요한 시사점까지 전달하진 않는다.
허무지표는 대부분 누적 수치이다. 누적 페이지뷰, 앱 누적 다운로드 수, 누적 가입자 수, 누적 좋아요 수 등등 이런 숫자들은 프로모션이나 광고로 별다른 노력 없이도 만들 수 있다. 따라서 아래 질문에 답해보면서 여러분이 보고 있는 숫자가 허무지표인지 판가름해길 바란다.
•
이 지표를 통해 어떤 인사이트를 얻을 수 있는가?
•
이 지표를 개선하면 실제로 서비스가 개선된다고 볼 수 있는가?
•
이 지표를 개선하기 위해 해야할 일이 명확한가?
•
단지 시간이 흘러서, 혹은 광고비를 투입해서 숫자가 증가한 것은 아닌가?
그렇다면 누적이라는 함정에서 벗어날 수 있는 방법은 무엇일까? 자칫 함정에 빠뜨릴 수 있는 지표를 실전에서도 제 몫을 다하는 지표로 변환시키는 마법과 같은 기법은 바로 코호트 분석법.
코호트 분석이란 데이터를 공통된 특성이나 경험을 가진 사용자 집단으로 나누어서 특정 기간 동안 살펴보는 분석 방법인데, 예를 들면, 페이스북에서 유입된 그룹, 40대 남성 그룹(인구통계학적 특성을 공유하는 그룹), 특정 제품을 구매한 그룹 등으로 나눌 수 있다.
위 예시는 택시 예약 앱의 데이터를 바탕으로 진행한 코호트 분석. 이때, 신규 유저 수 데이터를 유입 광고 매체 그룹 군으로 나누어서 분석을 진행했다. 앱을 다운로드하고 나서 실제로 택시를 예약한 유저 비율을 시간에 따라 살펴볼 수 있다.
위 표에서 30일간 누적 다운로드 수치만 보면 '매체 1'*이 우수하다. 하지만 설치 이후 10일까지의 수치를 보면 '매체 2'의 잔존율(1.46%)이 '매체 1'의 잔존율(0.64%)에 비해 훨씬 더 높다.
즉, 코호트 분석을 통해 '매체 2'의 30일간 누적 다운로드 수치는 상대적으로 적었지만, 유저를 더 실속 있게 챙겼다는 사실을 알아낼 수 있었다. 코호트 분석 없이 단순히 누적 다운로드 수치만 살펴봤다면 오히려 '매체 1'의 성과가 더 우수하다는 성급한 판단을 내렸을 것이다.
데이터 함정에서 벗어나기2: 선택과 집중이 필요할 때
서비스를 운영하다 보면 꼭 봐야 할 것만 같은 KPI들이 눈덩이처럼 불어나곤 한다. 이렇게나 다양한 KPI를 전부 같은 우선순위로 놓는다면 과연 어떻게 될까? 엄청난 인력과 시간 낭비는 물론이고, 서비스 방향을 설정하는 일조차 어려울 것이다.
이럴 때는 OMTM(One Metric That Matters)이라는 개념을 활용하면 좋다.
OMTM이란 '하나의 중요한 지표'라는 뜻인데, 물론 서비스를 운영하면서 딱 한 가지 지표만 보라는 의미는 아니다. 그보다는 각 단계마다 최우선으로 봐야 하는 지표가 있다는 뜻이므로, 서비스 성장 단계에 따라 OMTM는 달라진다.
매출 관련 지표를 예시로 들어보겠다. 아래는 구매 관련 지표를 볼 때 많이 활용하는 KPI인데, 이번 아티클에서는 아래 5개 지표만 간략히 살펴보려고 한다.
•
ROAS(Return on Ad spend): 총매출/광고비
•
ARPU(Average revenue per user): 총매출/전체 유저 수
•
ARPPU(Average revenue per paying user): 총매출/전체 구매자 수
•
ASP(Average Selling price): 총매출/판매 수량, 즉 평균 판매 단가
•
Paying rate: 구매자 수/전체 유저 수, 즉 구매자 비율
물론 5개 지표 전부 다 증가하면 좋다. 하지만 현실적으로 그럴 가능성은 매우 낮다. 단적인 예로, 평균 판매 단가를 올리려고 구독권이나 아이템의 구매 단가를 높이면 구매자 숫자가 줄어서 구매자 비율은 하락할 수 있다. 모든 지표를 KPI로 정의하고 한꺼번에 개선하려고 하다 보면 오히려 그 어떤 지표도 개선하기 힘들다.
지표가 너무 많으면 지표 하나를 개선하기 위해 상대적으로 적은 시간과 노력을 쏟을 수 밖에 없다. 이를테면, ARPU가 개선되지 않았지만 테스트할 지표가 아직 많이 남았기 때문에 다음 지표로 넘어가는 것이다. 이런 패턴이 계속되면 서비스 개선은 이루어지지 않는데, 기준점이 되는 지표들은 계속 변경되다 보니 결국 업무 방향성까지 길을 잃고 만다.
따라서 서비스 단계별로 집중해야 할 하나의 지표를 정하고, 개선점을 확실히 찾아내는 게 중요하다. 아래는 세계적으로 유명한 테크 기업들이 어떤 지표에 집중하고 있는지 나타낸 그림인데, 생각보다 간단명료하며, 눈에 보이는 수치로 표현돼 있다는 특징이 있다. 당신의 서비스를 개선하려면 어떤 지표에 집중해야 할지 찾아보길 바란다.
▼
지금부터 딱 하나의 지표만 집중 공략할 수 있다면?
특정 부서만 KPI의 중요성을 인지해서는 안된다. 마케터와 PM뿐만 아니라 기획자, 개발자, 디자인팀까지 전 팀이 핵심 지표를 알고, 이 지표를 개선하기 위해 본인이 어떤 부분에 기여할 수 있을지 고민해야 한다. 서비스 초기에는 별 차이를 느끼지 못할 수도 있지만 시간이 흐를수록 서비스가 성장하느냐, 아니면 부진을 면치 못하느냐의 중요한 열쇠가 된다.
만약 회사 내 모든 부서원들이 딱 하나의 지표만 집중할 수 있다면?
앞으로는 이 질문을 항상 염두에 둔 상태에서 여러 가지 가설을 세우고, 어떤 데이터를 봐야 할지 기준을 설정해 보시기 바란다. 소수의 담당자가 아닌 모든 구성원이 지표를 눈여겨봐야 각자의 할 일이 명확해지고 모두 함께 같은 방향으로 나아갈 수 있다.
요약
•
가짜 KPI는 서비스를 망치는 지름길! 초기에 설정했던 KPI가 효과적이지 않다면 얼마든지 수정 보완할 수 있다
•
서비스 단계별로 달라지는 핵심 KPI 설정법
1) 초기 유저 경험 측정하기: 유저의 서비스 초기 경험을 측정할 수 있는 KPI를 설정한다
2) 서비스 매력도를 측정하기: 서비스에 최적화된 유저 행동 반응을 리텐션 지표로 설정한다
3) 광고 성과 측정하기: 서비스의 광고 성과를 CPI, CTR, CVR 기준으로 정리한 다음, 개선이 필요한 KPI를 수정 보완한다.
•
초보 마케터가 빠지기 쉬운 데이터 함정 2가지
1) '누적'이라는 눈속임: 허무지표, 특히 누적과 관련한 데이터는 보기에만 좋을 뿐, 별다른 인사이트는 없다. 지금 보고 있는 지표가 허무지표는 아닐지 점검하고, 코호트 분석법을 통해 데이터의 함정에서 빠져나오자
2) OMTM으로 선택과 집중하기: 각 서비스 단계마다 집중해야 할 지표는 하나로도 충분하다