Search
Name
요약
태그
🧑🏻⚕️ 요약자
공유 날짜
is_오픈채팅
is_커리어리
is_HOLIX
타겟 오디언스
VoC로는 충분하지 않은 이유
Open
고객의 소리에 귀를 기울이는 아이디어는 비즈니스 자체 만큼이나 오래됐습니다. 시간이 지나면서 "VoC"로 공식화된 이 관행에는 인터뷰, 설문조사 및 포커스그룹이 포함되었습니다. 그리고 최근에는 구매후 설문, 피드백 양식, 후속 이메일을 통해 이러한 방식을 온라인으로 가져오려는 노력이 있었습니다.
고객 경험을 이해하고 개선하는데 있어 피드백이 중요하다는 것에는 의심의 여지가 없습니다. 그러나 점점 더 경쟁이 치열해지는 오늘날의 디지털 환경에서 VoC 데이터만으로 충분할까요?
불완전한 스냅샷
VoC라는 용어가 처음 1993년에 만들어졌을 때 설문조사 및 포커스그룹과 같은 방법은 기억이 고객을 이해할 수 있는 유일한 방법이었습니다. 그후로 많은 것이 바뀌었고, 점점 더 많은 디지털 중심의 비즈니스가 생겨왔습니다.
물론 VoC는 온라인에서 고객과 연결할 수 있는 신기술로 계속해서 확산되고 있습니다. 하지만 수집된 피드백은 종종 고객이 실제로 제품이나 서비스를 어떻게 사용하고 있는지, 이탈의 원인이 있다면 무엇인지에 대해서는 거의 언급하지 않습니다.
이것이 바로 중요한 문제입니다. 의미있는 컨텍스트에 대한 이해없이 작은 시점 단위의 샘플을 사용하는 경우가 많습니다. 그 결과 고객 경험을 연결하는 복잡한 행동을 놓칩니다.
예를 들자면, 고객에게 식사경험을 평가하도록 요청하는 레스트랑의 피드백 카드에서 고객들이 첫방문인지, 10번째 방문인지, 무엇을 주문했는지, 식당이 얼마나 바빴는지와 같은 정보에 비추어 볼 때 그 대답은 얼마나 달라질까요? 아니면 카드가 더 전략적으로 처음 식사하는 사람들에게만 배포되었다면 어떨까요?
VoC는 UX방법론의 단일 도구
VoC가 제공하는 일반화된 데이터는 고객 경험을 개선하는 데 크게 도움이 되지 않습니다. 특히 필터링, 요약 및 행동 컨텍스트에서 벗어난 데이터가 제품팀의 책상에 도착하는 경우에는 더욱 그렇습니다.
VoC가 하지 않는 것은 솔루션이 무엇인지 알려주는 것입니다. 이를 위해서는 문제와 솔루션이 잘 맞는지 테스트하기 위해 실험을 실행해야합니다.
VoC는 훌륭한 UX방법론 중의 하나일 뿐이고 고객 경험에 대한 보다 포괄적인 관점을 가져야합니다.
정성적, 정량적 데이터의 한쪽에만 치우친다면 어떻게될까요?
· 정성 데이터에만 집중한다면?

"고객에 대한 이해는 깊지만 우리가 하는 일이 실제로 도움이되는지 효과가 있는지 모르겠어요."
· 정량 데이터에만 집중한다면?

"우리는 데이터 중심이지만 누구를 위해 만드는걸까요? 일은 잘 되는것 같지만 왜 그런지 모르겠어요. 일부에 대한 최적화만을 쫓고있어요."
· 정성+정량 데이터를 잘 활용하고 있다면?

"고객을 이해하고 고객이 제품을 사용하는 방식을 잘 이해하는 균형을 지키고 있어요"
훌륭한 팀들을 어떻게 하나요?
고객 여정 전반에 걸친 복잡한 관계를 설명하는 세분화된 행동 데이터 캡쳐
심도있는 정성적, 정량적 연구 및 분석방법을 모두 수용
개별 및 연결된 행동이 주요 지표에 어떤 영향을 미치는지 이해하고, 이를 활용해 추적하고 영향을 미치는 올바른 측정 기준을 결정
해당 데이터를 사용해 특정 사용자 그룹의 요구사항에 맞게 제품 경험을 개인화하고 맞춤화
변경사항을 빠르게 구현하고 그 영향을 측정하여 피드백 루프 닫기
VoC와 제품 분석을 혼합함으로써 기업은 고객과 자신을 위한 가치를 창출할 수 있는 진정한 기회를 얻게 됩니다. 다양한 VoC 메트릭과 접근방식의 장점에 대해서는 논쟁의 여지가 있지만 조직이 개발자와 디자이너를 고객과 거리를 두게한 채 VoC에만 의존한다면 문제가 됩니다.
빠르게 디지털화되는 세상에서 경쟁력을 유지하고자 하는 기업은 고객 경험에 대한 보다 포괄적인 관점이 필요합니다.
PM/PO
프로덕트 전략
프로덕트 분석
2022/06/17
주니어
중니어
기획자
B2B UX의 통념과 4가지의 핵심 가치
Open
Cimpress의 프러덕트 매니저로 활동하고 있는 Tanulekha Roy는 B2B UX에 대해 흔히 가지고 있는 통념과 B2B 프로덕션이 가지고 있어야 할 4가지 핵심 가치에 대해 아와 같이 소개하고 있다.
통념1. B2B 프로덕션의 고객은 비즈니스 파트너/비즈니스 SPOC(단일화된 고객 접점)이라는 통념
B2B 프로덕션의 고객은 직원이다. 하지만 이 직원들은 공식적인 온보딩 없이 프로덕션을 마주하게 되는 일이 빈번하다. 그렇기에 Self-learning을 유도하는 UX를 가진 프로덕션을 만들 수 있도록 해야 한다.
통념2. 사용자가 우리의 B2B 프로덕션을 사용할 필요가 있다는 통념
B2B 프로덕션을 사용하는 유저들은 그들이 오랜 시간 동안 유지해 온 시스템(legacy)가 있기에 B2B 프로덕션에 적응하는 것이 힘들 수 있다. 또 우리 제품에 적응하는 것이 중요한 것이 아니라, 업무 목표를 완수할 수 있도록 하는 것에 집중해야 한다는 것을 명심해야 한다.
그렇다면 B2B 프로덕션이 가지고 있어야 할 핵심 가치 4가지는 무엇일까?
일관성 : 한 번 배워서 모든 곳에 적용할 수 있어야 한다
- 동일한 색상과 폰트뿐만 아니라 정보의 접근성에도 신경을 써야 한다. 링크와 버튼의 위치, 네비게이션과 인터랙션, 필터를 포함한 여러 요소가 일관된 동작을 할 수 있어야 한다.
모듈화 : 필요한 것만 표시한다
- 복잡할 수 있는 B2B 시장에서는 정보를 구분하여 제공하는 것이 중요하다. 모든 리포트, 대시보드를 한 화면에 보여주는 것은 사용자가 제품을 이해하는 시간만 늦출 뿐이다.
접근 제어 : 유저에 따른 기능 맵핑이 되어야 한다
- 한 기능 안에서도 여러 level로 나뉠 수 있다. 관리자로서의 접근 권한을 가진 유저는 모든 기능에 접근할 수 있겠지만 뷰어로서의 접근 권한을 가진 유저는 같은 기능이어도 제한적으로 기능에 접근할 수 있도록 제어된다. 이러한 상황과 유저의 페르소나를 기억하고 있다면 용도에 따라 기능을 논리적으로 분리할 수 있을 것이다.
Product Nudge : 자연스럽게 유저를 온보딩하는 가이드
- 프로덕션의 관련 메뉴 안에서 도움말, 말풍선, FAQ, 짧은 온보딩 영상을 삽입한다면 유저가 자연스럽고 빠르게 프로덕트에 적응할 수 있을 것이다.
마지막 팁: B2C 프로덕션처럼 View와 Click 이벤트를 심어서 User experience journey를 파악해보자
B2B, B2C와 상관 없이 사람을 위해 제품을 만든다는 것은 변하지 않는다. 그렇기에 유저에게 프로덕션을 사용하도록 강요하는 것보다 유저가 사용하고 싶어하는 프로덕션을 만드는 것이 중요하다.
UX
프로덕트 전략
2022/06/14
주니어
‘성장’을 위해 제품의 ‘안전성’을 포기하면 안되는 이유
Open
‘안전'의 이슈는 제품의 가치를 떨어뜨리고 비즈니스 비용을 발생시킵니다. 안전 문제를 경험한 고객은 보통 다시 돌아오지 않으며, 부정적 뉴스 혹은 입소문을 통해 수 십 수 백만 명이 브랜드에 대한 부정적 인식을 갖게 됩니다.
따라서, 제품의 안전을 보장하기 위한 계획은 성장을 지원하는 계획이라고 말할 수 있습니다. PM은 제품이 성장할수록 안전 이슈의 중요성과 가능성을 인지하고 대응방안에 대해 알고 있어야 합니다.
제품의 안전성 = 인식 + 현실
결국 안전은 ‘느낌'입니다. 사람들은 인식을 기반으로 ‘리스크’를 판단하며, 이를 기반으로 결정을 내립니다. 따라서 제품의 안전성은 안전하다는 ‘인식'과 실제로 안전한 ‘현실' 모두를 포함해야 합니다.
1) 안전 문제는 발생 빈도에 비해 회사에 보고되지 않는 경우가 많으며 2) 안전 문제를 겪은 사용자는 관련 경험을 주변에 공유합니다. 간접적으로 안전 문제를 인지한 사용자들은 위험을 완전히 회피하기 위해 제품을 사용하지 않기로 결정할 수 있습니다.
안전 문제는 우리가 인지하는 수준보다 숨겨진 문제가 많을 수 있음을 알아야 하며, 그 사건으로 인해 다른 사용자가 받을 영향에 대한 평가도 함께 진행되어야 합니다.
안전 리스크 식별 방법
1단계: 여러 부서가 모여서, 가능성이 있는 위험 목록 작성하세요. 가설을 수립하고 최대한 구체적으로 논의하여 사용자 여정을 따라 리스크와 우려사항을 나열하세요.
2단계: 나열한 리스크를 분류하세요. 다음 리스크 분류방법을 참고하세요.
∙제품 리스크 vs 행동 리스크 - ‘제품 자체’의 동작 실패인가, 혹은 제품을 ‘사용하는 행동'과 관련된 위험인가
∙빈도 vs 심각도 - 자주 발생하는가, 한번 발생해도 치명적인가
∙남용, 오용, 악의적 행동 - 사용자가 제품을 의도적으로 나쁘게 사용하는가(e.g. 스팸)
∙개인정보 보호 - 특히 커뮤니티 제품/서비스의 경우, 사용자의 신원과 개인정보가 불순한 목적으로 사용되지 않도록 주의해야함
∙사용자의 제품 통제 정도 - 사용자가 제품을 사용할 때 안전하다고 느낄 수 있도록 추가적인 설정 기능이나 통제장치가 필요할 수 있음(e.g. 자녀 보호기능)
∙페르소나별 리스크 - 여성, 노인, 특정 인종 그룹, 어린이 등 특정 그룹에 영향을 미칠 수 있는 사회적 사건이나 트렌드를 검토해야 함
리스크 데이터 수집하기
안전 퍼널에서는 나쁜 경험을 가지는 사용자를 최소화해야합니다. 리스크를 선행지표와 후행지표로 분류하세요.
사용자가 어떻게 위험을 알리는지 확인하고, 품질보증(QA)테스트를 통해 리스크를 확인하세요. 이 데이터는 어떤 리스크에 가장 먼저 손을 대야 하는지를 알려줍니다.
안전 로드맵 구축하기
리스크를 식별하고 분류하는 작업을 완료했다면, 리스크의 상대적 중요성을 기반으로 사용자에게 안심을 줄 수 있는 솔루션을 구축하세요.
프로덕트 전략
프로덕트 분석
2022/06/02
주니어
중니어
2022년 & 이후 프로덕트 트렌드
Open
Product-Led Growth와 No-Code는 확실히 2020년과 2021년의 핫 트렌드였습니다. 다음 2022년 및 그 이후의 다음 제품 트렌드에 대한 5가지 소개합니다.
구매 잊기
이 키워드는 스토리지, 모니터링 및 백업의 기능을 제공하는 제품에 알맞습니다. 고객이 데이터를 어딘가에 저장해야 하는 기능적 요구 사항 을 찾고 있다면 더 중요한 것은 데이터가 안전하다는 것을 알고 마음의 평화를 얻는 감정적인 요소가 있습니다.
- 참여도가 낮은 제품은 핵심 기능에만 집중하면 되기 때문에 일반적으로 유지 관리가 더 쉽습니다. 즉, 고객은 문제가 발생했을 때만 제품을 찾아오면 됩니다.
- 반복 가치 는 고객이 1년 이상 서비스를 사용하지 않은 경우에도 제품을 유지하고 신용 카드 정보를 계속 업데이트하도록 유도하는것이 좋습니다.
ROI 리포팅
B2B 기업에 해당 되는 키워드입니다. 가치와 수익이 매치되는 프로덕트는 쉽게 고객에서 설득할 수 있습니다. 구매자는 제품 비용, 설치 비용, 이 새 앱을 유지 관리하는 비용, 교육하는 비용, 제대로 작동하지 않는 비용은 얼마인지 궁금해 합니다.
이러한 경우 가장 좋은 방법은 ROI에 대해 보고하는 것입니다.
특정 방식으로 가치를 추가하겠다고 구매자에게 약속하고 이를 증명하세요.
Tip #1: 집착은 하지 마세요. 항상 가능한 것은 아닐 수도 있습니다.
Tip #2: 경쟁업체에서 배우고 복사해보세요.
유료 활성화
사용자는 완전히 활성화되기 전에 마지막 고비를 넘기 위해 약간의 넛지가 필요할 수 있습니다. 이러한 경우 활성화하기 위해 "지불"하는 것을 두려워하지 마세요.
SaaS를 먹는 SaaS
일반적인 SaaS 제품이라면 Twilio, Stripe, Algolia 같은 기술 스택의 일부로 사용하는 것이 가속화 될것입니다. 이러한 앱은 많은 소프트웨어 제품의 중추를 형성했지만 부차적인 경험에 대해서 유효합니다. 또한 이런 경향은 메인 SaaS는 경험에도 영향을 미칠것입니다.
Ed-Tech 탐구
Ed-Tech은 콘텐츠 마케팅의 확장이라고 생각할 수도 있지만 그 이상입니다. 일반 대중에게 자신의 프로덕트 이점에 대해 교육해야 합니다. 현재 Ed-tech 비즈니스 모델은 다음과 같습니다.
(a) 무료, 무작위 광고로 수익 창출(Youtube)
(b) 무료, 팬으로부터 후원 또는 기부금 모으기(Patreon)
(c) 과정당 유료(Udemy)
(d) 월별 유료(Treehouse)
프로덕트 분석
비즈니스 전략
2022/05/16
주니어
중니어
JTBD 프레임워크 제대로 이해하기
Open
사용자의 업무상 발생하는 워크플로우 내 문제를 해결하기 위해 존재하는 것이 B2B SaaS의 존재 의의입니다. 과업을 수행하기 위해 제품이나 서비스를 구매한다는 JTBD(Jobs to be Done) 프레임워크는 B2B 프로덕트를 만들고 있는 사람들이 필수적인 프레임워크입니다. 고객이 수행하고자 하는 과업을 명확하게 정의하지 않고 제품 개발에만 몰두하는 것은 방향 없이 속력만 내는 것입니다.
원문에서는 JTBD 프레임워크의 9가지 원칙에 대해 상세한 설명과 함께 소개하지만, 일부만 옮기겠습니다. 궁금하신 분들은 원문 링크를 참조하세요.
3. 고객의 과업(JTBD)는 오랜 시간에 걸쳐 안정적이게 되었다
• '부모가 자녀에게 삶의 교훈 물려주기' 과업은 인류만큼 오래된 과업입니다
• '출근길의 무료함 달래기'는 지역과 관계 없이 동일하게 적용되는 과업입니다
• Amazon은 '고객에게 가장 좋은 것을, 가장 저렴하게, 가장 편리하게 제공하는 것'을 과업으로 정의했기 때문에 이커머스 플랫폼 뿐 만 아니라 다양하게 비즈니스를 운영할 수 있습니다
4. 고객의 과업은 솔루션이나 기술과 무관하다
• 자신의 제품이 최적의 솔루션이 될 수 있도록 고객의 불편함과 니즈를 입맛대로 정의하고 싶은 욕구에 매몰되어서는 안됩니다
• 킥보드 대여 서비스가 해결하고자 하는 과업은 킥보드를 더 쉽게 빌리는 것이 아니라, 도심 속 이동을 더 편리하게 하는 것입니다
• 이미 고객은 현존하는 기술이나 자신만의 솔루션으로 해당 과업을 수행하고 있다는 것을 잊어서는 안됩니다
5. 제품의 성공은 제품이나 고객에 대한 분석이 아닌 고객 과업의 단위 분석(Unit Analysis)에서 창출된다
• 고객은 자신의 과업에 대해서는 알고 있지만, 그 과업의 최적 솔루션에 대해서는 모르기 때문입니다
• 헨리 포드가 '고객에게 무엇이 필요한지 묻는다면, 그들은 더 빠르고 지치지 않는 말이 필요하다고 답할 뿐이다'고 한 말과 일맥 상통합니다
• 고객의 과업은 시작과 끝이 존재하는 프로세스 형태로, 대여섯 가지에서 많게는 20~30개의 단위 과업으로 이루어져 있습니다
• 각 단위 과업 중 어떤 부분이 병목이며, 예측이 불가능 하고 비효율이 발생하는지에 대해 학습 해야합니다
7. 과업을 정의함으로서 니즈 해결의 성공을 측정할 수 있는 측정 지표로 활용 가능하다
1) 고객이 과업 수행에서 진정으로 원하는 Desired Outcome을 정의합니다
2) 이를 달성하기 위한 측정 지표와 기준값을 정의합니다
3) 이 기준값을 달성할 수 있도록 제품을 개발하고 마케팅을 수행합니다
• Desired Outcome: '중고 아이폰을 제 값에 빠르게 판매하기'
• 측정 지표와 기준값: 제 값 = 60만원+, 빠르게 = 7일-
• 달성 방법: 물건을 먼저 수령해 위탁 판매하고, 판매 고객에게는 최소 가격을 보증한다
8. 사람들은 과업을 더 잘 수행하거나, 더 저렴하게 수행할 수 있는 제품이나 서비스를 원한다
•
과업을 더 잘 / 덜 잘 수행한다,
가격을 더 많이 / 더 저렴하게 제공한다 두 축으로 2x2 매트릭스를 그릴 수 있습니다
• 고객이 과업을 해결하기 위해 사용중인 솔루션의 기능이 과다하다면 덜 제공하는 것도 하나의 방법이될 수 있습니다
프레임워크
PM/PO
2022/04/22
중니어
시니어
A/B테스트는 죽었다
Open
A/B 그들은 작동하는 것과 작동하지 않는 것을 빠르게 시도하고, 실패하고, 구현합니다.그리고 마치 C급의 의사결정인 것처럼 믿고 따릅니다. 하지만 성공적인 A/B 테스트가 결과적으로 실패한 이유를 살펴보겠습니다.
참신 효과
고객을 대면하는 새로운 기능에는 자연스럽게 관심이 있고 경쟁자 반응 효과가 있을 수 있습니다. 하지만 참신함은 클릭을 생성한 다음 사라집니다. 결국 새 기능은 "표준”이 되고 영향은 줄어들 것입니다. 일부 시스템에서는 최종 결과만 중요합니다
너무많은 A/B 테스트 실행 중
실험은 대부분 상호 배타적으로 간주되므로 모집단이 겹칩니다. 실제로 대부분의 트래픽 분할은 일부 상호 배제와 함께 인구의 일부에서 수행되며, 불행히도 실험은 가장 충성도가 높은 사용자에서 훨씬 더 나은 성능을 보였습니다.
부정확한 측정항목
A/B 실험을 통해 그룹의 주문 수를 $5.5로 성공적으로 증가시켰습니다. 하지만 동시에 낮은 그룹에 대한 유지율은 48%로 떨어졌지만 이를 모니터링하지 않았습니다…이처럼 리텐션은 복합적인 지표입니다. 이처럼 장기 트래킹이 필요한 항목에 대한 A/B 테스팅은 관찰하기 어렵습니다.
범용적 결과
A/B 테스팅은 모든 방법론이 승자입니다. 프로덕트 특징에 맞춰 평가 되지 않습니다. 결과 대해 어떤 동작으로 이뤄졌는지 제공하지 않습니다.
인사이트 부족
버전 A가 B보다 전환율이 더 좋다는 것을 알게 되었습니다. 하지만 이것은 핵심 학습이 아닙니다! 개별적인 사용자, 실험한 버전에 대한 인사이트를 주지 않습니다. A/B 테스트는 개별 인과 관계 알고리즘이 아닙니다. 단지 현재 상황을 감안할 때 변이가 모집단에서 평균적으로 더 낫다는 것을 알려줍니다. 즉, 개인 X_i와 X_j를 고려하면 한 사람이 다른 사람보다 더 높은 지표를 가질 가능성이 더 높은지 여부를 알 수 없습니다.
프로덕트 전략
지표
A/B테스팅
2022/04/21
주니어
중니어
많은 SaaS 회사가 미디어를 자체적으로 운영 하고있는 이유
Open
콘텐츠가 비즈니스와 마케팅 분야에도 엄청난 잠재력을 가지고 있다는 점이 증명되고 있습니다.
특히 지난 몇 년간 Salesforce, Hubspot, Shopify와 같은 SaaS 기업들이 미디어 회사처럼 움직이기 시작하면서 콘텐츠 마케팅은 한 단계 도약하고 있습니다.
Salesforce
지난 해 세일즈 포스는 대규모의 콘텐츠 투자를 발표하면서 할리우드 스타일의 콘텐츠 스튜디오를 만들었습니다.
B2B 고객 유치라는 궁극적인 목표를 가지고 고품질의 콘텐츠를 말들기 위함이었죠.
Hubspot
다양한 마케팅 솔루션을 제공하는 Hubspot은 뉴스레터, 팟캐스트 등을 운영하는 미디어 The Hustle을 330억에 인수했습니다.
Shopify
디스커버리 채널과 함께 Shopify's Studio라는 미디어 회사를 설립하여 I Quit라는 프로그램을 제작했습니다.
회사를 시작하기 위해 직장을 그만둔 기업가들에게 초점을 맞춘 예능 프로그램이었습니다.
위와 같은 테크 기반의 B2B SaaS 회사들이 콘텐츠에 투자하는 이유는, 하이엔드 테크놀로지의 가치를 고객에게 제대로 전달하기 위해서입니다.
기술이 충분히 발전했고 훌륭한 프로덕트도 넘치는 상황에서 그 가치를 제대로 전달할 양질의 콘텐츠는 턱없이 부족한 상황입니다.
제품과 서비스를 제대로 알리기 위해선, 그리고 고객의 재방문을 위해선 콘텐츠에 대한 투자가 필요합니다.
또한 테크 회사들은 이미 훌륭한 제품과 서비스를 통해 충분한 고객을 확보하고 있기 때문에,
양질의 콘텐츠에 투자할 여력까지 가지고 있습니다.
이러한 콘텐츠의 유형으로는 회사의 제품과 기술에 대한 교육자료나
회사의 흥미로운 이야기에 초점을 맞춘 다큐멘터리 형식의 프로그램 등이 있습니다.
다만 콘텐츠 마케팅을 구축 및 그 이점을 확인하는데에는 시간이 걸리고
콘텐츠의 지속적인 생산 역시 필요하다는 점을 염두에 두어야 합니다.
마케팅
실 사례
2022/04/20
주니어
🧐 문의 채널을 설계하는 방법
Open
문서 작성법
경험 공유
프로덕트 전략
2022/03/29
주니어
중니어
사람들이 착각하는 MVP에 대한 오해
Open
프로덕트 분석
프로덕트 전략
실 사례
2022/03/25
주니어
8가지 통계 법칙
Open
통계 연구 결과는 어떤 내러티브로 전달하는지가 아주 중요합니다. 통계학 졸업반 학생들을 대상으로 하는 Statistics as Principled Argument 라는 책의 저자인 Abelson의 법칙 8가지를 소개합니다. 전달을 위해 의역을 많이 했으니 원문이 궁금하신 분들은 원문을 확인해주세요.
1. 확률은 생각만큼 매끄럽게 발생하지 않는다
- 동전 던지기가 50% 확률이라고 해서 앞면 다음에 반드시 뒷면이 나오진 않습니다
- 실제 랜덤 함수의 결과는 결과들이 생각보다 뭉쳐있습니다
2. 사람들은 표본 간 차이를 무시하려는 경향이 있다
- 표본마다 측정치는 다를 수 있는데, 이를 무시하고 잘못된 확신을 가지려 하는 경우가 많습니다
- 특히 표본 크기가 작을 때 추정된 값을 중심으로 신뢰 구간을 계산하는 것이 중요합니다
3. 통계적 관행은 한 번만 다시 생각하라
- 오랜 시간동안 유의성 실험에 p < 0.05를 사용하는건 관행이었습니다
- 하지만 현대 UX 분석에서 p < 0.10이라는 덜 엄격한 기준을 적용했을 때 더 높은 통계적 힘을 낼 수 있었습니다
- 마음에 드는 결과를 찾기 위해 p < 0.05와 p < 0.10 사이를 왔다갔다 하면 안됩니다
4. 복잡한 분석 방식으로 뭘 분석해야할 지 모름을 덮으려 하지 마라
- 다변량 분석 방식은 유의미할 수 있는 종속 변수를 결합할 수 있는 어떤 방법이 있음을 나타낼 뿐, 그 조합이 어떤 실제적 의미를 갖는지는 고려되지 않았습니다
- 각각 단일 분석 결과는 상관 관계가 있지만 UX 관점에서 다르게 해석되는 경우가 있습니다. 이런 분석 결과를 맹목적으로 조합 해 그 조합을 이해하려는 노력보다는 각각을 별도로 분석하는것이 더 옳습니다 (예: 성공률, 용이성 등급, 완료 시간)
5. 아무 할 말이 없을 땐 아무 말도 하지 마라
- 종종 분석 결과가 어떤 유의성도 보이지 않는 경우가 있을 수 있습니다
- 여기서 어떤 의미를 뽑아내기 위해 데이터를 이리 저리 쥐어짜기 보다는 다음 연구로 넘어가는게 맞습니다
- 거짓으로 결과를 뽑아내는것 보다는 아무 말도 하지 않는 것이 낫습니다
6. 공짜 점심은 없다
- 단일 실험 결과는 실험 맥락을 벗어나는 일반적인 경우까지 일반화되어 적용될 순 없습니다
7. 소파를 움직이지 않으면 먼지를 볼 수 없다
- 한 분석 결과가 컨텍스트가 다른 상황에 적용 가능할 지 확인하는 방법은 그 컨텍스트를 변수화 하는 것입니다
8. 비판은 방법론의 어머니다
- 모든 답을 내려주는 한 가지 실험은 있을 수 없고, 한 실험은 어떤 종류든 비판에 노출될 것입니다
- 적절한 비판을 받았다면 연구자들은 그러한 비판을 극복할 수 있는 추가적인 연구를 수행하게 될 것입니다
- 이런 결과로 기존 일반론이 지지되거나, 수정되거나, 파기되기도 하며, 새로운 일반론이 등장하기도 합니다
마인드셋
데이터 분석
프레임워크
가이드
2022/03/17
중니어
시니어
경쟁사 UX 분석하기: 단계별 가이드
Open
프로덕트 분석
UX
리서치
2022/02/17
주니어
중니어
제품 복잡성 커브
Open
프로덕트 전략
2022/02/03
주니어
중니어
Data-driven 디자이너로 가는 길 - A/B테스트 실행 팁🥤
Open
[Data-driven 디자이너로 가는 길 - A/B테스트 실행 팁
]
글쓴이는 디자이너이다. 회사에서 일하던 중에 기회가 생겨서 데이터 기반으로 사이트를 개선하는 팀과 일해보는 경험을 하게 되었다. 이 때 글쓴이는 A/B테스트에서 쓰이는 언어와 프로세스를 익혔다.
데이터 기반 사고와 A/B테스트 방법론을 설계 프로세스에 통합하는 방법을 디자이너로서 설명하고자 이 글을 작성하였다.
[요약]
데이터 삼각측량을 사용하여 문제와 해결효과를 올바르게 설정하고 가설 범위를 좁힌다.
. 데이터 삼각측량(data triangulation): 동일한 현상을 연구할 때 여러 자료를 활용하는 것. 단일 소스만 활용하면 자료 자체의 결함, 편견 등이 작용하는 문제가 발생할 여지가 있음)
측정 가능하고, 검증 가능한 가설을 구성하고 문서화 한다.
테스트 전략을 세운다. 어느 정도 깊이있는 분석이 되어야 하고, 주기적으로 업데이트 되어야 한다.
테스트 전략들이 시각적으로 잘 대조되도록 디자인한다. 팀원과 더 원활하게 커뮤니케이션하는데 도움이 되며 디자인하는 과정에서 아이디어가 나오기도 한다.
작은 테스트부터 시작한다. 큰 아이디어에는 많은 가설이 포함되기 마련이어서 결과를 해석하기가 어려울 수 있다. 작은 테스트는 아이디어를 더 확실히 검증할 수 있다. 또한 테스트에 추진력이 붙어서 팀이 더 큰 테스트를 시도하는 동기로 작용한다.
[본문 일부 발췌]
- 가설 프레임 추천: [사용자 그룹]의 경우 [변경]되면 [이유] 때문에 [효과], [측정]에 영향을 미칩니다.
- 테스트를 목적에 따라 분류해볼 수 있다. 탐색적인 테스트는 특정 유형의 동작에 대해 더 많은 인사이트를 얻기 위한 것으로 반드시 모든 사용자를 대상으로 하지는 않음. 평가 테스트는 모든 사용자를 대상으로 버전을 롤아웃할 의도로 특정 솔루션의 유효성을 검사하는 것.
- 스프레드시트와 통계 분석은 테스트 실행 전략을 다수의 청중들에게 전달하기에 적합하지 않았다. 글쓴이는 다이어그램을 그려서 보여줌으로써 전체 조직이 테스트에 참여할 수 있게끔 전략 전달에 성공했다.
- 한 화면에서 여러가지를 동시에 테스트하기보다 한 가지씩 진행했다. 예를 들어 기존에는 상품 사진들을 둘러보려면 클릭 1번에 사진 1장씩 전환시켜보는 식이었는데, 여러 사진을 엮어서 한 화면에 보여줌으로써 상품의 전체적인 느낌을 한눈에 볼 수 있게 해보았다. (첨부 이미지 참고)
UX
실 사례
A/B테스팅
데이터 분석
2022/02/07
신입
주니어
B2B 프로덕트의 UX 측정하기
Open
UX
지표
2022/01/26
주니어
중니어
'가치' 프레임워크
Open
프레임워크
마인드셋
프로덕트 전략
프로덕트 분석
PM/PO
스타트업
2022/01/11
주니어
중니어
당신에게 필요한 단 하나의 프로덕트 전략 프레임워크
Open
당신에게 필요한 단 하나의 프로덕트 전략 프레임워크
아무리 프로덕트 전략을 세세하게 짜뒀다고 해도 전략의 본질만 남겨 몇 문장만으로 간소하고 명확하게 표현할 수 있어야 합니다. 그렇게 표현하지 못한다면, 그 전략에 중요한 포인트가 없거나 짚어내지 못하는것입니다. 목표한 성공을 달성하기 위해서는 최적의 길을 선택할 수 있도록 돕는 훌륭한 전략이 필요합니다.
Geoffrey Moore의 Value proposition statement나 Positioning 프레임워크를 통해 다음과 같이 프로덕트 전략을 몇 문장으로 요약할 수 있습니다.
For (타겟 고객), Who has (니즈), (프로덕트 이름) Is a (시장 카테고리) that (핵심 가치/구매해야 할 이유). Unlike (핵심 경쟁 대체제), the product (경쟁 우위).
한글로 옮기자면 다음처럼 만들 수 있겠습니다.
(니즈)를 가진 (타겟 고객)에게, (프로덕트 이름)은 (핵심 가치/구매해야 할 이유)를 가진 (시장 카테고리)이다. (핵심 경쟁 대체제)와는 다르게, (프로덕트 이름)은 (경쟁 우위)를 제공합니다.
몇 가지 예시로 프레임워크를 어떻게 활용할 수 있는지 확인해봅시다.
[Netflix]
엔터테인먼트를 원하는 밀레니얼들에게, Netflix는 심리스하게 작동하는 TV 시리즈의 온라인 구독 서비스입니다. HBO나 HULU와는 다르게, Netflix는 몰아서 볼 수 있는 오리지널 컨텐츠를 제공합니다.
[AWS]
회사가 성장하면서 인프라 비용을 컨트롤 하고 싶은 성장하는 회사들에게 AWS는 아주 유연한 클라우드 호스팅 서비스입니다. Google Cloud나 Microsoft Azure와 달리, AWS는 클라우드 서비스 일체를 제공합니다.
[Uber]
지역구 내에서 탈 것이 필요한 스마트폰을 가진 모두에게, Uber는 기존 택시 서비스보다 더 간단하고, 더 편리하고, 더 높은 퀄리티를 가진 이동수단 경험을 제공하는 차세대 택시 서비스입니다.
프레임워크
문서 작성법
프로덕트 전략
비즈니스 전략
B2B 프로덕트 코호트 분석 제대로 하기
Open
B2B 프로덕트는 B2C 프로덕트와 가지는 성향이 달라 B2C 프로덕트를 분석하던 방식을 사용할 경우 잘못된 분석을 하게 될 가능성이 있습니다. B2C 프로덕트와 B2B 프로덕트 사용자들은 크게 두 가지 다른점을 가지고 있습니다.
새로운 사용자가 계속해서 들어오지 않음
- B2B 프로덕트는 '도입 시기'가 정해져 있는 경우가 많고, 한 번에 많은 사용자가 들어오는 날이 정해져 있습니다.
자주 사용하지 않음
- B2C 프로덕트처럼 매일 일정하게 사용하기 보다는 워크플로우의 특징에 따라 사용하는 빈도와 주기가 정해져 있습니다.
(여기서부터는 원 글의 이미지와 함께 보시면 더 좋습니다)
ABC 회사는 1월 첫 주에 많은 사용자가 들어왔고, 각 주별 코호트는 거의 동일한 양상을 보입니다.
XYZ 회사는 2월 마지막 주에 많은 사용자가 들어왔고, 역시 각 주별 코호트는 거의 동일한 양상을 보입니다. ABC 보다는 리텐션율이 떨어집니다.
하지만 이 두 회사를 합쳐서 확인했을 땐 1월 첫 주 코호트의 리텐션은 높고, 2월 마지막 주 코호트의 리텐션은 낮다는 분석 결과가 도출됩니다. 또, 일자별 리텐션을 확인했을 땐 모든 코호트가 동일한 양상을 보이기 때문에 코호트별 특징을 발견할 수 없습니다. 만약 두 회사가 어떤 특징으로 프로덕트를 사용하고 있는지 알지 못했다면 잘못된 분석을 바탕으로 의사결정 했을지도 모릅니다.
B2B 프로덕트에서 실제 인사이트를 발견할 수 있는 코호트 분석 방식은 다음과 같습니다.
• 고객 특징으로 분류 (회사 규모, 비즈니스 모델, 플랜)
- 내 프로덕트가 어떤 사이즈의 고객에게 더 잘 먹히는지 발견해 로드맵 우선순위를 정하는데 도움이 될 수 있습니다.
- 내 프로덕트가 목표로한 시장에 잘 먹히는지 확인해 PMF를 달성하는지 확인할 수 있습니다.
- 내 프로덕트를 구매한 사용자가 어떤 행동양상을 보이는지 확인할 수 있습니다.
• 사용자 역할
- 각 사용자는 본인의 역할에 따라 서로다른 업무적 니즈를 프로덕트를 통해 해결하고 있습니다. 프로덕트의 변경사항이 각 사용자에게 어떤 역할을 미치는지 발견할 수 있습니다.
- 프로덕트의 개선은 결국 한 역할을 강화하고, 다른 역할에 영향이 갈 수 밖에 없습니다. 사용자 역할에 따른 코호트 분석으로 이 Tradeoff를 감수할만 한 지 결정할 수 있습니다.
️ B2B 코호트를 시간 단위로 더 잘 분석할 수 있는 방법은 다음과 같습니다.
• 더 큰 시간 단위로 자르기 (월 단위 이상)
- 사용자 행태에 따른 노이즈를 감소시킬 수 있습니다.
• 중요한 이벤트와 자르는 시간을 일치시키기
- '날짜'는 얼마나 오래 사용자가 프로덕트를 사용했는지 알려주지 않습니다.
- 출시일, 도입일, 캠페인 집행일 등 중요한 이벤트로부터 얼마동안 프로덕트를 사용했는지를 알 수 있습니다.
프로덕트 분석
리텐션
[Sequia] Data Informed 회사를 만드는 구성 요소
Open
데이터에 대한 중요성은 나날이 높아져가고 있습니다. 일부 회사들은 더 많은 A/B 테스팅을 하거나 실험을 통해 더 많이 프로덕트를 이터레이션 하고, 더 많은 릴리즈를 통해 더 빠른 프로덕트 성장을 이뤄내기도 했습니다. 여러 소스에서 수집된, 정형화 되지 않은 수많은 데이터들 속에서 인사이트를 성공적으로 발견할 수 있느냐가 회사의 경쟁력과 프로덕트의 혁신을 이끌어내기 시작했습니다. 어떻게 하면 우리 회사도 Data Informed Company가 될 수 있을까요?
데이터 분석의 진화 과정
• 숫자를 세는것 (우리의 사용자는 몇 명인지? 수익은 얼마인지?) :: 단순 통계이며, '과학'은 없습니다
• 계산을 자동화 하는 것 :: 올바른 데이터를 정의하고, 로깅하고, 확장 가능한 방식으로 자동화된 도구를 만듭니다
• 중요한 기능이 제공되는데 사용되는것 :: '과학'의 시작입니다. 작은 성공을 자주 달성할 수 있도록 하고 직관을 이기는 의사결정을 할 수 있도록 합니다.
• 비즈니스 목표와 전략을 수립하는데 사용되는것 :: 데이터 분석의 가능한 가장 큰 성과입니다
Data Informed 회사의 특징
• 하나의 통합 지표 아래 조직되어있고 통합 지표를 목표로 일합니다.
• 상위 그룹이 주축이되어 목표와 통합 지표를 중심으로 일하며, 다른 조직원들에게도 명확하게 전달해 모두의 생산성이 높아지고 필요없는 논의가 줄어들 수 있습니다.
• 데이터 인프라가 장기적인 요구에 잘 적응할 수 있도록 구성되어있습니다.
• 실험하는 문화를 가지고 있습니다.
• 프로덕트 개발의 모든 단계에 데이터 분석이 포함되어 있습니다.
• 데이터 분석 팀은 프로덕트 성공에 대한 지표를 지속적으로 측정하고, 비즈니스의 위험과 성장할 수 있는 영역을 식별하는데 도움을 줍니다.
• 이 모든 과정을 지원할 수 있는 탄탄한 로드맵 프로세스가 있습니다.
• 이 과정들을 지속적으로 실행할 수 있도록 조직을 구성하고 권한을 부여합니다. 대부분의 성공하지 못한 사례들은 실행을 제대로 하지 못했기 때문입니다.
일하는 방법
데이터 분석
프로덕트 분석
스타트업
잘못된 해석을 유도하는 통계 자료
Open
잘못된 해석을 유도하는 통계 자료. 어떤 상황에서 통계 자료를 잘못 해석할 수 있을까요?
1. 통계적 유의성이 있다는 것이 실제로 유의미한 내용이라는 말은 아닙니다. 분석 결과가 통계적 유의성을 확보했더라도 샘플이 모집단을 적절히 대변하지 못할 수도, 리스크가 너무 커서 1%의 오차라도 용납할 수 없을수도 있습니다.
2. 잘못된 도표를 사용하는 경우. Y축이 전체가 보여야 할 때 숨기거나 숨겨야 할 때 전체를 보이도록 하거나, 오르내리는 변동을 트렌드처럼 표시하지 않아야 합니다.
3. 연관 관계는 인과관계가 아닙니다. 아이스크림 판매량과 상어 공격으로 인한 사상자는 여름에 동시에 오르지만 서로 인과관계가 있는것은 아닙니다.
4. 심슨의 역설. 1973년 버클리 대학교는 전체 지원자 대비 남여 입학 비율(남: 44%, 여: 35%) 차이에 대한 자료를 바탕으로 성차별로 고소되었습니다. 추가 조사 결과 각 학과별 지원자 대비 입학 비율에서는 여성이 더 높은 비율임이 밝혀졌습니다. 이 통계에서는 남여 지원 모수가 차이가 있었고, 전체를 평균했을 때 발생하는 대표적인 통계적 역설입니다.
5. 샘플링 방식. 샘플링은 전체 모수를 대변할 수 있는 일부를 수집하고, 통계적으로 분석해 전체 모수를 해석하기 위한 방법입니다. 따라서 샘플링 된 데이터는 전체 모수를 대변할 수 있다는 점을 확신할 수 있어야 합니다. 샘플링 할 때는 일관성, 다양성, 투명성을 유지할 수 있도록 유의해야 합니다. 또 샘플링에는 여러 방식(Random, Systemic, Stratified 등)이 있으니 각 장단점을 고려해 선택해야 합니다.
통계는 결국 숫자일 뿐이고, 전달하고자 하는 이야기의 일부일 뿐입니다. 통계 자료를 만드는 사람은 해결하고자 하는 문제에 대해 잘 알고, 자료를 바탕으로 어떤 결론을 내리기 전에 데이터를 잘 다뤄야 합니다. 다음번 통계 자료를 바라볼 땐 해석을 잘못할 수 있는 여지가 있는지 스스로에게 잘 질문할 수 있어야겠습니다.
데이터 분석
데이터 시각화
마인드셋
문서 작성법
[쿠팡] 테스트 결과가 예상과 다를 때
Open
A/B 테스트에서 솔루션의 성과가 기대와 다를 경우, 어떻게 해야 할까요?
문제를 명확하게 가정했고, 이를 검증하기 위한 가설과 솔루션을 마련했다면, 개선을 위한 솔루션이 제대로 가정했던 문제를 해결하는지를 확인하기 위해 테스트를 진행합니다. 테스트 결과는 미리 설정해 둔 주요 지표가 어떤 값으로 변화했는지에 따라 테스트의 성공 여부를 판단하게 됩니다. 만약 테스트 결과가 예상과 다를 경우 기존에 정의한 문제와 가설, 솔루션이 제대로 되었는지 면밀하게 분석해야 합니다.
실패한 테스트를 그저 지나가는 결과로 바라보지 않고 새로운 인사이트를 얻기 위해서 활용한다면 몇 번의 이터레이션을 거쳐 성공적인 결과로 이끌어낼 수 있습니다. 쿠팡은 '패션 상품을 구매를 시도했으나 구매하지 않은 고객'을 대상으로 사용자 조사를 거쳐 문제를 정의하고 그 문제를 해결할 것이라고 생각한 솔루션을 개발해 테스트 해보았습니다.
대다수의 고객이 패션 제품을 구매하는데 사이즈를 중요한 요소로 꼽았으며 구매를 포기한 이유로는 내게 맞는 사이즈를 확인할 수 있는 정보가 부족하다는 응답이 많았습니다. 패션 제품의 구매 전환율을 높이기 위해 상품 페이지 상단에 '사이즈 안내' 버튼을 추가해 테스트를 진행했지만 클릭율은 현저하게 낮았습니다.
여기서 문제나 솔루션이 잘못되었다고 생각하고 그만두지 않고, 왜 솔루션이 실패했는지 다시 한 번 UT를 진행해 고객에게 상품 페이지 상단은 가격과 결제 혜택을 파악하는 영역으로 익숙해져 있어 새로 추가된 기능을 발견하기 어려웠다는 점을 발견할 수 있었습니다. 게다가 새로 추가된 '사이즈 안내' 버튼을 한 번 이상 눌러본 고객의 구매 전환율이 그렇지 않은 고객보다 2배 이상 높았다는 긍정적인 시그널도 발견할 수 있었습니다.
이런 새로운 발견으로 구매 의사가 있는 고객에게 이 버튼을 적절한 시기에 제공할 수 있도록 수정해 PO와 비즈니스 리더에게 다시 설득했고, 주요 지표가 상승하고 상품군의 총 거래액까지 증가하는 결과를 가져올 수 있었습니다.
테스트가 실패했다고 바로 좌절하지 않고 기존 결과를 활용해 다음 이터레이션을 설계하는데 데이터 드리븐한 근거 자료로 활용하여 새로운 인사이트를 계속해서 얻어가는것이 중요하겠습니다.
A/B테스팅
데이터 분석
디자인 분석
프로덕트 분석
프로덕트 전략
사용자 조사
경험 공유
실 사례
프로덕트 분석 툴을 이용해 사용자 Friction 없애는 방법
Open
프로덕트 분석 툴을 활용해 User Friction 제거하기
데이터 기반 UX의 대표적인 방법으로는 프로덕트 분석 툴으로 데이터를 활용하여 Frictionless한 프로덕트를 만드는 것이 있습니다.
프로덕트 분석 툴은 다음과 같은 방법으로 User Friction의 원인을 밝히는데 도움을 줄 수 있습니다.
1. 프로덕트 사용성을 테스트 하기
2. 기능 사용률 확인하기
3. User Journey에서 과정을 따라가고 Churn을 발생시키는 지표를 확인하기
4. 사용자 세그먼트 별 트렌드를 그리기
5. 기능과 Flow를 실험하기
6. 사용자의 기분을 측정하기
7. 정성적인 사용자 피드백 측정하기
프로덕트 분석
프로덕트 전략
중요한 지표
Open
어떤 지표가 중요할까?
우리가 만들고 출시하게 되는 기능은 어떤 문제를 해결하기 위한 것이고, 그 문제는 회사의 목표와 맥락을 같이해야 한다. 이 말은 기능의 성공은 회사의 목표에 기여하는 바를 통해 측정할 수 있습니다.
지표에는 여러 종류가 있을 수 있습니다.
1. 주요 지표 (Primary Metric / Goal Metric / North-Star Metric)
• 여러 보조 지표를 포괄하는 지표
• 기능의 목표를 측정. 프로덕트와 회사의 목표와 깊게 연관되어 있음
2. 보조 지표 (Secondary Metric / Product Metric / Supporting Metric)
• 기능의 상태를 측정하는 지표
• 사용자의 퍼널(5E - Entice, Enter, Engage, Exit, Extend)를 위한 프로덕트의 액션(AARRR)에 관한 지표
3. 대항 지표 (Guardrail Metric / Counter Metric)
• 주요 지표를 달성하면서 반대급부로 얻게 되는 요소에 대한 지표
• 예: 어떤 곳에 빠르게 도달하는것이 목표일 때 주요 지표는 '속도 증대' 이지만 이 지표는 '연료 소비'라는 반대급부 지표를 가지게 됨
여러 지표를 측정하면서 각 지표 간 Trade-off와 리스크를 분석할 수 있어야 합니다.
프로덕트 분석
데이터 분석
스타트업을 위한 '실험'과 '가설' 개념 설명
Open
최근 데이터 기반 의사결정, 사용자 행동 분석 등 데이터 분석을 활용하는 곳이 많아졌습니다. 주변에서 많이 이야기 하는 '실험'과 '가설'에 대한 개념을 얼마나 정확하게 알고 있나요?
실험은 몰랐던 것을 알아내기 위해 (=지식을 얻기 위해) 하는 활동입니다. 만약 실험으로 뭔가를 알아내지 못했다면 잘못된 실험입니다.
가설은 반증할 수 있도록 구체적인 형태와 숫자로 표현된 문장입니다.
가설과 유사한 의미로 사용되는 가정은 반증 가능할 정도로 구체적이지 못한 암묵적인 믿음입니다.
스타트업의 실험은 다음과 같이 실행되어야 합니다.
1. 의사결정 하기에 충분한 꼭 필요한 만큼의 정보를 얻기 위해 2. 반증 가능할 정도로 구체적인 가설을 세우고 3. 그 검증 방법을 설계해 4. 가설을 실험하여 최종적으로 정보를 얻는다.
프로덕트 분석
데이터 분석
A/B테스팅
[a16z] 나에게 맞는 북극성 지표 찾기
Open
내 프로덕트의 특징에 따라 더 잘 맞는 북극성 지표가 있을 수 있을까요? 저자는 북극성 지표를 6가지 카테고리로 나누고, 각 카테고리가 더 적합한 프로덕트 형태를 정의하고 있습니다. 다만 각 회사들이 한 카테고리의 북극성 지표만 가지고 있는 것은 아니라는 점을 인지해야 합니다.
각 카테고리의 회사가 어떤 곳인지 들여다 보시면 저절로 고개를 끄덕일 수 있을 만큼 잘 분석한 글입니다.
1. 수익 (ARR, GMV): (?)
2. 고객 증가 (유료 사용자, 시장 점유율): 플랫폼, 마켓플레이스 기업, Freemium 프로덕트, 소비자 구독 중심 프로덕트
3. 고객 지출 증가 (보낸 메세지 수, 예약한 날짜 수): UGC 구독 중심 프로덕트
4. 인게이지먼트 증가 (MAU, DAU): Freemium 프로덕트, 광고 기반 비즈니스, 소비자 구독 중심 프로덕트
5. 성장 효율성 (LTV/CAC, 마진): 퍼포먼스 마케팅으로 성장하는 비즈니스
6. 사용자 경험 (NPS): 색다른 사용자 경험이 중요한 프로덕트
프레임워크
지표
프로덕트 분석
프로덕트 전략
[강남언니] 실패를 통해 배우는 AB 테스트
Open
강남언니가 일본 유저 대상으로 온보딩 화면을 AB 테스팅 하여 회원가입 전환율을 높이려는 과정에 대한 글입니다.
첫 번째 시도는 실패하고, 실패를 딛고 다시 설계하여 두 번째 시도에서 유의미한 개선을 경험하는 과정이 담겨있습니다.
Key point
• 욕심을 내려놓고 한가지만 물어보자
• 문제상황을 명확히 설정한 뒤 가설을 날카롭게 가다듬어 한가지로 통일하는것이 중요
• 다른 개선까지 테스트하고 싶은 욕심이 나더라도 가설을 검증하기 위해 다른 변수들을 통제해야함
경험 공유
실 사례
프로덕트 분석
데이터 분석
A/B테스팅
온보딩
20가지 B2B SaaS 프로덕트의 Nort-Star Metric 예시 2019-2020
Open
2019년~20년 20가지 B2B SaaS 프로덕트의 북극성 지표에 대한 글입니다. 프로덕트를 개선하는데 가장 중심으로 봐야 하는것이 북극성 지표인데요, 평소에 들어봤을법한 B2B SaaS 프로덕트들이 어떤 북극성 지표를 가지고 있는지 알 수 있습니다.
북극성 지표로 각 프로덕트가 어떤점을 중요하게 여기고 있고, 어떤 목표를 가지고 있는지 역기획 해볼 수도 있고, 본인의 프로덕트에는 어떤 북극성 지표를 설정해야 할지 고민하는데에도 도움이 되겠습니다.
실 사례
케이스 스터디
프로덕트 분석
비즈니스 분석
프레임워크
지표
PM/PO
PM을 위한 A/B 테스팅 - 정의와 해석 방법
Open
지난 멤버들에게 질문 세션의 핵클이 A/B 테스팅 솔루션이었는데, A/B 테스팅 방법과 해석에 대한 조금 더 상세한 내용을 담은 글입니다.
각 테스트가 어느 정도로 달라야 통계적으로 유의미한지, p-value가 무엇이고 어떤 경우 유의미하다고 볼 수 있는지, A/B 테스팅에 유의해야할 상관관계와 인과관계의 차이, 노이즈 등에 대해 알 수 있습니다.
프로덕트 분석
데이터 분석
지표
A/B테스팅
PM/PO
7 POWERS - 3.4. 전환 비용(Switching Costs) | SAP가 최악의 UX로도 세계 1위 B2B 소프트웨어 회사가 될 수 있는 이유
Open
7 POWERS 시리즈 4번 째, 전환 비용(Switching Costs)입니다.
SAP가 최악의 UX로도 세계 1위 B2B 소프트웨어 회사가 될 수 있는 이유는 바로 전환비용에 있습니다. B2C와 달리 B2B 시장은 아주 강한 B2B만의 특징이 있는데요, 프로덕트의 매력이 아니더라도 고객을 계속 유지할 수 있는 강력한 힘인 전환 비용에 대해 잘 설명된 글입니다.
프로덕트 전략
비즈니스 분석
프레임워크
케이스 스터디
'안 쓸 이유가 없는' 프로덕트는 실패한다
Open
B2B 프로덕트를 디자인 하고 있는 우리는 세상에 없던 프로덕트를 만들게 되는 상황보단 이미 경쟁 프로덕트가 존재하는 프로덕트를 만들고 있을 확률이 높습니다. 기업의 워크프로세스는 세상이 변하는것 보단 속도가 느리고, 세상에는 똑같은 일들로 고통받고있는 사람이 많았으니까요.
그렇다면 경쟁 제품 대신 우리 제품을 선택하도록 하는것은 어떤것일까요? 안 쓸 이유가 없는 프로덕트는 안 쓸 이유는 없지만 써야만 할 이유도 없는 프로덕트 입니다. 경쟁 제품을 이기고 사용자들의 선택을 받기 위해서는 사용자의 전환 비용을 극복할 만큼 매력적인, 대체 불가능한 가치를 제공해야 합니다.
프로덕트 전략
PM/PO
데이터 분석 기본 지표: DAU, WAU, MAU, rolling metrics
Open
기본적인 데이터 분석 지표: DAU, WAU, MAU, Rolling Metrics
마케터, PM이 가장 기본적으로 보는 프로덕트 데이터 지표로는 활성 사용자 수(Active Users)를 꼽을 수 있습니다. DAU(Daily Active Users), WAU(Weelky Active Users), MAU(Monthly Active Users)는 활성 사용자를 일 단위로 볼 것인지, 주 단위, 월 단위로 볼 것인지에 따라 나눠진 지표입니다.
DAU, WAU, MAU가 유의미한 지표가 되려면 어떤 사용자가 '활성 사용자(Active Users)'인 지를 먼저 프로덕트에 맞게 정의하는게 필요합니다.
DAU, WAU, MAU와 같은 지표는 특정 일자에 발생한 데이터를 그대로 보여주기 때문에 일자 별 발생할 수 있는 자연스러운 오차까지 그대로 나타내게 됩니다. '이동 평균(Rolling Metrics)'을 활용하여 이러한 오차를 줄일 수 있습니다. Rolling Metrics는 N일 간 발생한 데이터를 평균하여 더 넓은 시야에서 트렌드를 정확히 확인할 수 있도록 도와줍니다.
7일, 30일 등 사용자의 프로덕트 사용 패턴에 따라 적합한 기간을 설정해야 합니다.
지표
KPI
데이터 분석
웹 기본
마케팅
만족도를 5가지 품질 요소로 분석하는 KANO 모델
Open
카노 모델은 경쟁과 차별화되는 매력적인 품질 속성과, 기본적으로 있어야 할 필수 불가결한 품질 속성을 구분하여 우선순위를 부여하는 방법입니다.
프로덕트를 개발하는 과정에서 고객 만족도 우선순위가 높은 UX 부터 개선하는것은 매우 중요합니다. 카노 모델을 활용하여 사용자에게 더 중요한 포인트를 구분하고 의사결정할 수 있습니다.
내 프로덕트에 당연한 품질을 놓치고 있지는 않은지, 매력적인 품질을 만들기 위해서는 어떤 디자인이 필요한지 고민하면 좋겠습니다.
심리학
프레임워크
PM/PO
[Notion, Dropbox] Sales와 프로덕트 차이 : Self-serve
Open
B2B SaaS가 성장하는데 세일즈팀의 역량을 무시할 수 없습니다. 그러나 프로덕트가 PMF를 달성하고, 프로덕트의 매력만으로도 성장할 수 있기 위해서는 고객들이 스스로 프로덕트를 이해하고, 사용할 수 있게 되어야합니다. Notion, Dropbox의 프로덕트 중심 성장의 비밀은 고객의 Self-serve에 있었다고 합니다.
온보딩
실 사례
데이터 로그 설계, 로깅, 이벤트 로그 설계, 데이터 QA의 모든것
Open
효과적인 데이터 분석을 위해서는 내가 수집하는 데이터가 어떤 모습인지, 어떤 정보가 어떤식으로 저장되는지, 데이터 설계는 어떻게 하는지를 아는것이 큰 도움이 됩니다. 쏘카에 다니시는 머신러닝 엔지니어분의 데이터 로깅에 대해 전반적인 내용을 훑는 글을 소개합니다.
아래 문장에 공감하실 데이터 로깅, 데이터 분석의 초보자에게 도움이 될 내용으로 구성되어 있습니다.
• 내가 보는 이 데이터들은 어떤 식으로 설계되어서 어떤 모습으로 쌓이고 있는지 궁금하신 분
• 데이터를 분석하고 싶은데 서버 개발자, 앱 개발자, 프론트 개발자 중 어떤 개발자에게 찾아가야할 지 모르겠는 분
• 데이터 수집을 요청할 때 마다 매번 안된다는데 왜 안되는지를 이해하고 싶으신 분
아주 긴 글이기 때문에 한 번에 다 보시기 보다 생각날 때 마다 한 번씩 들어와 이어읽는걸 추천드려요.
데이터 분석
웹 기본
[Amplitude] 북극성 지표 찾는법
Open
지난 주 프로덕트 & 데이터 분석 아티클으로 20가지 B2B SaaS 프로덕트의 북극성 지표에 대해 소개드렸습니다. 북극성 지표가 뭔지, 북극성 지표를 찾는 방법에 대해 사용자 행동 분석 툴의 대표주자인 Amplitude의 블로그 아티클입니다. 더 많은 내용을 알고싶으시다면 블로그 글에 첨부되어있는 플레이북을 다운받으실 수 있습니다.
케이스 스터디
실 사례
지표
프로덕트 분석
본인의 프로덕트에 맞는 지표 찾기 AARRR + HEART + North-star
Open
프로덕트의 성장을 측정하는 지표를 위한 프레임워크는 여러 가지가 있습니다. 대표적으로 AARRR, HEART, 북극성 지표 프레임워크가 있는데요, 이 세 가지 방법을 통합해 내 프로덕트에 맞는 지표를 발견하는 방법에 대한 글입니다.
내 프로덕트에 맞는 지표를 찾는것 외에도 사용자의 전반적인 프로덕트 사용 플로우를 점검하는데도 도움이 되는 방식입니다.
프레임워크
지표
프로덕트 분석
프로덕트 전략