A/B테스트는 죽었다
카테고리
[프로덕트 & 데이터 분석]
태그
프로덕트 전략
지표
A/B테스팅
요약
A/B 그들은 작동하는 것과 작동하지 않는 것을 빠르게 시도하고, 실패하고, 구현합니다.그리고 마치 C급의 의사결정인 것처럼 믿고 따릅니다. 하지만 성공적인 A/B 테스트가 결과적으로 실패한 이유를 살펴보겠습니다.
참신 효과
고객을 대면하는 새로운 기능에는 자연스럽게 관심이 있고 경쟁자 반응 효과가 있을 수 있습니다. 하지만 참신함은 클릭을 생성한 다음 사라집니다. 결국 새 기능은 "표준”이 되고 영향은 줄어들 것입니다. 일부 시스템에서는 최종 결과만 중요합니다
너무많은 A/B 테스트 실행 중
실험은 대부분 상호 배타적으로 간주되므로 모집단이 겹칩니다. 실제로 대부분의 트래픽 분할은 일부 상호 배제와 함께 인구의 일부에서 수행되며, 불행히도 실험은 가장 충성도가 높은 사용자에서 훨씬 더 나은 성능을 보였습니다.
부정확한 측정항목
A/B 실험을 통해 그룹의 주문 수를 $5.5로 성공적으로 증가시켰습니다. 하지만 동시에 낮은 그룹에 대한 유지율은 48%로 떨어졌지만 이를 모니터링하지 않았습니다…이처럼 리텐션은 복합적인 지표입니다. 이처럼 장기 트래킹이 필요한 항목에 대한 A/B 테스팅은 관찰하기 어렵습니다.
범용적 결과
A/B 테스팅은 모든 방법론이 승자입니다. 프로덕트 특징에 맞춰 평가 되지 않습니다. 결과 대해 어떤 동작으로 이뤄졌는지 제공하지 않습니다.
인사이트 부족
버전 A가 B보다 전환율이 더 좋다는 것을 알게 되었습니다. 하지만 이것은 핵심 학습이 아닙니다! 개별적인 사용자, 실험한 버전에 대한 인사이트를 주지 않습니다. A/B 테스트는 개별 인과 관계 알고리즘이 아닙니다. 단지 현재 상황을 감안할 때 변이가 모집단에서 평균적으로 더 낫다는 것을 알려줍니다. 즉, 개인 X_i와 X_j를 고려하면 한 사람이 다른 사람보다 더 높은 지표를 가질 가능성이 더 높은지 여부를 알 수 없습니다.
참신 효과
고객을 대면하는 새로운 기능에는 자연스럽게 관심이 있고 경쟁자 반응 효과가 있을 수 있습니다. 하지만 참신함은 클릭을 생성한 다음 사라집니다. 결국 새 기능은 "표준”이 되고 영향은 줄어들 것입니다. 일부 시스템에서는 최종 결과만 중요합니다
너무많은 A/B 테스트 실행 중
실험은 대부분 상호 배타적으로 간주되므로 모집단이 겹칩니다. 실제로 대부분의 트래픽 분할은 일부 상호 배제와 함께 인구의 일부에서 수행되며, 불행히도 실험은 가장 충성도가 높은 사용자에서 훨씬 더 나은 성능을 보였습니다.
부정확한 측정항목
A/B 실험을 통해 그룹의 주문 수를 $5.5로 성공적으로 증가시켰습니다. 하지만 동시에 낮은 그룹에 대한 유지율은 48%로 떨어졌지만 이를 모니터링하지 않았습니다…이처럼 리텐션은 복합적인 지표입니다. 이처럼 장기 트래킹이 필요한 항목에 대한 A/B 테스팅은 관찰하기 어렵습니다.
범용적 결과
A/B 테스팅은 모든 방법론이 승자입니다. 프로덕트 특징에 맞춰 평가 되지 않습니다. 결과 대해 어떤 동작으로 이뤄졌는지 제공하지 않습니다.
인사이트 부족
버전 A가 B보다 전환율이 더 좋다는 것을 알게 되었습니다. 하지만 이것은 핵심 학습이 아닙니다! 개별적인 사용자, 실험한 버전에 대한 인사이트를 주지 않습니다. A/B 테스트는 개별 인과 관계 알고리즘이 아닙니다. 단지 현재 상황을 감안할 때 변이가 모집단에서 평균적으로 더 낫다는 것을 알려줍니다. 즉, 개인 X_i와 X_j를 고려하면 한 사람이 다른 사람보다 더 높은 지표를 가질 가능성이 더 높은지 여부를 알 수 없습니다.🧑🏻⚕️ 요약자
관심 분야
타겟 오디언스
공유 날짜
2022/04/21
5 more properties