- Product Design
A/B 테스트를 통한 멤버십 구매율 개선기
라프텔 프로덕트 디자이너의 A/B 테스트 후기
2024.03.27
안녕하세요. 라프텔 프로덕트 디자이너 Sally입니다. 이번 블로그에선 작년 3분기에 진행했던 멤버십 스토어 디자인 다양화 테스트를 통해서 배운점들을 공유해보려고 합니다.
문제사항 정의
프로덕트 디자인팀은 멤버십의 구매율을 높이고자 다양한 실험을 계획했는데 그 중에 하나였던 멤버십 스토어 A/B 테스트를 제가 맡아 진행하게 됐습니다. 멤버십 스토어 A/B 테스트의 목적은 스토어 시안에 변화를 줘 멤버십 구매율을 높이는 것 이었는데요. 기존의 화면은 멤버십 기능들이 단순하게 텍스트들로만 나열되어 있어 구매 유도를 하기에는 단조롭다고 생각했었고 다양한 컨셉들을 시도해서 더 매력적인 컨셉으로 화면을 바꿔 구매율을 높이고 싶었어요.
기존 시안
가설 세우기
우선 저희가 세웠던 가설은 유저들은 멤버십을 구매할 때 조금 더 설득당할 수 있는 정보가 필요하다였습니다. 현재 멤버십 스토어 화면에서 주는 정보만으로는 매력도가 높지 않아 전환이 되지 않을 것이라고 생각했어요.
다양한 인기 작품을 한 곳에서 볼 수 있다는 것이 라프텔의 핵심 기능인데 해당 부분을 잘 나타낼 수 있는 콘텐츠와 문구를 이용하여 매력적인 비쥬얼로 변경하면 멤버십에 대한 인식률이 상승될 수 있을거라고 생각했습니다.
목표
그래서 저희가 세운 목표는 스토어 화면에 매력적인 소구 포인트를 추가해 멤버십 가입율을 높이는 것이었습니다. 멤버십의 핵심 기능들과 인기 콘텐츠 썸네일들을 이용해 전환율을 높이고자 했고 라프텔에서 어떤 경험을 할 수 있고 라프텔을 써야 하는 이유를 넣어 유저의 흥미와 기대감을 높이고 싶었습니다.
디자인 개선
그렇게 저희는 세 개의 시안을 만들어봤는데요. 새로운 시안들을 만들며 집중했던 점은 스토어 화면에 대한 정보를 다양한 임팩트로 전달하는 것이었습니다.
B안 : 소구 포인트를 한 줄로 이해하기 쉽게 설명한 시안
C안 : 주요 콘텐츠 포스터 노출과 임팩트 있는 썸네일들과 함께 멤버십 이점들을 설명한 시안
D안 : 주요 콘텐츠 포스터 노출과 멤버십의 이점들을 한 문장으로 요약한 시안
요구사항
그렇게 저희는 기존안인 A안을 포함해 총 4가지 안에 대해 8월 9일부터 8월 22일까지 2주동안 실험을 했고 요구사항은 아래와 같이 정했습니다.
📌
테스트 기간 : 2022.08.09~08.22 약 2주
대상자 : 안드로이드 유저 중 멤버십을 쓰고 있지 않은 접속자 100%
유저 배분 계획 : A안: 25%, B안: 25%, C안: 25%, D안: 25%
봐야할 지표
봐야할 핵심지표는 구매전환율로 정했고 보조지표로 CTA 버튼 클릭율을 보기로 했습니다. 추가로 C안은 스크롤 움직임 측정을 보조지표로 넣어 요청했어요.
📌
핵심지표
구매전환율 (멤버십 구매화면 노출 대비 멤버십 구매 전환율 확인)
보조지표
- 멤버십 구매화면 노출 대비 CTA 버튼 클릭 전환율 확인
- CTA 버튼 클릭 대비 멤버십 구매 전환율 확인
- C안 스크롤 움직임 측정
실험 스타트
처음해보는 A/B 테스트인지라 유의미한 실험 결과를 못 얻으면 어쩌지라는 걱정을 하며 실험을 시작했고 노심초사하며 결과를 기다렸습니다.🥹
테스트 결과
그렇게 2주 후 실험 결과가 나왔습니다. A안(기준안)의 구매전환율은 14%, B안은 15%, C안은 16%, D안은 15%가 나왔는데요. C안이 기존안의 구매전환율보다 2%p 높게 나온걸 확인할 수 있었어요.
또한 해당 결과가 얼마나 신뢰도가 있는지 측정하기 위해서 P-Value 측정 계산기를 돌렸는데 그 결과 95.8%의 신뢰도를 얻어 C안을 개선안으로 채택할 수 있었습니다. 해당 실험을 통해 단순히 문구만 적혀있는 안들보다 상대적으로 임펙트 있는 썸네일과 앱의 기능이 강조된 안이 더 효율적이라는 것을 알 수 있었어요.
P-Value 계산 결과
그렇게 채택된 C안으로 모바일 앱에 (iOS, Android) 모두 적용하여 배포를 완료했고 유사한 컨셉안으로 데스크탑 시안을 만들어 웹에도 디자인 개선안을 적용해 테스트를 마무리 짓게됐습니다.
함께 변경된 멤버십 스토어 데스크탑 시안
회고
라프텔에 들어와 처음해보는 A/B 테스트로 많은 lesson&learning이 있었던 스쿼드였는데요. 테스트를 설계하는 과정에서 지표를 세울땐 지표의 정의를 꼭 정확하게 짚고 넘어가는게 얼마나 중요한건지 알게되었어요. 지표를 디자이너, PM, 개발자 각자가 다르게 이해하는 경우가 있어 정의한 지표에 대해 서로 확인하는 시간이 꼭 필요하다는 생각이 들었어요.
또한 초반에 조금의 시행착오가 있었는데 실험을 시작하고 며칠이 지나서야 로그가 안 찍히고 있다는 사실을 알게 됐어요. 그에 따라 데이터를 한 번 더 정제해야하는 일이 있었고 실험 기간이 예상보다 조금 길어졌죠. 테스트를 시작하고 로그가 잘 찍히는지 확인을 했었어야 했는데 스쿼드 인원 모두가 처음해보는 A/B 테스트라 확인 작업이 프로세스에 없었던거죠.😢
추가로 C안의 긴 스크롤에 대한 우려로 스크롤없는 버전으로 D안을 추가로 작업했는데 이에 확신을 가졌던 PM분이 계셨어요. D안을 마지막으로 넣은건 신의 한수라며 기대를 하셨는데 결과는 그렇지 않았죠. 역시 멤버십 스토어 디자인을 A/B 테스트로 진행하길 잘 했다라는 생각이 들었어요.😅
라프텔 프로덕트 디자인팀은 계속해서 멤버십 가입율을 높일 수 있는 실험을 계획해보려고 합니다. 처음 A/B 테스트를 진행해보며 얻게된 교훈들을 다음 테스트를 위한 좋은 양분으로 삼기위해 기록합니다.