• 지금 이 상품이 필요하신가요?

    메인 페이지

  • 검색 페이지

  • 검색 결과 페이지

  • 검색 결과 중단 배너

  • 상품 상세 상단 배너

  • 상품 상세 페이지 (품절 대체 상품)

  • 장바구니 Bottom Sheet

  • 결제 완료 페이지

Ad Creative A/B Testing

쿠팡 광고 플랫폼은 더 쉽고 빠르게 광고할 수 있게 고객 경험을 제공하고 있습니다. 광고를 통해 매출을 증대하고 싶은 광고주의 니즈를 반영하여 2019년부터 새로운 광고 영역을 발굴하는 프로젝트를 진행해왔습니다.

기존의 광고 기법은 쿠팡 Ad 플랫폼을 통해 제작된 광고가 쿠팡 서비스에 노출되어 잠재 고객의 클릭을 유도하지만, 광고를 구성하는 타이틀, 헤드라인, 이미지 크기 등의 요소 중 무엇에 관심을 갖고 클릭했는지 정확한 예측이 어려웠습니다. 아울러 신규 광고 영역의 성과가 좋거나 저조한 이유를 측정할 수 없었습니다. 이에, 고객 취향에 맞는 상품을 추천하고 구매하도록 유도하기 위해 A/B 테스트를 진행함으로써 데이터를 확인하고 의사결정을 내리도록 팀원들과 새로운 기법을 논의, 개발하였습니다.

타겟 도메인 Web, App

기여도 50%

프로젝트 기간 프로젝트에 내용에 따라 상이 (평균 2주 소요)

상태 론칭 완료

문제 정의와 목표

A/B Test Process

목표 수립

올바른 가설을 도출하기 위해 어떤 지표를 통해 성공 여부를 측정할 것인지 명확히 정했습니다.

리서치

광고의 현재 영역 및 새로운 영역과 관련된 디자인 퍼포먼스의 결과 데이터를 수집하여, 가설 발전 방향의 힌트를 얻기 위해 연관 정보와 근거자료, 정성적인 인사이트와 리서치 자료 등을 조사했습니다.

가설 설계

정리한 기회 영역을 기반으로 삼아 목표 달성에 영향을 미칠 만한 검증 가능한 가설을 설계했습니다.

개선안 정의

가설을 실험에 적용할 수 있는 다양한 방법이 존재하기 때문에 여러 버전의 디자인을 설계해 볼 수 있습니다. 검증하고자 하는 가설이 2가지 이상이라면 안을 여러 개 만들어 B1, B2, B3,… 와 같이 비교 했습니다. 쿠팡의 디자인 시스템 (Rocket Design System)으로 변형안을 디자인 하고 실제로 구현 가능한지 개발 가능성을 체크했습니다.

Variations

디자인 QA & 엔지니어 Review

개선안이 여러 디바이스에서 제대로 노출되는지 테스트폰과 에뮬레이터를 통해 확인했습니다. 디자인 완료된 컴퍼넌의 가이드를 엔지니어와 리뷰 후 가이드 보안 또는 조정 작업을 실시했습니다.

RDS (Rocket Design System)

Spec 가이드

테스트폰으로 디자인 노출 확인

기존안(Control)과 개선안(B)을 동일한 유저 유입경로, 동일한 실험집단으로 나눠 노출해 성과를 측정합니다.

A/B 테스트 진행

A/B 결과 분석 & 론칭

수집한 개선안에 목표 지표 값, p-value*, 핵심 지표 외에 추가로 실험 결과를 해석하기 위해 참고할 보조 지표, 실험의 영향으로 떨어지면 안 되는 지표가드레일 지표 등을 팀과 비교하고 개선안에 대한 결과를 전체 적용할지를 결정합니다.

*P-value 그룹 A 대비 개선률이 통계적으로 얼마나 유의미한지를 설명합니다. 0~1로 표기되며, 일반적으로 0.05 미만인 경우 통계적으로 유의미하다고 판단합니다.

프로젝트 상세 지표는 대외비로 노출할 수 없는점, 양해 부탁드립니다. 

결과

2019년부터 현재까지 10,000회 이상 테스트가 진행되었고 A/B 테스트를 통해 많은 광고 소재가 출시되어 광고 수익 증대에 기여했습니다.

회고

돌이켜 볼 때, 멋진 광고 소재와 유저들의 반응이 높은 소재는 일치하지 않는 경우가 많다는것에 놀랐고, 테스트를 진행하며 데이터의 중요성을 느끼는 계기가 되었습니다. 또한 단순하게 보인 개선 이면에는 여러 이해 관계자들의 고민과 검증 절차가 있었다는것을 되돌아 보게 하는 프로젝트였습니다.

Previous

[Daangn] Expert
Next

[Coupang] Brandzone 1.0