| 스피커 |
성적 증명서 |
| 빌 워리 |
안녕. |
| 스티브 C |
안녕하세요, 스티브 크리스트입니다. 오늘 A/B 테스트를 넘어 다변량 테스트와 고급 분석을 활용한 웹 페이지 최적화 사례를 살펴보겠습니다. |
| |
오늘 강의 개요입니다. 먼저 전체 사용 사례에 대한 개괄적인 설명을 드린 후 세부 사항을 살펴보겠습니다. JMP 데모도 함께 살펴보겠습니다. |
| |
특정 실험 설계를 평가하는 방법을 살펴보겠습니다. |
| |
또한 테스트에서 얻은 결과와 JMP 파티션 모델을 활용하여 이러한 인사이트를 어떻게 향상시켰는지 살펴보겠습니다. |
| |
간략히 살펴보면, 이 사용 사례는 두 가지 테스트로 구성됩니다. 첫 번째 테스트에서는 배너 디자인의 일부 요소와 페이지 본문 레이아웃을 살펴보았습니다. |
| |
그리고 우리는 다변량 테스트를 성공적으로 수행하여 지원자 수가 7% 증가하는 결과를 얻었습니다. 이를 바탕으로 한 단계 더 나아갈 수 있었습니다. |
| |
페이지 하단으로 밀려나 있던 중요한 콘텐츠에서 핵심적인 통찰력을 발견했고, 이를 두 번째 테스트에 활용할 수 있었습니다. |
| |
첫 번째 테스트 우승자 대비 성능을 4% 더 향상시켰습니다. 따라서 이 사용 사례는 JMP DOE 플랫폼과 맞춤형 DOE가 첫 번째 테스트를 가능하게 하는 데 어떻게 도움이 되었는지, 그리고 JMP 파티션 모델이 어떻게 더 많은 정보를 추출하는 데 도움이 되었는지를 보여줍니다. |
| |
추가적인 통찰력을 바탕으로 두 번째 테스트를 진행할 수 있었습니다. |
| |
그럼 자세한 내용을 살펴보겠습니다. |
| |
현재 보고 계신 페이지는 웰스파고 당좌예금 홈페이지입니다. |
| |
저희 마케팅 파트너와 비즈니스 파트너들이 고객 의견을 수렴하는 데 큰 역할을 해주셨습니다. 따라서 이번 테스트의 주요 목적은 본문 스타일 A 또는 페이지 레이아웃 A에 대한 의견을 수렴하는 것이었습니다. |
| |
반면 B의 경우, 고객들은 더 많은 제품이 사용자 경험에서 더 높은 위치에 나타나기를 원한다고 말했습니다. 그리고 마케팅 및 비즈니스 파트너들은 다음과 같이 말했습니다. |
| |
이러한 변화를 진행하는 동안, 저희는 오랫동안 유지해 온 이 이미지를 더 개선할 수 있다고 생각합니다. |
| |
저희는 콘텐츠를 왼쪽으로 배치한 이 배너 디자인이 사람들의 시선이 자연스럽게 향하는 위치이자, 물리적으로 더 작은 크기로 고객과 방문객들이 더 관심을 보이는 콘텐츠를 부각시킬 수 있다고 생각했습니다. 그래서 저희 파트너사에서 A/B 테스트를 제안해 왔습니다. |
| |
하지만 여기서 훨씬 더 많은 일들이 벌어지고 있다는 것을 금방 알 수 있습니다. 여덟 가지 가능한 조합 중 우리는 단 두 가지만 알고 있을 뿐입니다. |
| |
논의를 통해 알게 된 것은, 파트너들과 나눈 대화에서 이 디자인이 훌륭해 보이지만 약간의 위험 요소가 있다는 것이었습니다. |
| |
그리고 그 위험은 이러한 구성 요소 중 일부는 잘 작동하지만 일부는 성능을 저하시키고 서로 상쇄될 수 있다는 것입니다. 따라서 A/B 테스트만 실행한 경우, |
| |
어떤 구성 요소가 잘 작동하고 어떤 구성 요소가 그렇지 않은지 알 수 없을 겁니다. 그래서 다변량 테스트를 제안했고, 파트너는 좋은 생각이라며 그렇게 하자고 했습니다. 하지만... 저희에게는 해결해야 할 몇 가지 비즈니스 제약 조건이 있었습니다. |
| |
그렇다면 그러한 사업상의 제약 조건은 무엇이었을까요? |
| |
그랬습니다. |
| |
앞서 언급했듯이, 주된 동기는 본문 레이아웃을 개선하고 새로운 콘텐츠를 페이지에 추가하는 것이었습니다. |
| |
그래서 전체적인 디자인 가능성을 살펴보았을 때, 우리 파트너들은 기존 본문 레이아웃을 사용하는 다른 변형 디자인들을 테스트해 볼 의향이나 관심이 전혀 없었습니다. |
| |
그게 핵심...첫 번째 핵심 요소였어요. |
| |
둘째로, 관심이 별로 없었습니다... 이 블록은 새 레이아웃에 기존 이미지가 적용된 페이지를 나타내는데, 역시나 별다른 흥미를 보이지 않았습니다. |
| |
그렇게 하면서요. 그래서 이번 경우에는 저희 파트너사들이 진행해도 괜찮다고 생각하는 테스트에 대해 아주 구체적인 지침을 주셨습니다. |
| |
그래서 자연스럽게 드는 질문은 이 테스트가 전체적인 다변량 테스트 설계로서 효과적인가 하는 것입니다. 바로 이 부분에서 JMP 맞춤형 DOE 플랫폼이 중요한 역할을 합니다. 그럼 이제 어떻게 구현했는지 살펴보겠습니다. |
| |
그래서 우리는 에너지부에 가서 맞춤형 설계를 검토했습니다. |
| |
우리에게는 세 가지 요소가 있습니다. 첫째는 우리의 이미지입니다. |
| |
A 버전과 B 버전이 있는 것처럼, 배너에도 A와 B 두 가지 범주형 변수가 있습니다. |
| |
마지막으로 본문 페이지 레이아웃은 A 버전과 B 버전으로 나뉩니다. |
| |
그리고 |
| |
계속 버튼을 클릭하면, |
| |
지금까지는 순조롭게 진행되고 있습니다. 여기서 주목할 점은 단 4개의 셀만으로 이 4셀 설계 공간을 커버할 수 있다는 것입니다. 이는 매우 좋은 결과입니다. |
| |
이런 상황에서 우리에게는 그렇지만, 우리는 경험을 통해, 그리고 이 상황에 익숙한 사람들은 알겠지만, |
| |
JMP 최적화 엔진은 4셀 부분 요인 설계로 이 설계를 절대 제공하지 않습니다. 이것은 최적의 설계가 아닙니다. |
| |
네 개의 셀에 대한 것이지만, 이는 우리가 비즈니스 제약 조건을 관리하기 위해 사용하려는 디자인입니다. 따라서 이 특정 디자인을 강제하기 위해 허용되지 않는 조합을 사용할 수 있습니다. |
| |
기본적으로 실행하고 싶지 않은 모든 셀을 지정하여 실행하고 싶은 셀만 남기는 것입니다. JMP 내에서는 정확한 테스트 설계를 지정하는 방법이 없지만, 허용되지 않는 조합 스크립트를 활용하여 강제로 지정할 수 있습니다. |
| |
그리고 이것은 우리가 아주 자주 하는 일입니다. |
| |
왜냐하면 저희는 웹페이지 테스트를 하면서 파트너사로부터 많은 피드백을 받기 때문입니다. 그리고 이것은 저희에게 상당히 일반적인 사용 사례이며, 따라서 자주 사용하는 기법입니다. |
| |
그래서 범주형 변수를 다루고 있기 때문에, 스크립트를 설명하자면, 변수 값을 코딩해야 합니다. A 값은 1, B 값은 2로 코딩하는 식이죠. 따라서 테스트하고 싶지 않은 특정 셀을 살펴보면... |
| |
그 얘기를 다시 꺼내볼게요. |
| |
실행하고 싶지 않은 이 특정 셀을 보면, 배너 B와 본문 스타일 A가 적용된 이미지 A, 즉 ABA 또는 121입니다. |
| |
그리고 여기 있는 이 셀은 배너 A와 본문 스타일 A(또는 2211)가 적용된 이미지 B입니다. 이런 식으로 실행하지 않을 네 개의 셀을 모두 지정할 수 있습니다. 그런 다음 '디자인 만들기'를 클릭합니다. |
| |
렌더링하는 데 단 1초밖에 걸리지 않습니다. |
| |
수렴하지 않는다는 오류 메시지가 즉시 나타나지 않는다는 것은 좋은 징조이며, 실제로 우리는... |
| |
JMP는 이 디자인이 괜찮을 거라고 했습니다. 그래서 여기 저희의... 여기 제어 페이지가 있습니다. 첫 번째 실행본은 AAA, 이미지 A, 배너 A, 본문 스타일 A로 구성되어 있습니다. 세 번째 실행본은 저희의... |
| |
파트너사가 원래 A/B 제안에서 제시했던 버전은 이미지 B, 배너 B, 본문 B로 구성되어 있습니다. |
| |
그리고 여기에는 BAB와 AAB로 표현된 변형 1과 2도 포함되어 있으므로 예상했던 결과를 얻었습니다. 평가에 대해 잠시 말씀드리겠습니다. 제가 일반적으로 살펴보는 것 중 하나는 상관관계에 대한 컬러 맵입니다. |
| |
그리고 설계 진단. |
| |
이것들에 익숙한 분들은 다음과 같은 점을 알아차리실 겁니다. |
| |
앞서 언급했듯이 이것은 최적의 설계는 아니지만, 작동은 하며 바로 그 점이 이 분야의 과학과 예술의 핵심입니다. |
| |
모든 것이 잘 어우러지도록, 우리는 파트너들과 협력하여 이를 성공적으로 이끌어 나가야 합니다. 따라서 협력이 성공적으로 이루어지는 것, 그것이 우리에게 가장 중요한 요소였습니다. |
| |
또한, 실제 데이터가 있다는 것을 알고 있기 때문에 백업 데이터가 있다는 점도 중요합니다. 원한다면 부분적인 비교도 할 수 있지만, 효율성 측면에서 상당한 이점이 있습니다. |
| |
다변량 분석을 실행하면 이러한 결과 중 일부를 추론할 수 있습니다. 오늘 대화의 주요 내용은 아니지만, 여기서 한 가지 덧붙이자면... |
| |
하지만 제대로 구성하고 분석한 다변량 분석은 A/B 테스트보다 시간이 더 오래 걸리지 않습니다. 언뜻 보기에는 매우 직관적이지 않은 사실이지만요. 그래서 이 점을 미리 말씀드리고 싶었습니다. 궁금한 점이 있으시면 질의응답 시간에 질문하시거나 따로 연락 주세요. |
| |
자, 이제 다시 프레젠테이션으로 돌아가 보겠습니다. |
| |
방금 이 설계를 살펴보고 평가해 본 결과, 이것이 전체론적 부분 요인 다변량 설계로 효과적이라는 것을 알게 되었습니다. 그렇다면 무엇을 배웠을까요? |
| |
개요를 살펴보면서 우리는 다음과 같은 사실을 알게 되었습니다. |
| |
이 두 번째 변형에서는 7%의 성능 향상을 얻었습니다. 이는 해당 설계 영역에서 가장 높은 성능을 보인 변형이었으며, 전체적인 다변량 테스트를 수행했기 때문에 회귀 분석 기법을 활용하여 과거 데이터를 분석할 수 있었습니다. |
| |
만약 우리가 이 테스트 중에 이러한 페이지들을 실행했다면 어떤 일이 일어났을까요? 그래서 우리는 실제 값들을 얻을 수 있었을 뿐만 아니라, |
| |
회귀 분석을 통해 검증하고 확인한 결과, 좋은 일치도를 보였습니다. 또한, 이를 통해 해당 페이지들을 테스트했을 경우 어떤 성과를 보였을지 계산하고 분석할 수 있었습니다. 이것이 바로 장점 중 하나입니다. |
| |
다변량 테스트는 특히 우리처럼 다양한 페이지를 개발하고 만들어야 하는 상황에서 매우 강력한 도구입니다. 이러한 상황에서 이 기법을 활용할 수 있습니다. |
| |
이렇게 하면 초기 작업량을 상당히 줄이면서도 유용한 정보를 얻을 수 있습니다. 또한 문제를 분리하는 데에도 도움이 됩니다. |
| |
성능에 영향을 미치는 요인은 무엇일까요? 그리고 여기서 보시다시피, 만약 우리가 원래의 A/B 테스트를 진행했다면, |
| |
우리는 그랬을 텐데…우리는 그랬을 텐데… |
| |
우리가 적용한 변형은 성능을 저하시켰을 것입니다. 그리고 다변량 분석을 실행하지 않았다면, 고객들이 보게 될 이 새로운 페이지가... 라고 해석했을 것입니다. |
| |
고객들이 좋아할 거라고 했던 이 새로운 콘셉트와 디자인을 보고 우리는 고객들이 별로 좋아하지 않는다고 생각했을 겁니다. 하지만 실제로는 그렇지 않다는 것을 알 수 있습니다. |
| |
성능 저하의 원인은 배너 B 버전 전체에 있었습니다. 새로운 배너 스타일이 방문객들에게 그다지 좋은 반응을 얻지 못했던 거죠. |
| |
그리고 우리 고객들. |
| |
그래서 우리는 그것들을 추출할 수 있었습니다. 앞으로 더 나은 결과를 얻을 수 있었을 뿐만 아니라, 이 디자인이 어떤 점에서 더 나은지 쉽게 이해할 수 있게 되었습니다. |
| |
고객들이 원한다고 말한 것은, 결국에는 무엇이... 무엇이 성능이 뛰어난지입니다. |
| |
그래서 우리는 거기서 멈추고 "좋아요, 테스트는 성공적이었습니다. 감사합니다. 이제 끝났습니다."라고 말할 수도 있었겠죠. 하지만... 정말 끝난 걸까요? 우리는 많은 데이터를 가지고 있습니다. 이 데이터가 우리에게 더 알려줄 수 있는 것은 없을까요? |
| |
그리고 저희가 조사한 결과, 참여도와 클릭 수가 크게 줄어든 것을 확인했습니다. |
| |
여기서는 계좌를 비교하고 적합한 계좌를 찾으면 안내에 따라 진행할 수 있습니다. 그리고 제어 화면에서는... |
| |
그 콘텐츠는 훨씬 더 위쪽에 있었습니다. 배너 바로 아래에 있었죠. 그래서 클릭률 측면에서 전혀 놀랄 일이 아니었습니다. |
| |
여기서 클릭 수가 훨씬 적었던 것을 확인했습니다. 웹페이지 아래쪽으로 내려갈수록 스크롤을 더 많이 해야 하므로 클릭률이 낮아지는 것은 일반적인 현상입니다. 이는 직관적으로 이해할 수 있는 부분이지만, 그 차이가 너무 극명했기 때문에 이러한 질문을 스스로에게 던지게 되었습니다. |
| |
그게 문제인가요? 저희는 이러한 경험과 콘텐츠가 꽤 괜찮다고 생각하는데, 이렇게 많이 떨어진 것에 조금 놀랐습니다. 조금 떨어질 거라고 예상은 했지만요. |
| |
하지만 예상보다 훨씬 더 많이 떨어졌습니다. 이것이 문제일까요? 이러한 측면을 이해하기 위해 JMP 분할 모델, 특히 의사결정 트리 알고리즘을 사용했습니다. |
| |
그래서 우리는 두 번째 변형을 선택하고 애플리케이션 제출 내용을 분석하여 어떤 콘텐츠가 언제 클릭되었는지, 클릭되지 않았는지 파악하려고 했습니다. |
| |
증가에 도움이 되었습니다. 그리고 지원서 제출률이 높아짐에 따라 분리 현상이 나타났습니다. |
| |
그래서 가장 중요한 것은, 다시 말하지만 매우 직관적이고 전혀 놀랍지 않게도, 클릭한 사람들이라는 점입니다. |
| |
페이지의 특정 콘텐츠를 클릭한 사람들과 방문했지만 아무것도 클릭하지 않은 사람들을 비교했을 때, 클릭한 사람들의 앱 제출률이 20배나 더 높았습니다. |
| |
아주 간단합니다. 그들은 의욕이 넘치고, 당신의 페이지에 관심을 보이고 있습니다. 즉, 클릭을 했다는 뜻인데, 무엇을 클릭한 걸까요? |
| |
트리의 다음 노드는 '지금 지원하기'와 '지금 열기' 콘텐츠, 즉 '지금 지원하기' 또는 '지금 열기'를 클릭한 사람들을 나타냅니다. |
| |
이 페이지에서 바로 접속한 사람들과 다른 곳을 클릭했지만 '지원하기' 버튼을 누르지 않은 사람들을 비교했을 때, '지원하기' 버튼을 클릭한 사람들의 지원서 제출률이 7배 더 높았습니다. 다시 말하지만, 매우 간단하고 직관적인 결과입니다. |
| |
하지만 우리가 놀랐던 점은 그들이 '지금 신청하기'를 클릭하지 않더라도 이 페이지에는 다른 많은 경로가 있다는 것이었습니다. |
| |
제품 상세 페이지를 클릭하고 거기서 신청하세요. 또는, 예를 들어 비교 체험 페이지로 이동하여 거기서 신청할 수도 있습니다. 더 자세한 체험 내용을 살펴보고 신청할 수 있는 거죠. 따라서 이 페이지에서 '지금 신청하기' 외에 두 번째로 중요한 내용은 '모든 계정 비교'입니다. |
| |
(CTA)를 페이지 맨 아래쪽에 숨겨놨는데, 놀랍게도 '모든 계정 비교' 기능이 배너 콘텐츠만큼이나 중요하더라고요. |
| |
그래서 우리는 파트너들과 이러한 대화를 통해 사람들이 '비교하기'를 클릭했을 때 지원서를 제출할 확률이 40% 더 높다는 인사이트를 활용할 수 있습니다. 우리는 이 부분을 사용자 경험에서 더 높은 위치에 배치할 수 있는지, 그리고 그것이 성과 측면에서 어떤 영향을 미치는지 테스트해야 합니다. |
| |
그리고 저희가 발견한 것은, 여기 컨트롤 부분에 비교 버튼과 선택된 제품 콘텐츠가 모두 하단에 있다는 것이었습니다. |
| |
제 개인적인 제안은 두 항목 모두 다시 맨 위에 배치하는 것이었는데, 다행히 저희 마케팅 및 비즈니스 파트너들이 충분히 교육을 받은 덕분에 다변량 분석을 통해 두 항목 모두 맨 위에 있어야 하는지, 어떤 항목을 선호하는지 알아보자고 했습니다. |
| |
방문자 측면에서, 성능 및 사이트 전환율 측면에서 어떤가요? 하나만 있으면 될까요? 혹시 이 연락처 콘텐츠 중 일부가 주의를 산만하게 하는 것은 아닐까요? |
| |
저희는 그것이 사실임을 확인했습니다. 아시다시피, 가장 좋은 성과를 낸 제품은 비교 버튼이 상단에 있는 변형 제품이었습니다. |
| |
그리고 맨 아래쪽에 있는 선택기 말이에요. 특히 그 선택기는, 더 적은 사람들이 더 많이 선택했죠. |
| |
그 부분에 관심이 많았는데, 그걸 맨 위에 두니 좀 산만하더라고요. 그래서 비교 버튼만 다시 맨 위에 배치해서 사용자 경험을 훨씬 깔끔하고 최적화할 수 있게 됐습니다. |
| |
자, 다시 전체적인 상황으로 돌아가서 말씀드리자면, 저희는 두 번의 테스트를 진행했고 첫 번째 테스트에서는 JMP 플랫폼을 사용할 수 있었습니다. |
| |
다변량 검정 논의를 이해하는 데 도움이 되도록. |
| |
그리고 JMP 파티션 모델을 사용하여 인사이트를 도출하고 그 인사이트를 활용했습니다. 그 결과, 비교적 짧은 기간 동안 두 번의 테스트를 통해 사이트 애플리케이션 수를 전체적으로 11% 증가시킬 수 있었습니다. |
| |
결론적으로, 다변량 검정은 다음과 같습니다. |
| |
일반적으로, 이는 테스트에서 무슨 일이 일어나고 있는지 파악하고 이해하는 데 매우 효과적인 방법입니다. 아시다시피, 대부분의 사람들이 알고 있듯이, |
| |
너무 많은 것을 바꾸기 시작하면, 통찰력을 잃게 되는 경우가 있습니다. |
| |
그리고 금융 서비스 테스트에서 가장 중요한 차이점 중 하나는 다음과 같다는 점도 말씀드리고 싶습니다. |
| |
사람들은 아마도 "왜 그냥 순차적으로 A/B 테스트를 여러 번 하지 않았지?"라고 자문할지도 모릅니다. 그리고 그 이유 중 하나는 금융 서비스 업계에 종사하고 있기 때문입니다. |
| |
그리고 제 생각에는 다른 산업 분야에서도 마찬가지로 페이지를 변경할 때마다 법률, 위험 및 규정 준수 검토를 거쳐야 합니다. |
| |
저희에게 다변량 분석 방법은 매우 효과적입니다. 왜냐하면 그 과정을 한 번만 거치면 되기 때문입니다. 순차적인 A/B 테스트는 매우 번거롭습니다. |
| |
이 방법을 사용하면 테스트 과정을 훨씬 더 빠르게 진행할 수 있습니다. 그리고 JMP의 DOE 플랫폼과 관련해서 말씀드리자면, JMP의 DOE 플랫폼은 정말 동급 최고입니다. |
| |
시각적으로도 매우 효과적이고 영향력도 커서 파트너와의 대화를 이끌어가는 데 큰 도움이 됩니다. |
| |
아시다시피, 분석가로서 저는 이런 일을 매일 하지만, 마케팅 및 비즈니스 파트너들은 이런 부분을 자주 생각하지는 않습니다. |
| |
따라서 JMP 플랫폼은 매우 중요하며, 우리가 이러한 논의를 진행하고 이것이 최선의 방향인 이유를 명확히 설명하는 데 도움을 줍니다. |
| |
또한, 허용되지 않는 조합 스크립트의 유연성을 통해 특정 디자인을 평가하고 비즈니스 제약 조건을 탐색하고 관리할 수 있습니다. |
| |
그리고 이 모든 것을 한 단계 더 나아가면, 파티션 모델과 의사결정 트리 분석은 더 많은 통찰력을 추출하는 데 도움이 됩니다. |
| |
우리가 항상 추구하는 것 중 하나는 테스트를 실행하고, 의미 있는 결과를 얻고, 무언가를 배울 수 있는 연속선상에 있는 것입니다. |
| |
하지만 그 과정에서 우리가 미처 깨닫지 못했던 무언가를 배우게 되고, 다음에 무엇을 테스트해야 할지 알기 위해 그러한 통찰력을 얻고자 하는 것입니다. |
| |
이것으로 발표를 마치겠습니다. 웰스파고의 모든 동료, 특히 테스트 팀 동료 여러분의 리더십과 협력에 진심으로 감사드립니다. |
| |
프로젝트 관리부터 웹 페이지 개발, 품질 보증 팀 구성원에 이르기까지 모든 분야에 걸쳐 도움을 주신 모든 분들께 감사드립니다. 특히 루디에게 특별히 감사드립니다. |
| |
오랜 친구이자 동료로서 그의 지도력, 전문성, 끈기, 그리고 항상 팀이 더 나은 성과를 낼 수 있도록 도와준 것에 감사드립니다. 오늘 참석해 주셔서 감사합니다. |
