스피커
|
성적 증명서
|
| 빌 월리 |
안녕. |
| 스티브 C |
저는 스티브 크리스트입니다. A/B 테스트를 넘어 웹 페이지 최적화를 위한 다변량 테스트 및 고급 분석의 사용 사례를 살펴보는 오늘 저와 함께 해주셔서 감사합니다. |
| |
오늘의 개요입니다. 전체 사용 사례에 대한 높은 수준의 개요부터 시작한 다음 세부 사항을 살펴보겠습니다. JMP 데모를 살펴보겠습니다. |
| |
특정 실험 설계를 평가하는 방법을 살펴봅니다. |
| |
또한 테스트에서 얻은 결과와 JMP 파티션 모델을 활용하여 이러한 통찰력을 향상할 수 있었던 방법에 대해서도 살펴보겠습니다. |
| |
높은 수준의 개요에서 이 사용 사례는 두 가지 테스트로 구성됩니다. 테스트 1에서는 배너 디자인의 일부 구성 요소와 페이지 레이아웃 본문을 살펴보았습니다. |
| |
그리고 성공적인 다변량 테스트를 통해 지원자가 7% 증가했습니다. 한걸음 더 나아갈 수 있었습니다 |
| |
우리가 발견한 페이지 하단에 푸시된 일부 콘텐츠에 대한 통찰력을 발견하는 것이 매우 중요했으며 테스트 2에서 이를 활용할 수 있습니다. 할 수 있었다 |
| |
첫 번째 테스트 승자보다 성능을 추가로 4% 향상시킵니다. 따라서 사용 사례는 JMP DOE 플랫폼과 맞춤형 DOE가 테스트 1을 지원하고 JMP 파티션 모델이 더 많은 것을 추출하는 데 어떻게 도움이 되었는지 강조합니다. |
| |
테스트 2에 활용할 수 있었던 추가 통찰력. |
| |
자세한 내용을 살펴보겠습니다. |
| |
현재 페이지를 보면 Wells Fargo 검사 홈페이지입니다. |
| |
그리고 우리의 마케팅 파트너와 비즈니스 파트너는 고객 피드백의 목소리를 잘 받아왔기 때문에 이 테스트의 주요 동기는 이 Body Style A 또는 Page Layout A에 관한 것이었습니다. |
| |
고객이 경험에서 더 많은 제품이 더 높은 곳에 표시되기를 원한다고 말한 B와 비교했습니다. 마케팅 및 비즈니스 파트너는 이렇게 말했습니다. |
| |
우리가 이 변화를 하는 동안, 우리도 한동안 가지고 있던 이 이미지를 더 잘할 수 있을 거라 생각합니다. |
| |
또한 콘텐츠를 왼쪽으로 가져오는 이 배너 디자인은 사람들의 눈이 더 자연스럽게 그려지고 물리적으로 작아서 고객과 방문자가 더 관심이 있다고 말한 이 콘텐츠를 표면화할 수 있다고 생각합니다. 그래서 우리 파트너들이 A/B 테스트를 가지고 우리를 찾아왔습니다. |
| |
그러나 여기에서 더 많은 일이 진행되고 있음을 금방 알 수 있습니다. 8개의 가능한 조합 중 2개만 있습니다. |
| |
우리가 파트너들과 나눈 대화는 이 디자인이 멋져 보이지만 약간의 위험이 있다는 것이었습니다. |
| |
그리고 그 위험은 이러한 구성 요소 중 일부가 잘 작동할 수 있고 일부는 성능을 저하시키고 서로를 상쇄할 수 있다는 것입니다. 따라서 A/B 테스트만 실행했다면 |
| |
어떤 구성 요소가 잘 작동하고 잘 작동하지 않는지 알 수 없습니다. 그리고 거기에... 그것이 우리가 다변량 테스트를 제안한 곳입니다. 우리 파트너는 훌륭하다고 말했습니다. 그걸하자. 하지만...그리고 그들은...우리가 관리해야 하는 몇 가지 비즈니스 제약이 있었습니다. |
| |
그렇다면 그러한 비즈니스 제약은 무엇이었습니까? |
| |
그들은, |
| |
내가 언급했듯이 주요 동기는 이 본문 레이아웃과 페이지에 새 콘텐츠를 가져오는 것이었습니다. |
| |
따라서 전체 디자인 공간을 살펴보면 파트너는 이전 본문 페이지 레이아웃을 갖는 이러한 다른 변형을 실제로 테스트하는 데 관심이 없고 의욕도 없었습니다. 그건 |
| |
그것이 핵심이었습니다...핵심 요인 1번. |
| |
둘째, 식욕이 별로 없었습니다. 이 블록에서 이것은 새 레이아웃이 있는 이전 이미지가 있는 페이지를 나타내며 다시 많은 관심이 없었습니다. |
| |
그렇게 하면서. 따라서 이 특별한 경우에 우리 파트너는 편안하게 실행할 수 있는 테스트에 대해 매우 규범적이었습니다. |
| |
따라서 자연스러운 질문은 이 테스트가 전체적인 다변량 테스트 설계로 작동합니까?입니다. 바로 여기서 JMP 맞춤형 DOE 플랫폼이 등장합니다. 전환하여 어떻게 수행했는지 살펴보겠습니다. |
| |
그래서 우리는 DOE로 가서 맞춤형 디자인을 살펴보았습니다. |
| |
세 가지... 세 가지 요소가 있습니다. 우리는 우리의 이미지를 가지고 있습니다. |
| |
A 및 B 버전을 사용하면 A 및 B가 포함된 또 다른 2단계 범주형 배너 변수가 있습니다. |
| |
마지막으로 A 및 B 버전의 본문 페이지 레이아웃이 있습니다. |
| |
그리고 |
| |
계속을 클릭하면 |
| |
우리는 지금까지 좋아 보인다. 여기서 우리가 주목하는 것은 이 4개의 셀 디자인 공간을 4개의 셀로 커버할 수 있다는 것입니다. |
| |
하지만 우리는 경험을 통해 알고 있으며 이에 익숙한 사람들은 알 것입니다. |
| |
JMP 최적화 엔진은 이 설계를 4셀 부분 요인으로 제공하지 않습니다. 이것은 최적의 디자인이 아닙니다. |
| |
4셀용이지만 비즈니스 제약을 관리하기 위해 작업하려는 디자인이었습니다. 따라서 이 특정 디자인을 강제하기 위해 허용되지 않는 조합을 사용할 수 있습니다. |
| |
기본적으로 실행하지 않으려는 모든 단일 셀을 지정하여 실행하려는 항목만 남게 합니다. JMP 내에는...정확한 테스트 설계를 지정하는 방법이 없지만 허용되지 않는 조합 스크립트를 활용하여 이를 강제할 수 있습니다. |
| |
이것은 우리가 매우 자주 하는 일입니다. |
| |
웹 페이지 테스트를 수행하는 우리 세계에서는 파트너로부터 많은 정보를 얻습니다. 그리고 이것은 우리에게 매우 일반적인 사용 사례이므로 자주 사용하는 기술입니다. |
| |
그래서 우리는 범주형 변수를 다루고 있기 때문에 여기서 스크립트를 설명하기 위해 그것들을 코딩해야 합니다. 그래서 A의 값은 1을 얻고 값 B는 2를 얻습니다. 테스트하기 싫다... |
| |
다시 불러오겠습니다. |
| |
우리가 실행하고 싶지 않은 이 특정 셀을 보면 배너 B와 본문 스타일 A가 있는 이미지 A이므로 ABA 또는 121입니다. |
| |
여기 이 셀은 배너 A와 본문 스타일 A 또는 2211이 있는 이미지 B입니다. 그런 식으로 실행하지 않으려는 셀 4개를 모두 지정할 수 있습니다. 그런 다음 디자인 만들기를 클릭합니다. |
| |
렌더링하는 데 1초밖에 걸리지 않습니다. |
| |
즉시 수렴하지 않는다는 오류가 발생하지 않는다는 사실은 좋은 징조입니다. 따라서 사실 우리는... |
| |
JMP는 예, 이 설계가 작동할 것이라고 말합니다. 그래서 여기 우리의...여기 우리의 제어 페이지가 있습니다. 첫 번째 실행에 표시된 것은 배너 A와 본문 스타일 A가 있는 AAA, 이미지 A입니다. 세 번째 실행에서 우리는 |
| |
배너 B와 본문 B가 있는 이미지 B가 있는 원래 A/B 제안에서 파트너가 우리에게 제공한 변형입니다. |
| |
그리고 여기에는 BAB 및 AAB와 함께 변종 1과 2가 표시되어 있으므로 기대했던 것을 돌려받게 됩니다. 그래서 평가에 대해 잠시 언급하겠습니다. 제가 일반적으로 보는 것 중 하나는 상관관계에 대한 컬러 맵입니다. |
| |
그리고 디자인 진단. |
| |
그리고 이것들에 익숙한 사람들은 |
| |
이것은 내가 언급했듯이 가장 최적의 디자인은 아니지만 작동하며 이것이 과학과 예술이 있는 곳입니다. |
| |
파트너와 협력해야 합니다. 그래서 그것이 작동하는 한 그것은 우리에게 가장 중요한 요소였습니다. |
| |
또한 실제 데이터가 있는 폴백이 있음을 알고 있습니다. 우리가 원한다면 부분적인 비교를 할 수 있지만 효율성이 많이 향상됩니다. |
| |
이러한 결과 중 일부를 추론할 수 있는 다변량을 실행합니다. 오늘 이 대화의 요점이 아닌 여기에도 댓글을 달겠습니다. |
| |
그러나 잘 구성되고 적절하게 분석된 다변량은 A/B 테스트보다 더 오래 걸리지 않으며 이는 액면 그대로 직관에 반합니다. 그래서 나는 그 말을 미리하고 싶었습니다. 관심이 있으시면 Q&A 중에 저에게 물어보시거나 오프라인으로 저에게 연락해 주세요. |
| |
프레젠테이션으로 다시 돌아오겠습니다. |
| |
그래서 우리는 이 설계를 살펴보고 평가할 수 있었습니다. 이제 이것이 전체적인 부분 요인 다변량으로 작동한다는 것을 알고 있습니다. 그래서 우리는 무엇을 배웠습니까? |
| |
우리는 개요를 살펴보면서 다음과 같이 배웠습니다. |
| |
두 번째 변형에서는 7% 상승했습니다. 그것은 이 디자인 공간에서 우리의 최고 성능이었습니다. 그리고 우리는 전체적인 다변량 테스트를 받았기 때문에 추론할 수 있는 일부 회귀 기술을 활용하여 과거를 되돌아 분석할 수 있습니다. |
| |
이 테스트 중에 이러한 페이지 중 일부를 실행했다면 어떤 일이 발생했을까요? 그래서 우리는 우리가 할 수 있는 실제 가치를 가지고 있었을 뿐만 아니라 |
| |
회귀 분석을 통해 유효성을 검사하고 확인했으며 일치도가 높았지만 또한...이 때문에 이러한 페이지를 테스트했다면 이러한 페이지의 성능이 어땠을지 계산하고 되돌아볼 수도 있습니다. 그리고 그...그것 중 하나는 |
| |
다변량 테스트의 강력한 기능은 특히 우리와 같이 다양한 페이지를 모두 개발하고 만들어야 하는 상황에 처한 경우에 유용합니다. 이 기술을 활용할 수 있습니다. |
| |
사전 작업을 상당히 절약하면서도 학습 내용을 추출할 수 있습니다. 또한 격리하는 데 도움이됩니다. |
| |
성능을 주도하는 것. 여기서 원래 A/B 테스트를 수행했다면 |
| |
우리는...우리는...했을 것이다... |
| |
우리의 변형은 성능을 억제했을 것입니다. 그리고 다변량을 실행하지 않았다면 해석은 고객이 이 새 페이지를... |
| |
또는 고객이 좋아한다고 말한 이 새로운 개념과 디자인을 별로 좋아하지 않는 것으로 해석했을 것입니다. 하지만 실제로 보면 알 수 있습니다 |
| |
성능을 억제한 것은 모두 배너 B 버전입니다. 그것은...새 배너 스타일이 특히 방문자의 공감을 얻지 못했다는 것입니다. |
| |
그리고 우리 고객. |
| |
그래서 우리는 그것들을 추출할 수 있었습니다. 앞으로 더 나은 승자가 있을 뿐만 아니라 이 디자인이 |
| |
우리 고객이 원한다고 말한 것은 사실, 실제로는 성능이 좋은 것입니다. |
| |
그래서 우리는 거기서 쉽게 멈출 수 있었고 성공적으로 테스트를 마쳤다고 말할 수 있었습니다. 감사합니다. 완료되었습니다. 하지만...하지만 끝났습니까? 우리는 많은 데이터를 가지고 있습니다. 데이터가 우리에게 말할 수 있는 다른 것이 있습니까? |
| |
보고서에서 우리가 알아차린 것 중 하나는 참여도와 클릭수가 훨씬 적다는 것이었습니다. |
| |
여기에서 계정을 비교하고 올바른 계정을 찾으면 가이드 환경으로 이동합니다. 그리고 제어 경험에서 그것들은... |
| |
그 내용은 훨씬 더 높았습니다. 배너 바로 아래에 있었기 때문에 클릭 관점에서 전혀 놀랍지 않게 |
| |
클릭수가 훨씬 적었나요? 페이지에서 더 아래로 내려갈수록 사람들이 더 많이 스크롤해야 하고 덜 클릭한다는 것은 모든 웹 페이지에서 매우 일반적입니다. 그것은 매우 직관적이지만 우리는 스스로에게 질문을 던집니다. |
| |
그게 문제인가요? 우리는 이러한 경험과 콘텐츠가 꽤 좋다고 생각하며, 그 정도로 떨어졌다는 사실에 다소 놀랐습니다. 조금 떨어질 것으로 예상했지만 |
| |
하지만 생각보다 많이 떨어졌다. 그게 문제인가요? 그래서 그 측면을 이해하는 데 도움이 되도록 JMP 파티션 모델, 특히 의사 결정 트리 알고리즘을 사용했습니다. |
| |
그래서 우리는 변형 2를 선택하고 신청서 제출을 분석하여 어떤 콘텐츠가 언제 클릭되었는지 또는 클릭되지 않았는지 알아내기 위해 노력했습니다. |
| |
증가를 도왔습니다. 그리고 우리는 더 높은 지원 제출률로 분리를 보았습니다. |
| |
따라서 트리 맨 위에서 가장 중요한 것은 다시 매우 직관적이고 전혀 놀라운 일이 아니지만 클릭한 사람들이 |
| |
페이지의 일부 콘텐츠와 방문했지만 아무 것도 클릭하지 않은 사용자에 비해 클릭한 사용자의 앱 제출률이 20배...20배 더 높았습니다. |
| |
매우 간단합니다. 동기가 부여됩니다. 그들은 귀하의 페이지에 참여하고 있습니다. 그래서 그들은 클릭했지만 무엇을 클릭했습니까? |
| |
트리의 다음 노드는 지금 적용 및 지금 열기 콘텐츠이므로 지금 열기 또는 적용을 클릭한 사람들 |
| |
이 페이지에서 직접 클릭한 사람들과 다른 것을 클릭했지만 적용을 클릭하지 않은 사람들에 비해 적용 클릭한 사람들은 앱 제출률이 7배 더 높았습니다. 다시 말하지만 매우 간단하고 매우 직관적입니다. |
| |
하지만 우리가 놀랐던 점은 그들이 지금 적용을 클릭하지 않으면 이 페이지에서 할 수 있는 다른 많은 경로가 있다는 것입니다. |
| |
상품 상세 페이지를 클릭하여 신청해 주십시오. 또는 예를 들어 비교 경험으로 이동하여 거기에서 신청할 수 있습니다. 당신이 경험에 더 깊이 들어가고 여전히 적용할 수 있는 것처럼. 따라서 이 페이지에서 지금 열기 외에 두 번째로 중요한 콘텐츠는 모든 계정을 비교하는 것입니다. |
| |
(CTA). 그리고 우리는 그것을 페이지 하단에 묻었습니다. 사실, 모든 계정을 비교하는 것은 배너의 콘텐츠만큼이나 중요합니다. 이는 우리에게 매우 놀라운 일이었습니다. |
| |
그래서 우리는 파트너와 대화를 나눈 다음 사람들이 비교를 클릭할 때 신청서를 제출할 가능성이 40% 더 높다는 통찰력을 활용할 수 있습니다. 경험에서 백업을 더 높게 설정할 수 있는지, 성능 측면에서 우리에게 어떤 영향을 미치는지 테스트해야 합니다. |
| |
그리고 우리가 찾은 것은 여기 제어에서 하단에 비교 및 제품 선택 콘텐츠가 있습니다. |
| |
제 개인적인 제안은 두 가지 모두를 다시 맨 위에 올려놓는 것이었습니다. 하지만 다행히도 우리는...마케팅 및 비즈니스 파트너를 충분히 교육하여 그들이 다변량을 실행하여 알아내자. 상단에? 알다시피, 선호도가 있습니까? |
| |
방문자, 성능 및 사이트 전환 측면에서? 하나만 가져야 할까요? 이 접촉 중 일부가... 내용이 산만합니까? |
| |
우리는 그것이 사실임을 알게 되었습니다. 가장 실적이 좋은 변종에서 언급한 바와 같이 최상위는 비교 대상이 최상위에 있는 변종입니다. |
| |
선택기는 하단에 있습니다. 알다시피 선택자는 특히 사람이 적을수록 많았습니다. |
| |
그것에 관심이 있습니다. 그래서 맨 위에 있으면 약간 산만 해졌습니다. 따라서 우리는 비교 백업을 맨 위에 유지함으로써 경험을 실제로 정리하고 최적화할 수 있습니다. |
| |
다시 높은 수준으로 돌아가서 아시다시피 이것은...두 가지 테스트가 있었고 첫 번째 테스트에서 JMP 플랫폼을 사용할 수 있었습니다. |
| |
다변량 테스트 토론을 탐색하는 데 도움이 됩니다. |
| |
그런 다음 JMP 파티션 모델을 사용하여 통찰력을 발견하고 그 통찰력을 제공합니다. 다시 말하지만, 상당히 짧은 기간 동안 이 두 테스트 사이에서 우리는 사이트 응용 프로그램을 총 11%까지 늘릴 수 있었습니다. |
| |
결론적으로 다변량 테스트는 |
| |
일반적으로 테스트에서 진행되는 작업을 격리하고 이해할 수 있는 매우 효과적인 방법입니다. 대부분의 사람들이 알고 있듯이, |
| |
너무 많은 것을 변경하기 시작하면 어느 정도 통찰력을 잃게 됩니다. |
| |
또한 금융 서비스 테스트에서 주요 차이점 중 하나는 |
| |
사람들은 스스로에게 묻고 있을지도 모릅니다. 왜 순차 A/B 테스트를 많이 하지 않았나요? 그리고 그 중 일부는 금융 서비스에 의존합니다. |
| |
그리고 다른 산업에서도 마찬가지라고 생각합니다. 페이지에 대한 모든 변경 사항은 법적, 위험 및 규정 준수 수준의 검토를 거쳐야 합니다. 그래서 |
| |
우리에게는 다변량 방법이 매우 효과적입니다. 그 과정을 한 번만 진행할 수 있고 순차 A/B 테스트가 매우 번거롭기 때문입니다. |
| |
이 방법을 사용하면 훨씬 더 빠르게 테스트를 진행할 수 있습니다. JMP DOE 플랫폼과 관련하여 JMP의 DOE 플랫폼은 동급 최고입니다. |
| |
매우 시각적이며 파트너와의 대화를 탐색하는 데 매우 효과적입니다. 왜냐하면, |
| |
아시다시피 분석가로서 이것은 제가 매일 하는 일이지만 우리 파트너, 마케팅 및 비즈니스 파트너가 자주 생각하는 일은 아닙니다. |
| |
따라서 JMP 플랫폼은 중요한 역할을 하며 대화를 탐색하고 이것이 최선의 경로인 이유를 설명하는 데 도움이 됩니다. |
| |
또한 허용되지 않는 조합 스크립트의 유연성을 통해 특정 디자인을 평가하고 이러한 비즈니스 제약 조건을 탐색 및 관리할 수 있습니다. |
| |
그런 다음 이 모든 것을 한 단계 더 나아가 파티션 모델과 의사 결정 트리 분석은 더 많은 통찰력을 추출하는 데 도움이 됩니다. |
| |
우리가 항상 노력하는 것 중 하나는 우리가 테스트를 실행하는 이 연속체에 있는 것입니다. 우리는 영향력 있는 결과를 얻고 무언가를 배우기를 바랍니다. |
| |
그러나 우리는 또한 우리가 정말로 감사하지 않은 것을 배우고 실제로 다음에 무엇을 테스트해야 하는지 알 수 있는 통찰력을 얻고자 합니다. |
| |
그럼 프레젠테이션을 마치겠습니다. 모든 리더십과 협력에 대해 Wells Fargo의 모든 동료, 테스트 동료에게 감사의 말을 전하고 싶습니다. |
| |
프로젝트 관리 범위에서 웹 페이지 개발, 품질 보증 팀 구성원에 이르기까지 다양합니다. 여러분 모두 감사합니다. 그리고 Rudy에게 특별한 감사를 드립니다. |
| |
그의 지도, 전문성, 끈기에 대한 우정과 오랜 동료가 되어 항상 팀이 더 잘할 수 있도록 도와줍니다. 오늘 참석해 주셔서 감사합니다. |
