| 스피커 |
성적 증명서 |
| 조던 힐러 |
가다. |
| 롭 스타 |
JMP Discovery 컨퍼런스에서 포트폴리오와 제품 최적화에 대해 이야기해 보겠습니다. |
| |
이 화면은 오늘 우리 강연의 전반을 예고하는 것이며, 소비자가 온라인이나 백화점, 또는 기프트 카드를 판매하는 다른 많은 장소에서 무엇을 찾을지에 대한 문제를 해결하고 있습니다. |
| |
최고 분석 컨설턴트인 에이미 앤더슨, 그리고 저, 아이소메트릭 솔루션의 전무이사인 롭 룰입니다. |
| |
에이미가 블랙호크에 대해 간략히 설명해 줄 거예요. |
| 에이미 앤더슨 |
그래서 저는 1년 조금 전에 블랙호크를 소개받았고, 실제로 서브웨이에서 모든 기프트 카드를 담당하고 있는 제 동료가 그들의 카드 포트폴리오를 돕기 위해 블랙호크로 유인되었습니다. |
| |
대부분의 사람들은 블랙호크에 대해 들어보지 못했을 겁니다. 그들은 배후에서 활동하지만, 실제로는 세계 최대 규모의 개인 기프트 카드 회사입니다. |
| |
회사는 디지털 기프트, 전화, 직불, 인센티브 카드, 온라인 및 글로벌 소매업체 네트워크를 통해 결제 서비스를 제공함으로써 스스로를 결제 브랜드로 포지셔닝합니다. |
| |
롭이 몇 장 전에 보여줬던 슬라이드를 떠올려 보세요. 바로 타겟입니다. 아마 식료품점에 가보셨을 거예요. |
| |
카드에 옵션이 있다는 걸 알 수 있죠. 결제할 때 말이죠. 그게 그들의 사업의 핵심입니다. 97%가 그렇습니다. 온라인 사업도 하고 있는데, 그걸 통해 점점 성장하고 있습니다. |
| |
giftcards.com 및 기타 웹 사이트를 통해. 그래서 Blackhawk가 저에게 왔을 때, 그들은 어려움을 겪었습니다. 그래서 기프트 카드에 대해 생각해 보면 |
| |
그리고 첫 번째 슬라이드에 나와 있는 그 전체 기프트 카드 몰에는 못이 몇 개나 있을 뿐이에요. |
| |
각 페그를 임대용 부동산이라고 생각해 보세요. 따라서 해당 페그에 올라가려면 비용을 지불해야 합니다. 따라서 기프트 카드를 제작하는 회사라면 어떤 카드가 성공할 가능성이 높고 해당 페그에 올라갈 자격이 있는지 파악해야 합니다. |
| |
블랙호크는 항상, |
| |
어떤 카드를 내놓을지 추측한 다음, 재정 결과가 나오는지 확인하기 위해 12~18개월을 기다렸습니다. |
| |
그렇게 시간을 낭비하는 건 너무 많은 일이기 때문에, 그들은 우리에게 와서 가장 많은 고객에게 어필하기 위해 어떤 카드를 페그에 붙여야 할지 알아내는 더 나은 접근 방식이 있는지 물었습니다. |
| |
그래서 롭을 데려왔고, 롭에게 다시 전달해서 이 문제에 어떻게 접근할지 이야기하려고 합니다. |
| 롭 스타 |
네, 그리고 그리고... |
| 에이미 앤더슨 |
거기 가기 전에, 미안한데, 내가 할 수 있을까? |
| |
시도와 테스트에 대해 말해보죠? |
| 롭 스타 |
글쎄요, 그게 당신의 구성의 기반이 되었으니까요. |
| 에이미 앤더슨 |
어쨌든, 롭과 제가 이야기했던 것 중 하나는, 우리와 웃었던 것인데, 우리의 마케팅 동료들도 많이 웃었습니다. |
| |
블랙호크는 우리가 '트라이'라고 부르는 것을 하는 것으로 유명합니다. 그래서 트라이는 테스트와는 아주 다르고, 생각해 보면... |
| |
아시다시피, 그들은 뭔가를 내놓고 효과가 있는지 보려고 했어요. 그리고 우리는... 우리는... 우리는 그들과 함께 좀 더 테스트를 염두에 두고 접근하려고 노력하고 있어요. 그러니까, |
| |
트레이드오프. 그리고 우리가 그들을 위해 설계한 이 테스트는 사실상 모든 선택에 관한 것입니다. 왜냐하면 무언가를 시도하고 18개월을 기다리면 실패였다는 것을 알아내기에는 너무 늦기 때문입니다. |
| 롭 스타 |
그렇습니다. Amy가 Blackhawk 추측에 대해 이야기했을 때, 그들은 실제로 추측에 꽤 능숙해졌지만, 그들의 시장 규모와 카드 수 |
| |
꽤, 꽤 커졌고, 곧 알게 되실 겁니다. 그래서 테스트나 실험을 위해 다음과 같은 것들을 준비했습니다. |
| |
그래서 그들은...그들은 그 못을 놓고 경쟁하는 카드가 113장 있었던 것 같습니다. 그리고 과제는 물론 시험을 디자인하는 것이었습니다. |
| |
아니면 그런 실험을 가능하게 하는 실험 말입니다. 그리고 이건 그 실험이 결국 어떤 결과를 낳았는지 보여주는 단면입니다. 어떻게... 어떻게 여기까지 왔는지 말씀드리겠습니다. |
| |
곧 알려드릴 내용이지만, 여기서는 토너먼트 디자인이나 실험 설계에 대해 이야기해 보려고 합니다. |
| |
귀속은 먼저 크리스 나흐트샤임 박사에게 전달되고, 그다음에는 브래드 존스 박사와 긴밀히 협력하여 기본적으로 먼저 개념을 정하고, 그다음에는 실제로 어떻게 귀속을 실현할 것인가에 대해 논의합니다. |
| |
그리고 그것이 Max Diff 실험으로 이어졌는데, 지금은 제가 항상 사용하는 JMP의 중요한 플랫폼이 되었습니다. |
| |
그리고 우리는 이 특정 연구에서 다섯 가지 다른 Max Diff 연구를 수행하여 실제로 테스트했습니다. 네 가지는 서로에게 영향을 미쳤고 하나는 결승에 진출했습니다. |
| |
어떻게 거기까지 왔는지부터 살펴보죠. 먼저 카드에 대해 좀 이야기해 볼까요? 저 벽을 보셨죠. 113장 정도 되는 카드에 경쟁사 카드까지 더해졌죠. 그게 타겟이었어요. |
| |
우리가 Blackhawk 시나리오를 살펴보았을 때 우리는 소비자에게 전달될 수 있는 실험 설계를 상상할 수 없었습니다. |
| |
그리고 그들이 적당한 시간 안에 그것을 완료할 것으로 기대하세요. 제가 말하는 시간은 9분... 9분에서 12분 정도입니다. |
| |
나는 피로 모델링과 선택 실험에 관해 Dr Nachtsheim과 다시 많은 작업을 했습니다. |
| |
약 12분 후에 사람들은 그냥 질문에 답하기 시작하고 내부적으로는 일관성이 없어지고, 사람들이 모두 같은 곳에 답하거나 사람들이 설문조사를 끝내지 않는 경우가 있습니다. |
| |
물론 우리는 그것을 전혀 원하지 않았기 때문에 가장 중요한 세트로 줄여야 했고 그 첫 번째 노력의 결과는 다음과 같습니다. |
| |
카드 36장. 몇 장 있고, 더 있고, 나머지도 있죠. 그래서 저희가 만든 최종 카드 세트는 36장이었습니다. |
| |
이제 Amy와 내가 제시한 것과 같은 심층적인 설문 분석 없이 대부분의 연구자들이 이러한 문제를 해결하는 기존 방식은 다음과 같을 것입니다. 이는 실제로 내가 이전에 이야기한 내용입니다. |
| |
JMP 컨퍼런스에서요. 하지만 고전적인 평가 문제를 보면, 각 행이 우리가 평가하는 항목 중 하나이고, 이 경우에는 36행이 되죠. |
| |
그리고 당신은 구매할 가능성이 얼마나 되는지, 또는 어떤 카드를 가장 좋아하는지 알고 있습니다. 시간이 지나면서, 당신이 수집한 데이터가 얼마나 쓸모없는지 상상할 수 있을 것입니다. 당신은 |
| |
존재의 분리가 매우 부족해서 분석할 수 있는 능력이 없었고, 그래서 평가는 확실히 떨어졌습니다. |
| |
일반적으로 우리 분야에서 볼 수 있는 다음 접근 방식은 누군가... 글쎄요, 순위를 매겨보죠. 이제 그들은 이들을 독립적으로가 아니라 상호의존적으로 생각해야 하니까요. |
| |
그게 더 나은 방법이지만, 우리처럼 목록이 길다면 응답자들이 겪는 어려움이 훨씬 심해지고, 누적된 인지적 부담이 엄청납니다. |
| |
그리고 그것은 기본적으로 유지될 수 없습니다. 그래서 물론, 우리는 해결책을 가지고 있습니다. 이것이 바로 로비에르의 방법론입니다. |
| |
최고-최악 스케일링. 최대 차이(Max Diff)는 우리가 아는 방식이며, 효용(utility)이라고 알려진 마법의 통계를 제공합니다. 카드 한 장의 가치는 얼마입니까? |
| |
다른 카드보다 더 중요하죠, 그렇죠? 그리고 그게 바로 우리가 궁극적으로 추구하는 것입니다. 자, 이제 실험을 해 보겠습니다. 이게 우리가 하기로 한 거고, 저는 JMP를 깨뜨릴 겁니다... |
| |
거기 토론이 있어요. 내가 내 것으로 갈게요 |
| |
JMP 디자이너가 실제로 수행한 실험을 보여드리겠습니다. 그 실험은 여기에 있습니다. |
| |
제가 알아낼 수 있어요. |
| |
그리고 우리는 그 디자인을 만들 것입니다. |
| |
이 디자인에 대해 강조하고 싶은 것이 몇 가지 있습니다...(제가 좋아할 만한 내용이라면요. 잠깐만요.) |
| |
보이니, 에이미? |
| |
좋아, 좋아요. |
| |
그래서 우리는 다시 36장의 카드를 가지고 있었고 이것을 관리하기 쉬운 조각으로 나누기 위해, |
| |
우리는 9개의 다른 그룹으로 구성된 9개 블록 크기 또는 5개를 사용했고, 이를 통해 다른 실험에서 18가지 선택 사항을 제공했습니다. |
| |
이런 디자인이에요. |
| |
그리고 우리는 그것을 프로그래밍했고, 실제로 아름다운 사건 매트릭스를 만들었습니다. |
| |
그러니 우리 세상에서는 모든 카드를 다른 모든 카드와 비교하는 게 정말 중요합니다. |
| |
그리고 어떤 카드가 다른 카드를 이길 것이라고 가정하지 마세요. 왜냐하면 다른 카드 중 하나가 이겼거나 이길 수 없었던 카드를 이겼을 테니까요. |
| |
그리고 이 균형 잡히고 불완전한 블록 디자인을 통해 우리는 아름답고 효율적인 실험을 할 수 있었습니다. 모든 카드가 다른 모든 카드와 정확히 두 번씩 테스트되었습니다. |
| |
그래서 우리는 이 실험을 프로그래밍했고, 이제 프로그래밍이 완료되면 어떤 모습일지 보여드리고 싶은데요. 이건 꽤 아름다운 광경이기도 하죠. |
| |
나는 다시 돌아갈 것이다 |
| |
제가 여기서 실험하는 거예요. |
| |
그래서 우리는 그것을 가져갔습니다 |
| |
실험을 설계하고 인터페이스에 구축했으며 설문조사 중간, 약 4분 후에 모든 응답자가 |
| |
부탁했는데... 어디로 갔지? 잠깐만요. 죄송해요. |
| |
다시 시도해 보세요. 죄송해요. |
| |
그들은 실험에 소개되었습니다 |
| |
그리고 우리는 그들에게 보여줬어 |
| |
무작위 그룹화 또는 선택 세트에서 각 카드를 평가하도록 요청했습니다. 그래서 제가 이 카드를 가장 좋아한다면 |
| |
그리고 이게 제일 싫습니다. |
| |
그리고 우리는 그들에게 이것을 여러 번 하게 했습니다. |
| |
이 디자인을 기준으로 하면 정확히 18번입니다. |
| |
그리고 우리는 그들이 게임에 계속 참여할 수 있도록 계속해서 격려했고, |
| |
18개 모두를 통과할 수 있었습니다. |
| |
우리는 하나의 세트를 가지고 있었습니다. 그래서 우리는 실험을 아홉 가지로 나누었습니다... |
| |
각각 9명씩 네 개의 그룹으로 나누어 응답자들을 모은 후, 유틸리티 점수가 가장 높은 우승자들을 최종 예선에 포함시켰습니다. 같은 방식으로 다시 한 번 진행하여 최종 본선에 진출시켰습니다. |
| |
그리고... |
| |
다시 여기로 돌아오겠습니다. |
| |
조금 엉성해서 죄송합니다. |
| |
실험이 있었습니다. |
| |
그리고 우리는 Danny McFadden의 작업과 JMP의 분석 플랫폼을 기반으로 이를 분석했습니다. |
| |
다시 말해서, 여기서 핵심은 그가 그의 텍스트의 맨 아래에서 근본적인 우려에 대해 언급한다는 것입니다. |
| |
인간의 선택 행동을 이해하려면 토론 내용이나 응답자가 영향을 받은 내용을 알 수 없어 해석이 어려운 혼란스러운 영향이 없는 환경에서 이루어져야 합니다. |
| |
자, 이게 한계 효용에 대한 설명입니다. 실험 결과를 분석한 후 나온 첫 번째 결과입니다. 모든 카드를 보여드리는 건 아니지만, 대략적인 개념은 이해하셨을 겁니다. |
| |
음수, 즉 중간 부분에서 통계적으로 유의하지 않은 카드들. 그래서 이렇게 36장의 카드로 구성된 큰 배열이 생겼습니다. |
| 에이미 앤더슨 |
롭, 정말 중요한 거 하나 말씀드려도 될까요? 롭이 앞서 말했듯이, 많은 설문조사 연구원들이 "이거 마음에 드세요?"라고 묻고 1점부터 5점까지 매기곤 하는데, 블랙호크는 이런 식으로 모든 연구에 접근합니다. 그래서 저희가 이걸 보여드렸을 때 |
| |
제품 마케팅 담당자들은 충격을 받았고 이해하지 못했어요. "잠깐만요, 왜 해피 아빠가 저기 빨간불에 있는 거죠?"라고 하더군요. "위쪽 두 칸이었는데." |
| |
음, 차이점은 선택권을 주지 않고 "이거 마음에 드세요?"라고 물어보면, 마음에 들 수도 있지만, 더 좋은 게 있다면 어떨까요? 그래서 이건 그냥 그랬어요. |
| |
그들에게는 획기적인 변화였습니다. 그들은 이런 식으로 카드 포트폴리오를 살펴본 적도 없고 이런 식으로 연구에 접근한 적도 없었기 때문입니다. |
| |
그러니까 계속해, 롭. 그래서 이 부분을 좀 더 명확히 하고 싶었어. 왜냐하면, 내 말은, 그 사람들은 그냥... 선택에 대해 생각해 본 적이 없었기 때문이야. 마치, |
| |
글쎄요, 선택의 폭이 너무 넓어서 그럴 필요가 있다는 건 당연한 거죠. |
| 롭 스타 |
그리고 벽도 있어요. 선택지가 정말 많죠, 그렇죠? 네. |
| |
그래서 우리는 이 데이터를 가지고 있었지만, 에이미는 그것이 여기 방정식의 일부일 뿐이라는 것을 상기시켜준 것이 옳았고, 그녀가 다시 말해줬으면 좋겠습니다. |
| 에이미 앤더슨 |
네, 네, 고맙습니다, 롭. 아까 말씀드린 것 같은데, 블랙호크는 대부분 사업체처럼 재정에 매우 집중하고 있어요. 그러니까 수익을 내는 데 집중해야 하죠. |
| |
하지만 아시다시피, 돈을 버는 것은 결과이고, 그건 사후적인 문제입니다. 그래서 우리가 이 연구를 살펴봐야 했던 겁니다. 그리고 친화도 지수는 정말 훌륭하죠. 이해하시죠? 마음에 드시나요? 하지만 또한 이해하셔야 합니다. |
| |
좋아, 그거 좋네, 난 이거 저거보다 더 좋아하지만 |
| |
사실 건가요? 사신다면, 얼마나 실으실 건가요? |
| |
그리고 이것을 연구의 일부로 포함시킴으로써 소비자가 말하는 것과 그들이 실제로 할 일 사이의 격차를 메우는 데 도움이 됩니다. |
| |
시간이 지남에 따라 이는 클라이언트를 위한 점수표를 개발하는 데 도움이 되므로 클라이언트는 일찍 소비자 피드백을 받고 결국 추산할 수 있습니다. |
| |
해당 정보에 따라 행동하면 재무에 어떤 일이 일어날지 알 수 있으며, 이 세 가지 지표를 모두 연구에 포함하는 것이 매우 중요한 이유입니다. |
| 롭 스타 |
그래서 우리는 이들을 결합하여 미래를 내다보는 사업 전망에 대한 예측 모델을 만들 수 있었습니다. |
| |
그리고 에이미가 그들에게 제공할 수 있었던 것은 되돌아보고 검토할 수 있는 방법이었고, 기본적으로는 이렇게 말하는 것이었습니다... |
| |
이 카드를 시장에 출시하면 6개월이나 12개월 안에 이런 종류의 수익을 창출할 것으로 기대합니다. |
| |
다음 화면은 우리가 어떻게 클라이언트에게 그것을 보여줄 수 있었는지 보여줍니다. 그래서 우리는 |
| |
친화도 점수와 각 카드를 여기에서 볼 수 있다면 기본적으로 유용성에 따라 순위가 매겨졌고, 그러면 해당 카드가 구매될 가능성이 있습니다. |
| |
그리고 우리는 부하 값을 가지고 있습니다. 우리가 모두에게 물었기 때문에, 그게 여러분이 가장 좋아하는 것이었습니다. |
| |
카드를 구매할 가능성은 얼마나 되고, 얼마나 지출할 의향이 있으신가요? 그러면 그녀가 말씀하신 조정된 가치를 만들어낼 수 있을 겁니다. |
| |
그리고 이 축을 따라 모든 카드를 서로 상대적으로 순위를 매길 수 있었습니다. 이는 기본적으로 효용 대비 로드 가능성이었습니다. 그리고 카드를 분리하고 각 카드에 대한 정보를 찾을 수 있었습니다. |
| |
최고의 카드, 그리고 이 경우에 확실히 이 비자 카드가 압도적인 승자였습니다. |
| |
결국 저희는 그 이유를 이해할 수 있었습니다. 잠시 후에 자세히 이야기해 보겠습니다. 카드의 폭넓은 인기와 사용 가능한 브랜드 수와 관련이 있습니다. |
| |
하지만 이렇게 해서 우리는 그 분리를 만들어낼 수 있었습니다. 이것이 우리가 할 수 있었던 첫 번째 주요 작업이었습니다. 이제 다음 단계의 분석으로 넘어가겠습니다. 에이미가 기프트 카드의 구조에 대해 간략하게 설명해 드리겠습니다. |
| 에이미 앤더슨 |
그래서 우리는 포트폴리오 최적화를 살펴보았고, 어떤 카드가 더 성공적이거나 덜 성공적일지에 대한 순위를 매겼습니다. |
| |
그리고... 하지만 두 번째 부분은, 중간에 있는 카드들 중 일부는 버릴 필요는 없지만 어떻게 최적화할 수 있을지 생각해야 한다는 것입니다. 지금 |
| |
기프트 카드에 대해 생각할 때, 이 사업을 시작하기 전까지는 기프트 카드의 모든 구성 요소에 대해 생각해 본 적이 없었습니다. |
| |
그리고 그들이 해피 카드라고 부르는 이 특정 포트폴리오에는 선호도를 좌우하는 많은 요소가 들어 있습니다. |
| |
카드 사용액이 문제일 수도 있고, 누군가에게 선물할 기프트 카드와 선물을 얼마나 살 수 있을지도 문제일 수 있습니다. 카드 사용 조건도 문제일 수 있고요. 카드를 사용하려면 어떻게 해야 할까요? |
| |
개인 맞춤 제작. 어머니나 딸 등에게 개인 맞춤으로 제작해 주실 수 있나요? 카드에 브랜드를 표시하고, 카드 테마나 행사를 정합니다. |
| |
따라서 선호도를 높이는 데 중요한 요소가 무엇인지 이해하는 것이 다음 단계이며, 카드를 최적화하기 위해 어디에 초점을 맞춰야 할지 이해하는 것입니다. |
| |
그래서 우리는 기본적으로 무제한의 테마, 교파, 개인화 옵션을 갖게 되었습니다. |
| |
그리고 Blackhawk가 일반적으로 카드 큐레이션이라고 부르는 작업을 수행하는 방식, 즉 카드를 만드는 방식은 COVID 이전에 회의실에 앉아 있는 것과 같습니다. |
| |
그리고 말 그대로 지난 재무제표를 모두 살펴보고, "음, 이 카드는 이 브랜드를 가지고 있었기 때문에 성과가 좋았던 것 같다"고 말할 수 있습니다. |
| |
아, 이 브랜드를 가져가고 싶은데 아직 카드에 적지 않았거든요. 그리고 정말, 정말, |
| |
아시다시피, 그들은 훌륭한 사업 배경을 가지고 있지만, 그 카드를 만드는 방법을 알아내는 접근 방식 측면에서는 다소 주관적입니다. |
| |
그래서 이 연구를 통해 우리는 그 선호도를 주도하는 요인이 무엇인지 이해할 수 있었습니다. (지금은 상을 주지 않을 겁니다. Rob이 그 과정을 자세히 설명해 주기를 바라니까요.) |
| |
하지만 고객을 위한 정말 놀라운 도구가 개발되었습니다. |
| 롭 스타 |
그렇죠. 효과가 있었어요. |
| 에이미 앤더슨 |
정말 잘 작동하네요. |
| 롭 스타 |
선택 플랫폼. 그리고 |
| |
여기서 우리가 찾고 있는 것은 이산적 선택 실험입니다. 방금 보신 해부학적 구조를 기반으로 우리가 중요하다고 생각하는 것들을 실제로 제공하고 교환할 수 있는 실험입니다. |
| |
그리고 그것은 오른쪽에 표시된 실험에서 구체화되었습니다. |
| |
그것은 화면의 라이브 이미지입니다. 분명히 탐색기에서 JMP와 데크 사이를 오가는 것은 시청자에게 최적이 아닙니다. |
| |
여기서만 이야기하겠습니다. 네 가지 주요 테마 또는 속성이 있었고, 속성 내에는 여러 단계가 있었습니다. 해부학적 구조를 기반으로 테스트한 주요 단계는 사람들이 카드를 구매하게 만드는 테마가 무엇인가였습니다. |
| |
누구에게 선물을 주는지, 그게 중요한 요소인 것 같아요. 카드에 적힌 스폰서나 브랜드, 그리고 사용 조건도 중요하죠. 만료일이 있는 경우도 있고, 온라인으로 카드를 등록해야 하는 경우도 있어요. |
| |
오른쪽. |
| |
때로는 카드를 온라인에서만 사용할 수 있기 때문에, 아이디어는 기본적으로 어느 카드가 가장 수용 가능한지 알아내는 것이었습니다. 일종의 진입 비용이죠. |
| |
그리고 에이미가 암시했던 대로, 결과적으로 매우 강력한 모델을 얻었지만, 우선... 변수 중 하나가 빠졌습니다. 하지만 분명히 알 수 있듯이... 에이미는... |
| |
그녀는 카드 선호도의 57%가 카드에 적힌 브랜드에 따라 결정된다고 말하려고 했습니다. |
| |
브랜드가 중요하다는 건 알았지만, 그렇게 중요한지는 몰랐죠. 그렇죠? 다른 요소들도 중요하잖아요. 오른쪽에 프로파일러가 보이시죠? |
| |
첫 번째 변수가 어느 정도 사라지고 통계적으로 유의미하지는 않지만, 이 연구에서는 여러 속성 간에 명확한 구분이 있었습니다. 그리고 이 속성들은 모두 명목 속성이었는데, |
| |
더 재밌죠, 그렇죠. 이동할 때는 조심해야 하니까요. 그래서 그게 주요... 주요 결과물이었어요. |
| |
그런데 우리는 난제에 부딪혔어요. 카드에 브랜드가 253개나 있거든요. |
| |
첫 번째 연구에서는 36장의 카드가 있었고, 이를 알아내기 위해 최대차분 실험을 5번 했습니다. 사람들이 이에 대해 질문했을 때 이를 처리하도록 할 수 있었기 때문입니다. |
| |
여기서는 이산 선택 실험을 했습니다. 12개의 화면이 있었고, 각 화면에는 세 가지 선택지가 있었기 때문에 개인이 생각해 보기에는 쉬운 실험은 아니었습니다. 하지만 어떻게 문제를 풀 수 있을까요? |
| |
브랜드의 수와 브랜드의 작동 방식? 그래서 '계획된 실험'이라는 개념이 탄생했습니다. 계획된 실험은 아니었지만, 훨씬 더 나은... 단순한 시도보다 훨씬 더 의도적인 작업이었습니다. 그래서 결국 우리가 만들어낸 것은 바로 '꿈의 카드 디자이너'라는 개념이었습니다. |
| |
그리고 우리가 사람들에게 이산 선택 실험을 실시하고 그들의 선택을 표시된 선택으로 제한한 후, |
| |
우리는 그들에게 카드를 직접 선택하고 만들어 보라고 했습니다. 그리고 그 해부학적 구조에 따라 동일한 구성 요소들이 살아 움직이게 됩니다. |
| |
그래서 이건 완전히 다른 방향으로 우리를 이끌었습니다. 다시 한번, 우리가 해결해야 할 문제는, 그들이 어떤 브랜드와 거래를 해야 하는가입니다. |
| |
그리고 이 연구에 참여한 2,000명의 응답자를 대상으로 감정을 풀기 위해 계산한 양은 실행하는 데 약 3일이 걸렸습니다. |
| |
253개 브랜드 중에서 원하는 것을 선택할 수 있었을 때, 단 하나부터 최대 9개까지 선택할 수 있는 조합의 수가 엄청나게 많았습니다. |
| |
카드를 누구에게 줄지, 액면가를 원하는지, 그리고 그 액면가가 얼마나 될지도 고려해야 했습니다. 상상해 보세요, 정말 어마어마했을 겁니다. 그렇죠? |
| |
하지만 이를 통해 만들어낼 수 있었던 것은 에이미가 이야기할 수 있는 놀라운 결과물이었습니다. |
| 에이미 앤더슨 |
그래서 우리는 이 정보를 다른 연구의 결과와 함께 가져와서 카드 최적화 도구라고 부르는 것에 넣었습니다. |
| |
따라서 고객이 이 도구를 사용하여 새로운 카드를 디자인할 때, 참고할 수 있고, 여러 브랜드 카테고리에 걸쳐 있는 브랜드를 갖는 것이 합리적이라고 말할 수 있습니다. |
| |
이 결과를 통해 우리가 발견한 것은 소비자들이 너무 많은 다양성을 원하지 않는다는 것입니다. 다양성을 원하면 비자 카드를 사용하지만, 단일 브랜드 카드 그 이상을 원하기 때문입니다. 따라서 그 중간쯤에 있는 무언가가 있었습니다. |
| |
일반적으로 브랜드가 있을 때 소비자는 이러한 활동을 할 때 브랜드 범주 내에서만 활동합니다. 따라서 처음 선택한 브랜드가 소매 브랜드라면, |
| |
그들은 주로 소매점을 중심으로 카드 디자인을 마쳤습니다. QSR도 마찬가지였고, 디지털, 대형 매장 등도 마찬가지였습니다. |
| |
브랜드를 교차하는 사례도 몇 번 있었는데, 소매점에서 시작해 레스토랑으로 확장하는 경우도 있었습니다. |
| |
쇼핑몰 경험이라고 생각해 보세요. 좀 다른 경험이었어요. 하지만 여기엔 우리가...라고 부르는 브랜드들이 있어요. |
| |
그리고 이 부분이 큐레이션 팀과 정말 잘 맞아떨어졌어요... 저는 이런 브랜드들을 데이트 가능한 브랜드, 데이트 불가능한 브랜드라고 부르는데요. 데이트 가능한 브랜드는 여러 브랜드가 함께 어우러진 브랜드를 뜻합니다. |
| |
그래서 이런 멀티 브랜드 카드를 만드는 데 정말 좋은 징조였죠. 하지만 24시간 피트니스, 알라모, 알버트슨처럼 날짜를 알 수 없는 브랜드도 있죠. 마치... 마치... 각자의 브랜드로만 존재하는 것 같아요. |
| |
그래서 이러한 브랜드가 Blackhawk에 와서 플레이하고 싶어하고 이러한 카드에 참여하고 싶어하는 경우가 있습니다. 왜냐하면 그것이 그들에게 수익이 되기 때문입니다. |
| |
이것은 카드를 디자인하는 도구일 뿐만 아니라 협상을 돕는 도구이기도 합니다. |
| |
게임을 하고 싶다면 돈을 내야 합니다. 왜냐하면 여러분의 브랜드는 누구와도 잘 어울리지 않기 때문입니다. 그리고 아시죠? 우리 소비자들은 |
| |
다른 브랜드를 선호합니다. 그래서 그런 영향력을 행사하는 것이 그들에게는 정말 놀라운 일이죠. 카드를 디자인하고, 블랙호크와 사업을 하는 측면에서 다른 브랜드와 협상할 수 있는 통찰력을 실제로 얻을 수 있으니까요. |
| 롭 스타 |
그렇습니다, 그렇습니다. |
| |
따라서 여기에는 또 다른 부분이 있는데 그것은 다음과 관련이 있습니다. |
| |
카드 |
| |
건설. 그리고 우리는 먼저 어떤 카드가 보관할 수 있고 어떤 카드가 보관할 수 없는지에 대해 이야기합니다. |
| |
내가 앞서 언급했어야 할 것 중 하나는 우리가 그 예선 라운드, 그 4라운드를 설정할 때였습니다. |
| |
저희는 전년도 카드 매출을 기준으로 라운드를 구성했습니다. 물론, 매출은 카드를 사용할 수 있는 브랜드의 매력도에 따라 결정됩니다. |
| |
따라서 카드에 있는 브랜드의 실제 조합에 대해 생각하기 시작하면 Amy는 조건부 확률을 보여주었습니다. |
| |
우리는 이제 한 단계 더 나아가려고 노력했습니다. 맨 오른쪽에 상위 50개 브랜드가 나열되어 있는데, 우리는 |
| |
동일한 카드에 집중된 브랜드를 구매할 가능성이 높은 타겟팅 가능한 소비자 세그먼트입니다. 이것이 바로 우리가 이해하기 위해 진행 중인 분석 작업의 다음 단계입니다. |
| |
성별, 연령, 기타 심리적 유형의 요소에 도달할 수 있을 만큼 충분히 큰 목표가 있을까요? 그러면 적절한 브랜드로 적절한 테마를 제시하여 킬러 카드를 개선할 수 있을 것입니다. |
| |
연구 현황은 이렇습니다. 저희는 Blackhawk를 위해 거의 1년 반 동안 진행된 탄탄한 연구에 대해 설명드렸습니다. |
| |
그리고 모든 힘든 작업의 90%는 JMP 덕분에 가능했다고 말씀드리고 싶습니다. 자, 이제 이야기해 볼까요? |
| |
궁금한 점이 있으시면 언제든지 실시간으로 답변해 드리겠습니다. 10월 6일에 방송될 예정입니다. 그리고 토너먼트 디자인 기술 담당자였던 브래드 존스 님도 |
| |
그리고 분석도 함께 하겠습니다. 그럼, 당분간은 관심 가져주셔서 감사하고, 좋은 컨퍼런스 되시길 바랍니다. 감사합니다. 안녕히 계세요. |
