인간의 가장 큰 장점 중 하나는 모두가 저마다 독특하다는 것입니다. 다양성은 우리 삶 곳곳에 이점을 가져다주지만, 소비재에 대한 선호도 차이 때문에 가장 많은 사람들을 만족시킬 제품을 예측하기는 어렵습니다. JMP가 제공하는 실험 설계(DOE) 기법은 이러한 어려움을 극복하고 가장 매력적인 제품을 개발하는 데 매우 중요합니다.
본 발표의 목적은 소비자의 선호도를 극대화하는 최적의 배합법을 상호작용적인 방식으로 제시하는 것입니다. 실제 식품 배합 사례 연구를 바탕으로 두 가지 실험 설계(DOE) 접근법, 즉 18회 실험으로 구성된 확정적 스크리닝 설계(DSD)와 SVEM 및 신경망을 사용하여 모델링한 18회 실험 공간 채움 설계를 소개합니다.
모델링을 위한 데이터 준비 과정에서 다차원 척도법을 사용하여 이상치 참가자 데이터를 제거하는 방법을 보여줍니다. 계층적 클러스터링을 통해 구축된 참가자 클러스터는 적합도 선별 및 SVEM 신경망을 이용한 모델 적합에 활용됩니다. JMP 프로파일러의 강력한 기능을 통해 클러스터별 소비자 선호도 차이를 분석합니다. 텍스트 탐색기를 사용하여 연구 참가자의 실제 의견을 탐색함으로써 모델링을 통해 얻은 인사이트를 검증하는 방법을 보여줍니다. 마지막으로, 각 실험 설계 및 모델링 접근 방식에서 얻은 인사이트와 각각의 한계를 비교합니다. 참가자들은 기존의 실험 설계 및 소비자 테스트 전략보다 더 풍부한 정보를 제공하는 대안을 접하게 됩니다.
감사합니다. 오늘 저는 실험계획법(DoE)과 소비자 조사를 활용하여 소비자 선호도의 다양성이라는 과제를 해결하는 방법에 대해 이야기하려고 합니다. 혹시 청중 여러분 중에 오리건 트레일 게임을 해보신 분이 계신가요? 오리건 트레일을 모르시는 분들은 아마 저와 비슷한 나이대의 미국 거주자이실 겁니다. 대부분의 학생들이 학창 시절 컴퓨터실에서 컴퓨터로 오리건 트레일을 즐겨 했었죠.
기본적으로 아주 오래된 컴퓨터 게임인데, 여러분은 미국 평원을 가로질러 오리건주에 도착하려는 사람들의 무리가 되어 여러 난관에 부딪히게 됩니다. 그중 하나가 강을 건너는 것이죠. 이 스크린샷은 1848년 캔자스 강을 건너는 장면입니다. 강에 도착해서 결정을 내려야 하는데, 3월이라 날씨가 춥다고 나옵니다. 당연한 거죠. 강의 폭은 628피트, 깊이는 3.4피트입니다. 다섯 가지 선택지가 있습니다. 강을 건너는 것, 배를 타고 건너는 것, 나룻배를 타는 것, 날씨가 나아지기를 기다리는 것, 아니면 정보를 얻는 것입니다. 어떤 선택을 하시겠습니까?
대부분의 사람들은 "강 수심이 3.4피트라고 적혀 있는데, 항상 3.4피트인 건가? 아니면 6피트인 곳도 있고, 2피트인 곳도 있고, 10피트인 곳도 있지 않을까?"라고 생각하는 것보다는 훨씬 신중해야 한다는 것을 알고 있을 겁니다. 만약 강을 탐색하다가 10피트 깊이의 지점을 만나게 된다면, 아주 위험한 상황에 처할 수도 있으니까요.
직관적으로 우리는 평균값을 사용하는 것이 항상 최선의 접근 방식은 아니라는 것을 알고 있을 겁니다. 신제품 출시는 마치 오리건 트레일 게임에서 강을 건너는 것과 같습니다. 물론 소비자 테스트를 많이 진행하고, 많은 기업들이 평균 소비자 점수를 활용하는데, 솔직히 말해서 그게 더 쉽기 때문입니다. 하지만 안타깝게도 모든 소비자가 같은 것을 좋아하거나 같은 이유로 좋아하는 것은 아닙니다.
소비자 테스트를 할 때 원하는 사람들만 선별하려고 아무리 노력해도, 결국에는 사람들이 각기 다른 것을 선호하게 마련입니다. 저 같은 연구 개발 담당자들은 소비자들의 선호도가 동질적이기를 바라지만, 현실은 그렇지 않습니다. 만약 선호도가 동질적이라면 하나의 제품만 개발하면 되니까요. 하지만 사람들은 저마다 다른 취향을 가지고 있고, 바로 그 때문에 오늘날의 식료품점이 존재하는 것입니다.
제가 여러분께 무엇을 보여드리려고 할까요? JMP를 활용하여 소비자 테스트 데이터에서 더 많은 정보를 얻는 방법, 특히 실험 설계(DoE)를 통해 더 많은 정보를 수집하고 소비자를 참여시켜 제품 배합을 최적화하는 방법을 보여드리겠습니다.
두 번째 목표로, 다양한 모델과 실험 설계가 미래 소비자 선호도 점수를 얼마나 잘 예측할 수 있는지 살펴보겠습니다. 두 가지 예시를 준비했는데, 하나는 확정적 선별 설계이고, 다른 하나는 공간 채움 실험 설계(DoE)입니다. 이 두 가지 설계를 SVEM과 신경망을 이용해 모델링했습니다.
조금 설명해 드릴게요. 왜 우리가 이 일을 하게 됐는지 배경을 좀 알려드리겠습니다. 작년에 기존 제품을 개선해 달라는 요청을 받았어요. 경영진이 우리에게 와서 "이 제품을 더 좋게 만들 수 있을 것 같은데, 가서 개선해 봐"라고 말했죠.
주어진 일정으로는 순차적인 실험계획법(DoE)을 많이 진행하기가 어려워서, 6가지 요인을 고려한 18회 실행의 확정적 스크리닝 설계를 실행하기로 했습니다. 그리고 그 샘플을 만들어 소비자 테스트에 제출하여 선호도를 예측하고 최적의 배합을 도출해내려고 했습니다.
데이터를 모델링한 후, 소비자 테스트에서 대조군보다 우수한 결과를 보일 수 있는 세 가지 솔루션을 도출했습니다. 그 후, 이 세 가지 공식과 대조군 공식을 함께 사용하여 추가 테스트를 진행했고, 목표는 세 가지 공식 중 하나, 적어도 하나는 대조군보다 나은 결과를 보이는 공식을 찾는 것이었습니다.
모델에서 이 방법들이 아주 좋은 점수를 받을 거라고 예측했기 때문에 큰 기대를 걸었습니다. 하지만 실제로는 대조군보다 아주 조금 나은 수준에 그쳤고, 이 공식들을 계속 사용하는 것이 좋을지에 대한 확신을 주지 못했습니다.
약간 실망스럽긴 했지만, 그래도 많은 것을 배웠습니다. 프로젝트는 이미 끝났지만, 1년이 지난 지금, 우리는 연구 개발 업무를 어떻게 수행해야 할지, 그리고 새로운 접근 방식에 대한 확신을 어떻게 얻어야 할지 고민하고 있습니다. 경영진이 "더 좋게, 더 빨리"라고 압박할 때, 누구나 익숙하고 검증된 방식에 의존하게 되기 때문입니다.
이 프로젝트에서 제가 하고 싶었던 것은 시간을 되돌려 "확정적인 화면 디자인 대신 다른 방식을 택했다면 어땠을까?"라고 자문해 보는 것이었습니다. 소비자 테스트 데이터를 통해 더 많은 것을 얻을 수 있지 않을까 하는 생각을 해봤습니다. 모델상으로는 매우 높은 점수를 받을 수 있을 것 같았지만, 실제로는 그 점수가 한계였고, 그 한계가 우리를 제약하고 있었던 것입니다.
우리는 무엇을 했을까요? 두 번의 실험을 진행했습니다. 첫 번째는 2023년 4월에 실시한 확정적 선별 설계 실험으로, 118개의 공식을 사용했습니다. 그리고 1년 후인 2023년 4월, 공간 채움 설계 실험으로 18개의 공식을 사용했습니다. 두 실험 모두 최대한 공정성을 기하기 위해 동일한 요인과 요인 범위를 사용했습니다. 첫 번째 실험에서 얻은 교훈을 두 번째 실험에 적용하여 결과에 편향을 주지 않으려고 노력했습니다.
그런 다음 우리는 실험계획법(DoE)을 만들었고, 그 모델들이 바로 이 검증 테스트를 예측하도록 하고 싶었습니다. 그래서 이 네 가지 공식 중 어느 것도 다른 두 테스트에는 제출되지 않았습니다.
좀 더 자세히 말씀드리자면, 무엇을 보여드릴까요? 한 가지는 자세히 보여드리지는 않겠지만… 최종적인 선별 설계에 대해서는 시간을 많이 할애하지 않겠습니다. 대신 소비자 선호도 데이터를 살펴보고, 참여해주신 패널들을 그룹별로 분류하여 어떤 정보를 얻을 수 있는지 알아보겠습니다.
전통적인 소비자 테스트에 익숙하지 않은 분들을 위해 설명드리자면, 테스트는 한 곳에서 진행됩니다. 먼저 테스트에 참여할 사람들을 미리 선별합니다. 즉, 제품 사용자이거나 원하는 인구 통계학적 특성을 가진 사람들이 테스트 장소에 와서 제품을 시음하고 평가합니다. 그리고 그 점수를 바탕으로 잠시 후에 설명드릴 과정을 진행합니다.
이 테스트에서는 두 테스트 모두 합쳐 약 120명의 소비자를 대상으로 분석을 진행했습니다. 계층적 군집 분석과 다차원 척도 분석을 통해 누가 이 테스트에 참여했고 무엇을 원하는지 등 흥미로운 정보를 도출해낼 예정입니다.
그런 다음 공간 채움 디자인에서 얻은 데이터를 신경망으로 모델링한 후 프로파일러를 사용하여 소비자 선호도를 좌우하는 요인을 더 잘 이해할 수 있는지 살펴보겠습니다. 모든 소비자의 평균값을 사용하는 것과 클러스터링 후 그 평균값을 사용하는 것의 차이점을 설명하겠습니다.
마지막으로, 말씀드린 대로 두 번째 목표는 검증 테스트 세트에서 최종 스크린 디자인과 공간 채움 디자인의 예측 성능을 비교하는 것입니다. 두 디자인의 성능이 얼마나 좋았을까요? 테스트에 사용된 샘플이 네 개뿐이었기 때문에 이 결과는 다소 신중하게 받아들여야겠지만, 그래도 몇 가지 시사점을 얻을 수 있을 것입니다.
자, 이제부터 이 프레젠테이션의 나머지 부분은 JMP를 사용해서 보여드리겠습니다. 저는 개인적으로 다른 사람들이 JMP에서 어떻게 작업했는지 보여주는 것을 좋아하고, 그게 더 효과적이라고 생각하기 때문입니다.
이 부분을 최소화해 보겠습니다. 참고로, 최종 스크리닝 설계는 다음과 같습니다. 여기에 요소들이 있습니다. 우리는 A, B, C, D, E라는 다섯 가지 성분이 있었고, 각각 낮거나 높을 것으로 예상되는 속성이 있었습니다. 적합성 최종 스크리닝을 진행한 결과, 다섯 가지 성분 중 네 가지가 유의미한 것으로 나타났고, 성분 A는 테스트된 어떤 항목에서도 큰 영향을 미치지 않는 것으로 밝혀졌습니다.
마지막으로 프로파일러를 보여드리겠습니다. 보시다시피, 대부분의 사람들은 이 재료들을 더 많이 넣을수록 더 좋아합니다. 대체로 더 좋아하죠. 몇 가지 상호작용도 있는데, 예를 들어 C의 양을 늘리면 D의 반응이 다소 완만해지는 것을 볼 수 있습니다. 바로 이런 현상을 바탕으로 모델을 만든 것입니다.
자, 그럼… 먼저 공간 채움 디자인에 대한 소비자 테스트 데이터를 살펴보겠습니다. 이것이 바로 그 데이터입니다. 사람들에게 묻는 질문은 많지만, 이번 발표에서는 가장 중요한 전반적인 의견에 초점을 맞추겠습니다.
그건 마치… 제품을 시식한 후에 우리가 제일 먼저 묻는 질문과 같아요. 얼마나 마음에 드세요? 9점 척도로 평가하는데, 쾌락 척도라고 해요. 1점은 정말 싫다는 뜻이고, 9점은 정말 좋다는 뜻이에요. 우리는 9점을 목표로 하고, 점수가 높을수록 좋아요.
참고로, 일반적으로 우수한 제품 점수는 7점대 초반이고, 보통 수준의 제품은 6점대 중반이며, 6점 미만은 정말 심각하게 우려해야 할 수준입니다.
소비자 테스트 데이터를 통해 가장 먼저 묻고 싶었던 질문은, 우리 소비자 집단이 동질적인가 아니면 선호도가 각기 다른가 하는 것이었습니다. 이를 통해 무엇을 알 수 있을까요? 클러스터링과 계층적 클러스터링을 분석하면 이를 파악할 수 있습니다. 먼저 스크립트를 보여드리겠습니다.
여기 보이는 것은 모든 패널 참가자들의 반응을 나타낸 히트맵입니다. 가로축은 각 샘플에 대한 전반적인 선호도를 나타내는데, 총 18개의 샘플이 있었습니다. 세로축은 각 소비자가 평가한 점수를 보여줍니다. 예를 들어, 이분은 샘플 1에 7점을, 샘플 2에는 2점을 주어 그다지 좋아하지 않았지만, 샘플 3에는 9점을 주며 매우 만족스러워했습니다.
이 히트맵을 사용하면 색깔을 통해 몇 가지를 쉽게 알아볼 수 있습니다. 저는 초록색을 좋아해서 여기에 초록색을 사용했지만, 다른 색깔을 선택하셔도 됩니다. 여기 진한 색조가 보이시죠? 이분들은 모든 항목에 9점 만점을 주셨거나, 저희가 제시한 모든 것을 아주 좋아하셨거나, 아니면 두 가지 항목 중 하나만 클릭하신 분들입니다.
저희는 응답자들에게 왜 좋았는지, 왜 싫었는지 있는 그대로 말해달라고 요청합니다. 이를 통해 응답자가 진심으로 테스트에 참여한 것인지, 아니면 단순히 보상을 받기 위해 클릭만 한 것인지 구분할 수 있습니다. 제가 살펴본 결과, 이분들은 저희가 제시한 모든 것에 진심으로 만족하신 분들이었습니다. 반면, 이 아래쪽 그룹은 평가를 내리기가 조금 망설여졌습니다. 모든 항목에 9점을 주고 싶어 하셨지만, 실제로는 8점을 주셨습니다.
클러스터링을 할 때, 원하는 클러스터 개수를 지정할 수 있어요… 제가 클러스터링 전문가는 아니지만, 이 데이터를 살펴봤을 때 대략 세 개의 클러스터가 있는 것 같았어요. 저희는… 크리스티안, 잠깐 멈춰도 될까요?
계속 실행되는 것 같네요, [알아들을 수 없는 부분 00:14:19].
아, 네. 잠시만 기다려 주세요. 문 앞에 누가 있어요.
죄송합니다. 마이크가 머리 위에 있는 걸 깜빡했어요.
맞아요. 괜찮아요. 어디였는지는 잘 모르겠네요.
당신은 9와 8 사이의 색상에 대해 언급했거나 언급했던 것 같은데, 그 다음에는 클러스터링 전문가가 아니라고 말씀하시면서 뭔가 찾고 있는 것 같았습니다.
알겠습니다. 네, 제가… 이 부분을 잘라달라고 부탁해야겠어요.
네. 제가 알려드릴게요. 제 목표는 영상을 보고 문제가 발생한 시점을 파악해서 알려주는 거니까 걱정 마세요.
네, 죄송합니다. 누가 집에 오는 줄 몰랐어요.
걱정 마세요. 저도… 저도 같은 걱정을 하고 있었어요. 대략적인 준비는 되셨나요?
응.
네, 마이크를 끄겠습니다. 3초만 기다려주시고, 그 후에 말씀해 주세요.
좋아요.
좋아요.
네. 이 히트맵을 보면, 모든 항목에 높은 점수를 준 사람들은 짙은 녹색으로, 마찬가지로 모든 항목에 높은 점수를 주었지만 9점 대신 8점을 준 사람들은 연한 녹색으로 표시되어 있습니다.
클러스터링 분석 결과 세 개의 클러스터가 나타났고, 각각 빨강, 초록, 파랑으로 표시했습니다. 보시다시피 빨강 클러스터는 어두운 색이 많고, 초록 클러스터는 중간쯤에 밝은 색이 많습니다. 그리고 파랑 클러스터는 더욱 밝은 색이 많습니다.
클러스터를 살펴보면, 여기 요약된 내용을 통해 클러스터를 시각적으로 확인할 수 있습니다. 이는 클러스터별 평균 점수입니다. 클러스터 1은 거의 모든 것을 아우르는 집단입니다. 이들은 항상 모든 것에 높은 점수를 주며, 관대하다고 할 수 있습니다. 즉, 어떤 것을 주든 대부분 좋아한다고 할 수 있는데, 이는 매우 긍정적인 부분입니다. 클러스터 2는 중간 정도의 점수를 받은 집단입니다. 그리고 클러스터 3은 좀 더 까다롭거나, 더 전문적인 취향을 가진 집단입니다.
흥미로운 점은 그들이 교차할 때, 그들의 선호도에 차이가 있다는 것을 알 수 있다는 것입니다. 한 집단과 다른 집단 사이의 차이점을 보여주는 것이죠. 바로 그 점이 우리에게 단서를 제공했습니다.
우리가 이 소비자들을 살펴보면서 또 하나 확인하고 싶었던 것은, 제공된 데이터에서 우려해야 할 다른 이상 징후가 있는지 여부였습니다. 데이터 과학에서 해야 할 일의 80%는 데이터 정리 작업이기 때문입니다. 우리가 살펴보고자 했던 것은 다차원 척도 분석이었는데, 이 분석을 통해 "서로 가까운 소비자와 멀리 떨어진 소비자를 지도처럼 보여줄 수 있다"는 것을 알 수 있었기 때문입니다.
이를 위해 빨간색 삼각형을 클릭하고 거리 행렬을 저장하면 패널 참가자 또는 소비자 간의 거리를 나타내는 행렬을 얻을 수 있습니다. 그런 다음 다차원 척도 분석을 수행하려면 다변량 방법, 다차원 척도 분석을 선택하고 Y 열에 모든 소비자를 입력하면 됩니다. 이 과정은 몇 초밖에 걸리지 않습니다. 이제 결과를 살펴보고 다른 참가자들과 크게 차이가 나는 패널 참가자가 있는지 확인해 보겠습니다.
방금 만든 지도입니다. JMP에서 몇 가지 알려준 점이 있는데요. 우선, 대부분의 사람들이 여기에 속한다는 겁니다. 당연한 결과죠. 대부분의 소비자들이 제품을 평가하거나 좋아하는 정도를 살펴보는 방식을 보면, 대부분이 여기에 속하는 건 당연한 일입니다.
여기 이상한 패턴이 있네요. 이런 패턴을 자세히 살펴보려면, 열 이름을 선택한 다음 행 선택을 해서 일치하는 셀을 모두 선택하면 됩니다. 그러면 '이름'이라는 단어와 패널리스트 번호(002, 1027 등)가 포함된 다른 데이터 테이블도 모두 선택됩니다.
이것은 패널리스트들의 이름이 포함된 원본 데이터 세트입니다. 이제 그들이 어떤 점수를 주었는지 확인할 수 있습니다. 이 사람은 9, 9, 9, 7, 9, 9, 거의 모두 9점을 줬네요. 흥미롭습니다. 여기 강조 표시된 다음 그룹을 보겠습니다. 9, 9, 8, 9, 8, 9, 8, 9. 모든 것을 좋아하고, 아주 많이 좋아합니다. 다음 그룹으로 넘어가 보겠습니다. 8, 7, 9, 9, 9, 8, 9.
여기 오른쪽 부분을 보시면, 소비자들이 '무엇이 마음에 들지 않나요?'라고 직접 답한 것을 알 수 있습니다. '없음, 없음, 없음, 없음, 없음, 없음, 없음'이라고 답했죠. 이런 소비자들의 응답에서 공통적인 패턴을 발견할 수 있습니다. 이 분석 결과가 바로 그 점을 보여줍니다. 이들은 이전에 진한 녹색 띠로 표시했던 소비자들과 마찬가지로 모든 항목에 동일한 점수를 준 사람들입니다. 다차원 척도 분석에서 이러한 패턴을 포착한 것입니다.
그리고 우리 쪽에서 좀 특이한 사람들이 있는데, 아마 이쪽이 오른쪽 필드인 것 같아요. 이 사람들은 왜 그럴까요? 여기서도 똑같이 해볼게요. 일치하는 셀을 모두 선택해 볼게요. 이 사람들을 찾으려면 다음으로 선택된 셀을 보면 됩니다. 완전히 다른 결과가 나오죠. 2, 7, 3, 1, 9, 7, 2, 6, 9, 2. 이 사람이 왜 다른지 도무지 알 수가 없었어요. 그런데 여기 강조 표시된 다음 셀을 보면 4, 7, 3, 2, 5, 3, 1, 6, 1, 1 이렇게 나와요. 다시 한번 말하지만, 그냥 무작위 패턴처럼 보이죠. 하지만 평가 내용을 자세히 보면 이해가 됩니다. 9점을 준 사람은 싫어하는 부분이 전혀 없었다고 했고, 1점을 준 사람은 상한 재료 맛이 난다고 했어요. 물론 재료가 상한 건 아니지만, 평가 내용이 사실이라는 걸 알 수 있죠.
그러다 누군가 제게 말해줬어요… 저는 이 사람들이 왜 다른지 알아내려고 애쓰고 있었거든요. 누군가 저울을 어떻게 사용하는지 보라고 제안했는데, 저울 전체를 다 사용하는 걸 볼 수 있더라고요. 저는 개인적으로 이 제품들이 다 꽤 괜찮다고 생각했어요. 어떤 건 다른 것보다 더 좋았지만, 그렇다고 아주 싫다고 할 정도는 아니었어요. 이건 제가 여태껏 먹어본 것 중 최악이고, 9점은 제가 여태껏 먹어본 것 중 최고라는 뜻이죠.
이를 파악하기 위해, 전체 의견에 대한 요약표를 만들 때, 각 패널리스트의 그룹별 표준편차와 범위를 계산해 보겠습니다. 이렇게 하면 각 패널리스트와 그들이 모든 샘플을 평가한 방식의 표준편차가 포함된 데이터표가 생성됩니다. 이 표를 내림차순으로 정렬하면… 여기서 가장 변동성이 큰 상위 10명의 패널리스트를 확인할 수 있습니다.
다시 말씀드리지만, 만약 우리가 이름을 강조 표시하고, 일치하는 모든 셀을 선택하도록 하면, 여기에 강조 표시된 부분을 볼 수 있습니다. 이 모든 사람들을 구분하는 것은 그들이 무엇을 좋아하고 무엇을 싫어하는지가 아니라, 척도를 사용하는 방식입니다. 이것은 단지 우리가 가진 데이터가 정확하고, 사람들이 우리가 요청한 대로 수행했는지 확인하기 위한 방법일 뿐입니다.
만약 데이터에 문제가 있는 명확한 이유를 발견했다면, 해당 데이터를 제외했을 겁니다. 하지만 제외할 이유가 없었기 때문에 그대로 두었습니다. 이것은 클러스터링과 다차원 척도 분석을 어떻게 활용하는지 보여주는 간단한 예시입니다.
클러스터링에 대해 또 하나 공유하고 싶은 것은, 최종적으로 제가 보여드리고 싶은 것은 실험계획법(DoE) 표입니다. 이것은 저희가 진행한 공간 채움 설계(space filling design)입니다. 여섯 가지 요인이 여기에 있습니다. 제가 필요했던 것은 열 하나였습니다. 클러스터 1에 대한 전반적인 선호도, 클러스터 2와 3에 대한 전반적인 선호도, 그리고 전체 선호도를 나타내는 열입니다.
이 세 가지를 얻는 쉬운 방법 중 하나는 이 클러스터 평균표를 사용하는 것입니다.
요약 정보에서 나온 내용입니다. 마우스 오른쪽 버튼을 클릭하고 '데이터 테이블로 만들기'를 선택하면 제가 원하는 대로 나옵니다... 정확히 원하는 건 아니고요. 모든 표본 평균이 열로 표시됩니다. 하지만 저는 이 순서를 바꾸고 싶습니다. 클러스터를 열로, 열을 행으로 만들고 싶습니다. 행과 열의 순서를 바꾸고 싶습니다.
테이블 메뉴에서 전치(Transpose)를 선택하면 이 열들을 전치할 수 있습니다. 클러스터 이름으로 레이블을 지정할 수도 있죠. 이제 이 내용을 복사해서 DoE 데이터 테이블에 붙여넣으면 됩니다. 제가 이미 그렇게 했으니 여기서는 다시 할 필요가 없겠네요. 이제 창을 닫겠습니다. 이제 세 개의 클러스터가 생성되었습니다. SVEM을 사용한 신경망으로 이 데이터를 모델링했습니다. 프로파일러를 통해 어떤 결과가 나오는지 보여드리겠습니다. 재료 A, B, C, D부터 E까지, 그리고 속성값인 낮음과 높음이 표시됩니다. 클러스터별로 분석해 보면 매우 흥미로운 점을 발견할 수 있습니다.
우선, 최종 스크리닝 설계를 했을 때 성분 A는 전혀 영향력이 없다고 나왔습니다. 유의미한 차이가 없었기 때문에 제거했죠. 그런데 갑자기 성분 A가 어떤 역할을 하는 것처럼 보입니다. 더 흥미로운 점은 두 그룹이 서로 상반된 양상을 보인다는 것입니다. 성분 A의 양을 줄이면 클러스터 3의 평균값은 올라가지만, 클러스터 2의 평균값은 내려가기 때문입니다.
즉, 클러스터 3은 A 성분을 좋아하지 않거나 너무 많이 넣는 것을 원하지 않는 반면, 클러스터 2는 A 성분을 좋아한다는 뜻입니다. B 성분도 마찬가지입니다. B 성분을 많이 넣을수록 클러스터 2는 더 좋아하고, 클러스터 3은 B 성분을 많이 넣을수록 더 싫어합니다. 이러한 결과는 소비자 테스트에서 선호도에 한계가 있는 이유, 즉 사람들이 특정 제품을 얼마나 좋아하는지에 대한 상한선이 존재하는 이유, 전반적인 선호도 점수가 예상보다 높게 나오지 않는 이유에 대한 의문을 해결해 주었습니다. 우리 소비자 집단은 동질적이지 않으며, 각기 다른 것을 좋아하는 사람들이 존재하기 때문입니다.
이 문제를 어떻게 해결해야 할까요? 이것이 바로 답하기 어려운 질문입니다. 기업 입장에서 전략적인 질문이기도 합니다. 모든 고객을 만족시키기 위해 노력해야 할까요? 최고 만족도를 보이는 고객층, 즉 모든 제품에 높은 점수를 주는 고객층을 만족시키는 것이 한 가지 접근 방식입니다. 하지만 만족도가 다소 낮은 2, 3등급 고객층은 어떨까요? 다른 접근 방식은 1, 2등급 고객층에 집중하는 것입니다. 이들은 애초에 높은 점수를 받았으므로 제품에 대한 열정이 더 높을 가능성이 큽니다. 따라서 이들의 만족도를 극대화하는 데 모든 노력을 집중해야 합니다.
또, 클러스터 3의 경우, 그들이 더 좋아할 만한 다른 제품을 제공하는 것이 필요할지도 모른다는 생각도 듭니다. 아는 것이 많을수록 질문도 많아지지만, 그만큼 할 수 있는 일도 많아지고 성공 가능성도 높아집니다. 프로파일러를 통해 얻은 교훈이 바로 그것이며, 매우 유용했습니다.
또 하나는, 프로파일러가 이렇게 말했지만, 그게 정말 사실일까 하는 의문이 항상 드는 겁니다. 클러스터 3이 재료 A나 B를 싫어하는지, 또는 클러스터 2가 그 반대인지 실제로 확인해 보기 위해, 우리는 실제 사용 기록을 살펴보고 그 안에서 무엇을 발견할 수 있는지 알아보기로 했습니다.
원래 소비자 데이터 테이블로 이동하면, 여기에는 전반적인 의견이 있고 오른쪽에는 소비자들이 속한 클러스터가 표시됩니다. 그다음에는 불만 사항이 있는데, 꼭 살펴볼 필요는 없지만… 우리는 불만 사항을 있는 그대로 살펴볼 것입니다. 텍스트 탐색기를 사용하여 프로파일러에서 보이는 내용과 일치하는지 확인해 보겠습니다.
클러스터별로 텍스트 탐색기를 사용해 봤습니다. 클러스터 1에서 가장 많이 사용된 용어는 무엇인가요? 없습니다. 싫어하는 항목에 해당하므로 좋은 결과입니다. 바로 우리가 원하는 결과입니다. 싫어하는 항목에는 아무것도 없어야 합니다. 마우스 오른쪽 버튼을 클릭하고 "텍스트 표시"를 선택하면 사람들이 어떤 말을 하는지 알 수 있습니다. 싫어하는 것이 없습니다. 싫어하는 것이 전혀 없습니다. 생각나는 것이 없네요. 좋습니다.
클러스터 2에서는 '아무것도 없다'라는 표현이 가장 많이 사용되지만, 보시다시피 클러스터 1과는 다릅니다. 클러스터 1에서는 '아무것도 없다'라는 표현이 292개나 사용되었고, 그 다음으로 많이 사용된 표현은 절반 정도에 불과했습니다. 여기서는 거의 비슷한 비율입니다. '아무것도 없다'라고 말하는 사람들과 '맛이 없다'라고 말하는 사람들이 있는데, 보통은 '맛이 부족하다', '맛이 충분하지 않다', '맛이 약하다', 'B 성분의 맛이 부족하다'와 같은 표현을 사용합니다.
다음으로 클러스터 2에 속하는 재료 B가 있습니다. 재료 B에 대해 어떤 의견이 있었는지 살펴보겠습니다. 클러스터 2의 의견은 재료 B의 맛이 충분히 강하지 않다는 것, 부족하다는 것, 더 필요하다는 것, 재료 B가 충분하지 않다는 것입니다. 재료 B의 맛이 매우 강했기 때문에, 우리는 매우 강한 재료를 하나 선택했습니다.
다시 한번 말씀드리지만, 이건 모두 DoE 샘플입니다. 전반적으로 성분 B를 더 넣으면 좋겠다는 의견이 많습니다. 성분 B를 더 많이 넣을수록 더 맛있다는 거죠. 이는 프로파일러 분석 결과 클러스터 2가 성분 B를 더 선호한다는 것과 일치합니다.
재료 A는 어때요? 클러스터 2는 어떻게 생각하나요? 이 경우에는 너무 많은 말을 하고 있네요. 좀 파악하기 어려워요. 어떤 사람들은 재료 A가 충분하지 않아서 맛이 밍밍했다고 하네요. 재료 A가 부족해, 재료 A가 부족해.
명심하세요, 그들이 불만을 표현할 때, 꼭 A라는 재료에 대해 언급할 필요는 없습니다. 이 의견은 어느 정도 걸러서 들어야 합니다. 그들은 단지 맛이 이상하다고 생각할 때만 말하는 겁니다. 하지만 이제 세 번째 클러스터로 넘어가면, 갑자기 '맛'이라는 단어가 가장 많이 사용됩니다. B라는 재료가 바로 여기, 세 번째에 있는데, 그들은 B라는 재료에 대해 뭐라고 말할까요? B라는 재료가 너무 많다고 하는 대신, 이 클러스터에서는 '부족하다', '부족하다'라고 합니다. 너무 많다는 의견도 몇 개 있지만, 너무 강하다, 너무 많다, 너무 많다, 너무 많다, 너무 많다, 너무 많다, 약간 강하다, 그리고 부족하다는 의견도 있습니다.
하지만 우리가 전혀 보지 못했던 부분이 많다는 것을 알 수 있습니다. 예를 들어 클러스터 2에서는 사람들이 B 성분이 너무 많다고 말했는데, 이제는 너무 많다고 말하는 사람들이 생겼습니다. 이는 프로필 분석 결과와 일치하며, 이 두 클러스터가 A 성분과 B 성분에 대한 선호도가 다르다는 것을 더욱 확신하게 해주었습니다.
그럼, 재료 A에 대해 뭐라고 했는지 살펴보면, 너무 많다, 너무 많다는 의견이 많습니다. 재료 A가 조금만 있어도 너무 많다는 뜻이고, 조금 과하다는 의견도 있습니다. 보시다시피, 이 부분도 맞는 것 같습니다. 재료 A가 너무 많으면 안 되고, 재료 B도 너무 많으면 안 된다는 거죠. 이렇게 해서 저희는… 일종의 탐색을 해봤습니다. 텍스트 탐색기에서 더 자세히 분석해서 수치를 덧붙일 수도 있겠지만, 저희는 단순히 탐색적인 목적으로 사용했습니다. 그래프 같은 시각화 도구를 이용해서 데이터를 탐색하는 거죠. 텍스트 탐색기를 사용해서 사람들이 뭐라고 말하는지 살펴보고, 프로파일러와 비교해 본 결과도 일치했습니다.
결론적으로, 우리는 왜 우리가 도달할 수 있는 점수에 한계가 있는 것처럼 보이는지에 대한 해답을 찾았습니다. 또한, 이전에는 알지 못했던 매우 중요한 정보인, 다양한 집단에 대한 각기 다른 선호도를 발견했습니다. 이제 이러한 정보를 바탕으로 우리는 무언가를 할 수 있게 되었습니다.
자, 그럼 마지막으로 확정적 선별 설계와 공간 채움 설계의 예측 정확도를 비교해 보겠습니다. 검증 샘플이 네 개밖에 없어서 결과를 완전히 신뢰하기는 어렵지만, 어느 설계가 더 나은 결과를 보이는지 살펴보겠습니다.
저희는 네 가지 모델을 가지고 있습니다. 클러스터 평균을 사용하고 클러스터 크기에 따라 가중치를 부여하거나, 모든 소비자의 평균을 사용하면 확정적 선별 설계에서 개발된 두 가지 모델이 나옵니다. 하나는 적합도만을 사용한 확정적 선별 설계이고, 다른 하나는 동료가 검토 중인 모델입니다.
무엇을 발견했을까요? 우선 첫 번째로, 첫해 점수에 편향이 있었습니다. 어떤 이유에서인지 2023년 점수가 2024년보다 높게 나왔습니다. 전반적으로 공간 채움 디자인을 적용했을 때 모든 점수가 하락했습니다. 이는 테스트 과정의 변동성 때문일 수도 있고, 아니면 어떤 이유로든 응답자들의 기분이 좋지 않았기 때문일 수도 있습니다. 정확한 이유는 모르겠습니다.
과학자로서, 특히 연구 개발 과학자로서 이 모델에서 조금이나마 희망을 느끼는 부분은, 그래프가 제가 바라는 선과 완전히 평행하지는 않지만 거의 평행하다는 점입니다. 만약 100% 정확한 예측이었다면, 이 검은색 선이 바로 y = x를 나타낼 것입니다. 우리가 가진 제한된 정보와 여러 편향을 고려했을 때, 이 모델은 꽤 괜찮은 결과를 보여주는 것 같습니다.
만약 표본 평균값만 고려했다면 차이가 없었겠지만, 여기서는 다른 결과가 나타납니다. 적합도를 살펴보면 두 선이 평행하지 않고 교차하는 것을 볼 수 있습니다. 이는 이 모델이 미래 패널 참가자들의 점수를 제대로 예측할 수 있다는 확신을 주기에는 다소 부족합니다.
그런데 다른 하나는 훨씬 더 어려움을 겪었습니다. 예를 들어, 이쪽 모델은 7.9라는 값을 예측했지만 실제로는 7이라는 값을 내놓았습니다. 2023년에 검증 테스트를 진행했을 때 바로 그 부분에서 실망했습니다.
이 시간이 유익했기를 바라며, 사람들의 다양성, 특히 음식 취향의 다양성에 대해 깊이 이해하게 되셨기를 바랍니다. 또한 이 내용을 바탕으로 소비자로부터 더 많은 정보를 얻어내는 능력을 향상시키시기를 바라며, 경청해 주셔서 감사합니다.
