人類最偉大的特質之一就是我們每個人都是獨一無二的。多樣性為我們周圍的一切帶來了益處，但消費者對商品偏好的差異使得預測哪些產品能取悅最多的人變得極具挑戰性。借助 JMP 軟體，實驗設計 (DOE) 對於設計最具吸引力的產品配方至關重要。
本次報告旨在以互動的方式展示如何優化配方，以最大限度地提高消費者的喜好。報告將介紹來自真實食品配方案例研究的兩種實驗設計方法：一種是包含18個運行的確定性篩選設計（DSD），另一種是使用SVEM和神經網路建模的包含18個運行的空間填充設計。
為了準備用於建模的數據，本文示範了多維尺度分析法，用於去除異常參與者的數據。在利用擬合確定性篩選和支援向量機（SVEM）神經網路擬合模型時，會使用基於層次聚類的參與者聚類。 JMP 分析器的強大功能將突顯不同聚類中消費者偏好的差異。文字瀏覽器用於展示如何透過探索研究參與者的原始評論來驗證建模獲得的見解。最後，本文比較了每種實驗設計和建模方法所獲得的見解及其限制。與會者將獲得比傳統實驗設計（DOE）和消費者測試策略更豐富的資訊替代方案。
謝謝大家。今天要跟大家聊聊如何運用實驗設計（DoE）和消費者研究來因應消費者偏好差異帶來的挑戰。我想知道在座的各位有多少人玩過《俄勒岡之旅》（Oregon Trail）這款遊戲。如果你沒玩過《俄勒岡之旅》，那你大概得跟我年紀相仿，而且都住在美國。大多數孩子上學的時候，都會在電腦教室玩這款遊戲。
這基本上是一款非常古老的電腦遊戲，你扮演一群人，試圖穿越美國大平原到達俄勒岡州，沿途會遇到許多挑戰。其中一項挑戰就是渡河。這是一張遊戲截圖，我們來到了1848年的堪薩斯河邊。如果我們到達那裡，需要做出選擇，遊戲提示外面很冷，當時是三月。這很合理。河寬628英尺，深3.4英尺。我們有五個選擇：涉水過河、順流而下、搭乘渡輪、等待情況好轉，或先收集資訊。你會如何選擇？
我想我們大多數人都知道，不能只是想著：「好吧，上面寫著河水深度3.4英尺，那是不是意味著它一直都是3.4英尺？還是有些地方深6英尺？有些地方深2英尺？有些地方深10英尺？」 如果是這樣，當你試圖去河邊走的時候，遇到10英尺深的地方，那你可能就陷入非常糟糕的境地。
我認為憑直覺我們都知道，使用平均值並非總是最佳方法。推出新產品就像在《俄勒岡之旅》中過河一樣。很多時候我們會進行消費者測試，而很多公司會使用平均消費者評分，因為說實話，這比較簡單。但遺憾的是，並非所有消費者都喜歡相同的東西，或者喜歡相同的東西的原因也各不相同。
無論你多麼努力地篩選出目標族群，在進行消費者測試時，總是會發現人們的偏好各不相同。身為配方師和研發人員，像我自己，我們當然希望消費者的偏好能保持一致，但實際情況並非如此。如果消費者的偏好一致，我們只要開發一種產品就萬事大吉了。然而，人們的偏好各不相同，這正是如今超市商品琳瑯滿目、種類繁多的原因。
我要向你們展示什麼呢？我想向你們展示如何使用 JMP 從消費者測試數據中獲取更多信息，尤其是在使用 DoE（實驗設計）來獲取更多信息、收集消費者反饋並嘗試優化配方時。
作為次要目標，我們將研究不同模型和實驗設計預測未來消費者喜好得分的效果。我們有兩個例子：一個是確定性篩選設計，另一個是空間填充實驗設計，我們分別使用支援向量機（SVEM）和神經網路對其進行了建模。
簡單來說，我先解釋一下我們為什麼要做這件事。去年，我們被要求改進現有產品，管理層找到我們說：“你們知道嗎？我們覺得它還可以做得更好，你們去把它改進一下。”
給我們的時間安排讓我們感覺不太有把握進行大量的順序實驗設計，所以我們決定進行一個六因素 18 次運行的確定性篩選設計，然後製作這些樣品並提交給消費者進行測試，看看我們是否可以建立喜好模型，然後得出正確的公式。
在建立數據模型後，我們得到了三個我們認為可行的解決方案，它們在消費者測試中有望勝過對照組。隨後，我們進行了後續測試，將這三個方案與對照組方案一起進行測試，目標是找出這三個方案中至少一個優於對照組的方案。
我們曾經寄予厚望，因為模型預測這些模型應該會取得非常好的成績。但結果發現它們只比對照組略好一些，這讓我們對是否應該繼續使用這些模型感到猶豫不決。
雖然有點令人失望，但我們仍然學到了很多。計畫已經結束了，但一年後，我們一直在思考研發工作該如何進行，以及如何對新方法建立信心？因為當你面臨壓力，管理階層要求「做得更好，做得更快」時，你往往會傾向於選擇你熟悉的、更成熟的方法。
我們想做的，也是我參與這個專案的目的，就是讓我們回到過去，思考「如果我們當初沒有採用最終的螢幕設計方案，而是做了其他選擇，結果會怎樣？」我們能否從消費者測試數據中獲得更多對我們有幫助的信息，因為模型顯示我們應該能夠獲得非常高的分數，但事實是，這些分數似乎存在上限，而這個上限限制了我們。
我們做了什麼？我們進行了兩次測試。第一次是在2023年4月，採用的是確定性篩選設計，使用了最初的118個公式。一年後，我們又在4月進行了一次，這次是空間填充設計，使用了18個公式。為了盡可能確保公平性，兩次實驗設計都使用了完全相同的因子和因子範圍。我們盡量避免將第一次實驗設計的經驗應用到第二次實驗中，導致結果出現偏差。
然後我們製作了這些實驗設計，然後我們希望這些模型能預測這個驗證測試的結果，因此在其他兩個測試中都沒有提交這四個公式。
更詳細地說，我要向你們展示什麼？有一點我們不會過度展示……我不會花太多時間在最終的篩選設計上，但我們會展示的是，我們將查看消費者喜好數據，並透過對參與的消費者和小組成員進行聚類分析，探索我們可以從中了解到什麼。
對於不熟悉傳統消費者測試的人來說，測試會在一個中心地點進行。你會預先篩選測試對象，也就是你的產品使用者或符合你目標族群特徵的人。他們會來這裡品嚐產品，進行評分，然後你會收集這些分數，並進行我們稍後要進行的操作。
在這些測試中，我相信兩次測試我們都使用了大約120名消費者。我們將使用層次聚類和多維尺度分析來探索我們可以從中獲得哪些有趣的信息，例如誰在參與這項測試以及他們正在尋找什麼。
然後，在利用這些神經網路對空間填充設計的數據進行建模之後，我們將查看分析結果，看看我們能否更好地理解驅動消費者偏好的因素。我將討論如何使用平均數據…即所有消費者的平均值，以及將資料聚類後使用這些平均值，看看我們能發現什麼。
最後，正如我剛才所說，次要目標是比較最終螢幕設計方案和空間填充設計方案在驗證測試集上的預測性能。它們的表現如何？由於我們只有四個樣本進行測試，所以結果可能略顯不足。但即便如此，我們仍可以從中獲得一些啟示。
接下來，我將用 JMP 來示範剩餘部分，因為我知道，我個人很喜歡別人用 JMP 來示範他們的操作方式，我覺得這樣更有效率。
我們盡量簡化一下。僅供參考，這是最終篩選方案。這些就是篩選因素。我們有成分 A、B、C、D、E，以及一個我們預測會高或低的屬性。當我們進行擬合最終篩選時，我們發現五種成分中有四種是顯著的，並且該屬性也很重要。成分 A 在所有測試中似乎都不太重要。
最後，這是分析結果。你可以看到，大多數情況下，你添加的這些成分越多，人們就越喜歡。大多數情況下，他們越喜歡。也存在一些交互作用，例如你可以看到，如果我增加成分 C 的用量，如果你觀察成分 D，你會發現效果趨於平緩。這就是我們建構這個模型的依據。
我們來談談…我們首先要談談空間填充設計的消費者測試數據。這就是重點。我們也會問人們很多其他問題，但就本次演講而言，我將重點放在整體意見，因為這是我們最關心的。
這就像…我們讓他們品嚐產品後問的第一個問題是：您有多喜歡它？評分採九分制，稱為享樂量表。 1 分代表極不喜歡，9 分代表極度喜歡。我們追求的是 9 分，分數越高越好。
作為參考，通常情況下，好的產品評分會在 7 分左右，勉強及格的產品評分會在 6 分左右，而低於 6 分的產品評分就真的非常需要關注了。
我們想透過這些消費者測試數據提出的第一個問題是：我們的消費者群體是同質的，還是有不同的偏好？我們能從中了解什麼？透過分析聚類和層次聚類，我們可以找到答案。我先來看看腳本。
這裡是所有評審的熱力圖。橫軸代表每個樣品的整體喜好度，總共有18個樣品。縱軸代表每個消費者的評分，像這位，他對樣品一打了7分，對樣品二打了2分，不太喜歡，但他非常喜歡樣品三，打了9分。
僅憑這張熱力圖，我們就能很好地識別顏色。我喜歡綠色，所以這裡我用了綠色，但你也可以選擇其他顏色。你看，這裡就有一個深色。這些人幾乎都給所有東西打了九分。他們要么喜歡我們展示給他們的所有內容，要么只是隨便瀏覽了一下其中一項。
我們會直接詢問受訪者喜歡或不喜歡某個測試的原因，這有助於我們判斷他們是認真測試還是只是為了領取報酬而隨便點擊一下。我可以負責任地說，我親自測試過這些測試，這些人確實很喜歡我們提供的所有測試內容。而下面這組人，他們似乎不太願意給滿分。他們沒有給所有測驗都打9分，而是平均只給了8分。
做聚類分析的時候，你可以指定要找出多少個聚類……我肯定不是聚類方面的專家，但是我們看這些數據的時候，感覺好像有三個聚類。我們……嘿，克里斯蒂安，我們能暫停一下嗎？
我猜它就一直運作下去，[聽不清楚 00:14:19]。
哦，好的。稍等一下。有人敲門。
抱歉，我忘了麥克風放在頭頂上方了。
沒錯。沒關係。我也不確定它在哪裡。
你之前提到過九點到八點之間的顏色，然後你打算談談，你說了一些類似「我不是聚類方面的專家」之類的話，然後你當時在尋找一些東西。
好的。嗯，我得……我得讓他們把這部分刪掉。
好的，我會通知他們的。我想我會這麼做。我的目標是看完後找出時間點，告訴他們哪裡出了問題，所以不用擔心。
好吧，對不起。我不知道有人會來我家。
別擔心。我一直……我也擔心同樣的事情。我想，你大概準備好了嗎？
是的。
好的，我關掉麥克風。給我三秒鐘，然後你就可以開始了。
好的。
好的。
好的。當我們查看這張熱力圖時，我們可以看到那些給所有方面都打高分的人（深綠色），我們還可以看到那些給所有方面都打高分的人（淺綠色），只是他們不想用9分，而是用了8分。
我們進行聚類分析後發現，共有三個聚類，圖中分別以紅色、綠色和藍色標示。可以看到，紅色區域包含大量深色。綠色區域位於中間，包含較多淺色。藍色區域則包含更多淺色。
如果我們看一下聚類結果，也就是這個總圖，聚類結果可以用視覺化的方式呈現出來。這是每個聚類的平均得分。聚類 1 幾乎涵蓋了所有內容。他們總是給所有東西打高分。他們比較寬容，可以說他們幾乎喜歡我們展示給他們的所有東西，這很棒。聚類 2 的評分為中等。而聚類 3 則更難取悅，或者說他們更有鑑賞力之類的。
有趣的是，當它們交叉時，我們就能看出它們的偏好有所不同，一個群體與另一個群體之間存在差異，這給了我們線索。
我們想研究這些消費者的另一點是，看看我們獲得的數據中是否有其他需要關注的異常情況？因為在資料科學領域，資料清理可能占我們工作的80%。我們想研究的是多維尺度分析，因為它可以告訴我們「哪些消費者彼此接近，哪些消費者彼此遠離」。
為此，如果您點擊紅色三角形並儲存距離矩陣，我們將得到一個矩陣，該矩陣顯示了每個小組成員或消費者與其他成員或消費者之間的距離。然後，要進行多維尺度分析，請轉到多元方法，選擇多維尺度分析，Y 列代表所有這些消費者，這只需要幾秒鐘即可完成。之後，我們將查看是否存在與其他小組成員差異很大的成員。
這是我們剛剛製作的地圖。有一點……至少JMP向我指出了兩點。首先，大多數人都落在這裡。這很合理。我們大多數人都是…當你觀察一般消費者如何使用評分標準、如何評估產品或對事物的喜愛程度時，就會發現大多數人都落在這裡是合理的。
這裡有一個奇怪的模式。如果我們想探索這些模式，可以這樣做：選中它們，例如選中列名，然後選擇行選擇，選擇所有匹配的單元格，它會找到我所有其他包含“姓名”一詞和小組成員編號（例如 002、1027）的資料表。
這是包含這些小組成員姓名的原始資料集，現在我可以看到他們的評分了。這個人給的分數是9、9、9、7、9、9，幾乎全是9分。這很有意思。我們來看下一組高亮顯示的分數：9、9、8、9、8、9、8、9。他們非常喜歡，而且很喜歡。再來看下一組：8、7、9、9、9、8、9。
您注意到這裡，右邊這列是「不喜歡」的原文，他們問的是：您不喜歡什麼？答案是：沒有，沒有，沒有，沒有，沒有，沒有。我們從這些消費者身上看到了某種模式。這就是它所揭示的。這些人給所有東西的評分都和我們之前看到的一樣，例如深綠色的條帶。我們在多維尺度分析中發現了這一點。
然後我們還有一些人，他們的評分非常特殊，我猜他們應該屬於右外野。他們是怎麼回事？如果我們在這裡也做同樣的操作，我們會選取所有符合的儲存格。然後為了找到他們，我只需選擇下一個單元格。我看到了一些完全不同的數字：2、7、3、1、9、7、2、6、9、2。我很難理解這個人有什麼不同。因為如果我看下一個，也就是這裡高亮顯示的另一個單元格，4、7、3、2、5、3、1、6、1、1，就像，我們再次看到，這似乎只是一個隨機模式，但當我查看他們的評論時，一切就說得通了。當他們給9分時，他們說沒有什麼不喜歡的。當他們給出1分時，他們說嘗起來像變質的蜜蜂。我可以保證這些蜜蜂沒有變質，但我們可以看到他們的評分是真實的。
然後有人告訴我……我當時正在琢磨這些人有什麼不同。有人建議我觀察他們如何使用評分標準，你會發現這個人把整個評分系統都用上了。我個人覺得所有這些產品都挺不錯的。有些比其他的好，但都沒到讓我極度討厭的地步。有人說這是我吃過最難吃的東西，也有人說這是我吃過最好吃的東西。
為了弄清楚這一點，如果我們要建立一個總體意見的總表，我想計算每個小組中每位成員的標準差和評分範圍。我們這樣做，現在我得到了一個數據表，其中包含每位小組成員及其對所有樣本評分的標準差。當您按降序排列此資料表時，您會得到…我們可以看到，假設我們得到了評分差異最大的 10 位小組成員。
再說一遍，如果我們這樣做……我選中姓名，然後說，選中所有匹配的單元格，看看這裡高亮顯示的是什麼。所有這些人之間的區別，不一定在於他們喜歡什麼或不喜歡什麼，而是他們如何使用量表。這只是一個漫長的過程……只是為了讓我們確信我們擁有的數據是有效的，而參與者確實按照我們的要求做了。
假設我發現了一些顯而易見的數據缺陷，我們會將其排除在外。但目前沒有理由排除，所以我們保留了它。這只是我們如何使用聚類和多維尺度分析的一個小範例。
接下來我想分享的關於聚類分析的另一點是，最終，我希望向你們展示資料表，也就是實驗設計表。這是我們做的一個空間填充設計。這裡有六個因素。我需要一列資料：聚類 1 的整體喜好度、聚類 2 的整體喜好度、聚類 3 的整體喜好度，以及整體喜好度。
要得到這三個值，一個簡單的方法就是使用這個聚類平均值表。
這是摘要裡的內容。如果你右鍵點擊並選擇“創建為資料表”，它確實會產生我想要的結果……但又不完全符合我的預期。它會把每個樣本平均值都設為一列。但我想要交換它們，我希望聚類結果作為列，列作為行。我想要交換行和列。
如果你進入「表格」下的「轉置」選項，我們想要轉置這些列，並且我們可以按聚類進行標記，例如，好的。現在我基本上可以複製貼上。我可以把它複製並貼上到我的實驗數據表中。我就是這麼做的。這裡不需要再重複了，因為我已經完成了。我們只需關閉所有這些。現在我們有了三個聚類。我們使用基於 SVEM 的神經網路對這些數據進行建模。我將向你們展示我們從中獲得的結果。這裡有 A、B、C、D 到 E 的成分，以及低和高這兩個屬性。當我們按聚類進行細分時，我們發現了一些非常有趣的東西。
首先，在進行最終篩選設計時，結果顯示成分 A 完全沒有影響。它不顯著，所以我們把它剔除了。但現在，成分 A 似乎突然發揮了作用。更有趣的是，我們似乎發現了兩個相互矛盾的組別。因為，你看，當我減少成分 A 的用量時，第三組的平均值上升了，而第二組的平均值卻下降了。
這意味著第三組消費者不喜歡，不希望添加太多成分A，而第二組消費者則喜歡。成分B的情況也類似。成分B添加得越多，第二組消費者就越喜歡。而成分B添加得越多，第三組消費者就越不喜歡。這解開了我們一直以來的一個謎團：為什麼我們在進行消費者測試時會遇到喜好度上限的問題？為什麼人們對某種產品的喜好程度有上限？為什麼我們的整體喜好得分沒有達到預期？我們的消費者群體並非同質群體，他們喜歡的東西各不相同。
我們該如何應對這種情況？這才是更難回答的問題。這是一個公司必須面對的策略性問題，因為我們應該追求所有人，滿足那些對產品各方面都非常滿意、評分始終很高的群體嗎？他們肯定沒問題，但對於第二和第三類群體，他們的滿意度就比較低。這是一種方法。另一種方法是關注第一和第二類群體，他們的初始評分更高。他們肯定對這款產品更有熱情，所以我們應該集中精力，讓他們獲得最大的滿意度。
還有一個想法是，好吧，對於第三類客戶，或許我們需要為他們提供另一個他們更喜歡的產品。你了解得越多，通常也會有越多的問題，但你能做的事情也越多，你也會越成功。這就是我們從客戶畫像工具中得到的，它非常有用。
還有一點，總是會有這樣的問題：好吧，分析結果是這樣說的，但這是真的嗎？為了判斷…為了弄清楚這是否屬實，也就是第三類群是否真的不喜歡成分A或B，反之亦然，我們決定查看原文，看看能從中發現什麼。
如果我們查看原始消費者資料表，這裡顯示的是整體評價，右邊是他們所屬的群集。然後是差評，所以我們不一定能直接查看……我們還有逐字逐句的點讚記錄，接下來我們將查看差評。我們將使用文字瀏覽器來驗證我們在分析器中看到的內容是否可信。
我們按聚類進行了文字瀏覽。對於聚類 1，使用頻率最高的字是什麼？沒有。這齣現在“不喜歡”列表中，很好。這正是我們想要的。對於“不喜歡”列表，我們希望顯示“無”。您可以右鍵單擊並選擇“顯示文字”，這樣我們就能了解人們在說什麼。我沒有不喜歡的。我沒有不喜歡的。我想不出什麼。太好了。
在第二組中，「無」是最常用的詞，但正如你所看到的，它與第一組的情況不同。第一組中有292個字，而第二組大約只有它的一半。在這裡，兩者幾乎相同。有人說“無”，有人說“味道”，他們通常會說“缺乏味道”、“味道不夠”、“味道變淡”、“B成分味道太淡”。
接下來是第二組的成分B。我們想看看他們對成分B的評價。第二組的評價是：成分B不夠濃，不夠。需要更多，不夠。成分B不夠。成分B的味道很濃，所以我們有一個味道非常濃的成分。
再次提醒，這些都是美國能源部（DoE）的樣本。總的來說，他們表示可以增加B成分的用量。 B成分越多，我就越喜歡這個產品。這與分析結果一致，即第二類群（Cluster 2）更喜歡B成分。
那麼，關於成分A呢？第二組對它有什麼看法？在這種情況下，很多人覺得他們說太多了。這部分內容有點難懂。有些人說，我覺得成分A不夠，味道很淡。成分A不夠，成分A不夠。
記住，他們不會…當他們給予負評時，他們不必提及成分A。你得對此持保留態度。他們只會在覺得味道不對勁的時候才會這麼說。但現在，如果我們來看第三組，突然間，「味道」成了最常用的詞。成分B就在這裡，排名第三，那麼他們現在對成分B的評價是什麼呢？他們不再說成分B太多，而是說不夠，不夠。有一些評價太多，但味道太濃，太多，太多，太多。略微過濃，味道太濃，還有一些評價是不夠。
但你可以明白，有很多地方我們之前沒有看到過這種情況，例如在第二組中，有人說配料 B 太多了。現在有人說配料 B 太多了，這與使用者畫像顯示的情況相符，也讓我們更加確信這兩個群體對配料 A 和配料 B 的喜好確實存在差異。
然後，如果我們看看他們對成分 A 的評價，就會發現他們說「太多，太多」。一點點成分 A 都代表太多，一點點太多。你可以看到，這也符合實際情況。他們不希望成分 A 太多，也不希望成分 B 太多。這就是我們……這只是一個探索過程。我相信我們還可以在文本分析器中挖掘更多信息，並用數據來佐證，但我們只是把它當作一個探索性工具……我們使用圖表之類的可視化工具來探索數據。我們使用文字分析器來探索人們的回饋，這與分析器的結果相符。
最終，我們找到了答案，解釋了為什麼我們的能力似乎存在上限……也就是我們的分數所能達到的最高水準。我們也發現了不同人群的不同偏好，這是我們之前所不了解的非常重要的訊息。現在有了這些訊息，我們就可以採取相應的措施了。
好的，最後我們要做的就是看看最終篩選設計與空間填滿設計相比預測效果如何。我們這裡只有四個驗證樣本，所以結果可能不太可靠，但我們會看看能否看出哪種設計更好。
我們有四種不同的模型。如果我們使用聚類平均值，並根據聚類大小進行加權，僅使用所有消費者的平均值，那麼我們就得到了兩種不同的模型，它們都是基於最終篩選設計開發的。一種模型直接使用擬合度，無需修改。另一個模型是我一位同事正在研究的。
我們看到了什麼？首先，第一年的分數有偏差。不知何故，2023 年的分數比 2024 年的測驗分數要高。總的來說，在進行空間填充設計時，所有指標都向下偏移了。我認為這只是由於測試的差異，或者可能是因為某些原因，測試人員當時心情不好。我也不清楚。
身為科學家，研發科學家，這個模型讓我感到欣慰的是，雖然預測線並非完全平行，但它幾乎與我期望的直線平行。如果它的預測準確率達到100%，那麼y值就等於X值，也就是這條黑線所代表的。考慮到我們掌握的資訊有限以及其中存在的偏差，這個模型在現有資訊的基礎上表現得相當不錯。
如果我們只考慮樣本平均值，結果不會有差異；但在這裡，我們看到了一些不同的結果。這是擬合的最終結果，它們遠非平行。我們看到線條交叉了。這讓我們…讓我們對這個模型能否真正預測未來小組成員的得分感到不太放心。
然後，另一個模型的情況更糟。例如，這個模型預測的值為 7.9，但實際結果卻是 7。這就是我們在 2023 年進行驗證測試時感到失望的地方。
我希望這次分享對您有所幫助，讓您更了解人類的多樣性，尤其是我們對食物偏好的多樣性。我希望您能運用這些知識，更好地從消費者那裡獲取資訊。感謝您的聆聽。
