349210_zh-TW

liliconcom

追求“黃金曲線”：FDA和PLS數據系列分析的比較（2021-EU-30MP-742）

級別：中級

 

寶潔服務有限公司高級統計師Beatrice Blum
數據和建模科學首席統計師Phil Bowtell

 

隨著傳感器在經濟上的普及，寶潔（P＆G）大大擴展了其傳感器的使用範圍，以開發新的更好的測試方法。 傳感器在連續的區域（例如時間或位置）上進行離散測量，通常會產生平滑的曲線。 但是，我們從這些傳感器數據中提取的指標是平淡的摘要統計信息，例如平均值，總和和積分。 那些被認為代表了與消費者相關的不同產品功能，但是我們很難建立穩固的數學聯繫。 使用歷史方法，我們在此過程中無法衡量有關產品性能的許多信息。 我們建議應用函數數據分析（FDA）（一種數學方法來使樣條曲線擬合任何類型的曲線）來提取代表產品特徵的區分曲線特徵。 通過使用Baby Care的案例研究，我們展示瞭如何將傳感器數據轉化為有意義的信息。 此外，我們將FDA與SIMCA中的PLS進行了比較，以了解何時使用每種方法。

我們設想將這些擬合與消費者數據進行匹配將能夠創建產品組合格局，使我們能夠了解最佳產品性能（所謂的黃金曲線）是什麼樣的。 最終，我們的目標是通過優化產品組成，針對已確定的與消費者相關的Golden Curves設計尿布，護墊，剃須刀等。

 

 

自動產生的筆錄...

 

揚聲器	成績單
比阿特麗斯·布魯姆（Beatrice Blum）	您好，感謝您加入Phil和我今天的Discovery演講，瞥見了我出色的2021鎖定髮型。
	我們將討論我們如何處理一些傳感器數據，為什麼要使用功能數據分析（FDA）和偏最小二乘
	（PLS）在我們追趕黃金曲線的過程中。 我的名字叫Beatrice Blum，我是寶潔公司數據和建模科學系的統計學家，為德國的嬰兒和女性護理研發提供支持。 我的合著者是英國的Phil Bowtell。 菲爾，您想自我介紹嗎？
菲爾·鮑特爾	非常感謝，Bea。 您好，我叫菲爾。 我住在英國，和Bea一樣，我是統計學家，是數據和建模科學小組的成員。 而且我支持歐洲的各種技術科學，包括使用Bea進行嬰兒護理。 謝謝你。
比阿特麗斯·布魯姆（Beatrice Blum）	因此，我們今天要介紹的是對已收集數據的快速介紹，以及我們如何根據消費者的響應（收益率1和收益率2）找出不同曲線形狀的含義。
	我們將特別注意將兩種分析方法與這些數據（PLS和FDA）進行比較，並嘗試了解何時使用哪種分析方法。
	請注意，我們在本次演講中假設您具有PCA，PLS和FDA的一些知識，但是您真正只需要知道的一般概念和數據...如何組織數據。
	但是，即使您不熟悉它，您很有可能仍然可以按照本演講的過程進行操作。
	因此，您可能知道寶潔公司正在開發和製造尿布。 為了在消費者眼中改善這些尿布及其產品性能，
	我們試圖捕捉並了解尿布的重要特徵。 特別是在我們的某些測試方法中，我們在不同的位置和不同的狀態下向尿布施加液體
	協議或條件，並測量K數據曲線（如左圖所示）和P數據曲線（如右圖所示）。
	我們假定這些K數據曲線在某種程度上與我們的消費者響應（稱為收益率1）相關，並且這些P數據曲線與我們的消費者響應（收益率2）相關。
	因此，讓我們首先研究K數據曲線並分析它們，或者嘗試借助JMP中的Functional Data Explorer進行擬合。 這樣，我將切換到JMP。
	這是我在JMP中的數據表。
	就列而言，這是一個非常有限的數據表。 對於正在研究的10種產品，我們只有一列，即A到K。
	對於這些產品中的每一個，我們都在我們的方法中運行了三個副本。 我將兩列合併為一個ID列，它由樣品名稱和重複編號組成。
	我們隨時間收集連續變量的數據，我們的原始信號稱為K raw。
	因此，讓我們看一下K raw的外觀。
	我剛剛選擇了兩個產品，在本例中為G和I，因為它們的配置文件似乎完全不同。 您會看到，我們在曲線上升的地方有些跳躍，然後在相當……相當平滑的行為中變平了。
	對於試圖對光譜數據進行建模而創建的PLS，對於FDA（功能數據分析）而言，增強對於PLS而言並不是什麼大問題。
	這將期望獲得平滑的曲線以及平滑的導數，如果曲線只是向上跳躍，則可能不會給出。
	這些跳躍與我們應用於尿布的醬汁（？）有關。 還可以看到三個重複項，因此該方法似乎可以很好地重現。
	相當不錯。 但是，我們在原始數據中看到很多噪音。 它再次下沉，在這裡振盪，我們假設我們將建模大量噪聲和過度擬合
	只是因為我們在這裡有如此多的振盪。 因此，我們發現它表示在擬合之前對曲線進行了平滑處理，這就是我們在下面看到的內容。 我們通過使用窗口大小為20的移動平均超級樣本（？）平滑了曲線。
	有了這個，我會去嘗試並適應
	功能性
	組件。 因此，我將變量放入相應的角色中。 我使用平滑的K代替原始數據。 我需要我的ID變量和我的ID函數。 我的X是我們測量K的時間，最終是將這些數據鏈接到收益率1時我們想要實現的目標
	連續變量，並嘗試了解我們的預測曲線與該消費者響應之間的關係。 因此，我將其作為補充角色。
	運行它，從FDE中獲取原始輸出，通常我只是以擬合B樣條線開始，因為它既好又簡單，而且速度相對較快。
	可以看到，儘管我們有幾千行，但這僅花費了幾秒鐘。 這樣我們就得到了結果。 看起來還不錯，但從遠處看還不錯，但是讓我們深入了解一下。
	如前所述，在談論開發功能數據分析的目的時，期望平滑的曲線。
	實際上，在這種特殊情況下，B樣條線只是縫合在一起
	並繞過像這裡這樣的拐角處，那裡沒有三次...肯定沒有三次曲線，而是行為和轉折點發生了真正的變化，
	它必須四處走動，並嘗試在某種程度上捕獲該行為，但是您可以看到它的工作確實很糟糕。 嘗試代表我們在頂部觀察到的這些平穩期的過程也做得不好。
	因此，儘管非常快速，簡單，並且在大多數情況下，這是一個非常好的方法
	在上下文中，對於B樣條曲線可能不是最好的選擇。 取而代之的是
	我在幫助中讀了一些書，做了一些研究，發現好吧，如果我們有輪廓數據，如果我們有類似光譜數據的數據，就應該使用P樣條曲線。 這就是JMP的建議，因此我們選擇了P樣條。
	而且因為我真的看到這裡有階躍變化，所以吸引...的唯一方法是通過使用階躍函數來吸引它。
	而且由於P樣條曲線擬合需要更長的時間，因此我對它們進行了預擬合，我們將看看結果如何。
	因此，我們再次查看這裡的實際和預測的批次，然後看，哦，他們在使這些轉折...轉折點和轉折點方面做得更好。
	實現向上的一步。 他們還在這裡捕獲了高原，但以前已經假設是的，他們仍然
	捕獲相當多的噪音。 因此，這並不十分順利。 也許有一個B樣條曲線真的很不錯
	向下山的退化類型樣式。 也許只是在確實需要該區域的步驟上執行P樣條曲線，但至少這比我們的B樣條曲線擬合要好得多。 因此，讓我們看看發生了什麼。
	因此，在將我們的不同產品（二維分數圖）放在上面的過程中，它做得很好。 我們可以清楚地看到不同產品的複製品如何彼此組合。
	有A；我們有H等等。 它們中的一些不是很好，所以I分佈得更遠並且與其他人重疊。
	但是，我們可以看到，在原始數據中看到的良好可重複性似乎在這裡表現良好。 我們決定去買四個FPC，
	如此處所示。 我們可以看到他們很好地預測了我們的曲線。
	但是，最終，我們的目標顯然是看我們的消費者反應如何與不同的曲線相關。 因此，JMP在後台在廣義回歸中所做的工作是使用Yield 1擬合這四個FPC中的每一個。
	並從中獲得結果，現在我們可以看到Yield 1中的變化如何改變曲線的形狀；可以清楚地看到向上的股線。
	所以
	似乎相對容易捕獲正在發生的事情，所以這是一個非常糟糕的產品，因此肯定有很多，這裡有很多穩定的地方，
	而且這似乎要糟糕得多。 因此，我們發現了一些我們認為可能接近收益率1的黃金曲線的東西。
	但是，當我們查看真正從消費者那裡收集的數據時，現在不是連續的K，而是按分類規模對它們進行排序。
	我們必須看到，這四個產品從0.31開始幾乎是相同的...
	0.031至0.034。 如果我們看一下曲線形狀以及它們在左側的變化方式，我們會發現它們完全不同。
	因此，這並不完全符合要求。您甚至可以說這與我們擬合連續收益率1所看到的完全不符。 因此，儘管這裡的消費者反應已經有很大的不同，但通過下面的方法，它們看起來非常相似。
	同樣，就我們從連續的案例中所看到的來看，這一案例也沒有太大不同。
	這樣我就回到了我的幻燈片平台
	回到我的幻燈片。 在這裡，我們可以看到我們如何擬合從FDA提取的數據以適合我們的收益1。
	您實際上可以看到這是一個非常非常好的模型。 太好了，我們總是不得不懷疑這在新數據上是否成立。 菲爾·拉姆齊（Phil Ramsey）和蒂芙尼·拉奧（Tiffany Rao）在2020年《發現美國》（Discoveries America 2020）中提倡的自動驗證和模型平均功能，使我們做到了這一點。
	R平方為97，然後R ...按R平方進行交叉驗證，R平方為90，對於我們來說，相信它是真的太好了。
	這樣一來，讓我們看一下Phil在使用PLS查看相同數據時發現了什麼。
菲爾·鮑特爾	因此，正如您所說，我們的R平方為97％，印刷機R平方為90。 一切看起來都很好。 讓我們看看偏最小二乘與此相比。
	因此，我一直在研究主成分分析，即偏最小二乘，這是我們在擁有光譜或曲線時使用的工具。 這是常用的，因為我們所有的輸入都將高度相關，並且
	傳統的回歸技術不能很好地解決這一問題。 我們注意到的第一件事是，當我們查看Bea在上一張幻燈片中的得分圖時
	在演示中，它看起來幾乎與您在主成分分析中獲得的結果完全相同，因此我們可以在其中看到一些常見的鏈接。
	當我運行偏最小二乘時，我看到的是R平方的73％，
	不及97。 而且，如果您將觀察值與預測值進行比較，
	我們確實看到了看起來合適的產品，但是顯然產品B產生了一定的影響和不適當的影響。
	在JMP和SIMCA中，我們有交叉驗證度量Q的平方，該值低至33％。 因此，這並不是一個很好的模型。
	這是根據我們擁有的原始平滑數據完成的。 您可以嘗試其他轉換，但是實際上我們無法建立一個好的模型。 當然，沒有什麼可以與FDA競爭。
	但是，我們從模型中得到的一件事是係數估計。 我們還獲得了稱為VIP的數量，這些數量使我們對曲線的哪些特定區域感到興奮或告訴我們預測的進展情況有了一個概念。 所以如果我只是覆蓋
	這裡是原始數據圖上的VIP和係數，綠色突出顯示了對預測有重大影響的區域，這對模型有貢獻。
	橙色中等，不是很多。 灰色很低，這實際上是在告訴我們，從預測的角度來看，第一個峰實際上並沒有太大的影響。
	因此，繼續來看另一組數據。 這是p數據曲線，這裡我們已經收集了這些曲線。
	在三個位置有四個條件，可以稱它們為協議或條件。 我們也有第五種協議或第五種條件，但這僅在位置1處採用，此處未作圖。
	我們所擁有的是左側的位置1，右側的位置3和頂部的條件1，一直到底部的條件4。
	需要注意的是，這些曲線非常相似。 我們確實看到一些細微的差異。
	但是，提出的一個問題是，我們是否需要所有這些曲線？ 他們都需要嗎？ 或者，也許我們取一個子集，並使用這些子集來幫助我們理解數據。 因此，我所做的就是拿走所有產品並按順序繪製它們。 所以我有位置1
	條件1，一直到位置3，條件4並繪製數據。
	我們可以立即看到一些共同的趨勢。我們還可以看到一些差異。 因此，我們所有人……我們看到這裡有三種產品似乎與其他產品相去甚遠。
	因此，我們有一些產品差異化。 如果我查看不同的條件，很明顯，隨著我們改變條件，這裡的這些產品肯定也在發生變化。
	當我查看位置時，似乎影響不大。 讓我們看看是否可以更詳細地研究這個問題。
	因此，通常對於任何多元數據，您要做的第一件事就是從字面上將其投入主成分分析中，看看是否有任何結果。 因此，這是一個探索性的數據分析工具。
	而且，如果我看一下得分圖，我已經獲取了您剛剛看到的所有數據，將其放入包裝中，它是主要部件，按產品顏色進行編碼。
	我們可以馬上看到，產品D，G和H似乎與其餘產品背道而馳。 我們這裡有3個產品，這裡有7個產品。
	當我們與開發這些產品並製造這些產品的人們交談時，這是很有意義的。 因此，數據實際上突出顯示了我們期望看到的東西是很好的。
	然後，我按不同的位置突出顯示，而我在這裡實際上看不到任何模式。 我認為您必須非常冒險才能說出正在發生的事情。
	但是，當我根據不同的條件進行著色時，確實會看到一些圖案出現。 如果我看一下這裡的三種產品D，G和H，
	我可以看到，當您從右向左移動時，我們看到了從條件1到條件4的轉變，這裡的七個產品也是如此。 條件5位於中間，這又是我們期望的，因為它實際上是不同的測量設備。
	因此，從探索的角度來看，我們可以看到這些差異。 讓我們看看是否可以從更統計的角度看待這個問題。 在本示例中，我將僅關注位置3，並查看位置3中的四個條件。
	為此，我將使用多塊正交分量分析，這有點耗時，因此僅將其簡化為MOCA。
	而且，我還將研究分層建模，但我不會這樣做...在本次演講的背景下討論太多，我將重點關注... MOCA和這是我們在統計數據包SIMCA中找到的兩種技術。
	現在的想法是，我們查看數據塊，傳統上每個數據塊代表一種不同的方式來測量某種化學物質或某種產品。 例如，我們有近紅外，紅外和拉曼光譜。
	我們旨在與MOCA和分層建模一起進行的兩件事首先是評估冗餘。
	可能是我只需要使用近紅外和拉曼光譜進行預測，實際上，如果我知道近紅外並且知道拉曼，那麼我實際上可以預測紅外或它是多餘的。
	這就是要看的內容，但是要注意的一件事是，當我談論冗餘時，並不能自動意味著我可以丟棄該特定的塊。
	因為它本身可能會增加預測。 因此，這是冗餘和可預測性之間的平衡。 正如我們已經看到的，如果我在這裡查看這些圖表，可能看起來有些多餘。
	那到底是怎麼回事？ 好吧，讓我們從重疊的角度考慮一下。 我有位置3，並且有四個條件。 為了表示重疊，我有一個很棒的維恩圖，我們真的可以開始嘗試了解我們所擁有的信息類型。
	信息的第一要點是全球聯合信息，這是我們擁有所有四個條件共同的信息的地方。
	然後，我可以獲得只有兩個或三個條件共有的信息，即局部聯合信息，如此處橙色突出顯示。
	最後，剩下的就是唯一的信息，這就是不同條件本身給政黨帶來的影響。 那麼在這裡可能會看到什麼呢？
	好吧，左側將指示一種情況，其中四個條件實際上具有大量獨立信息。
	我們可能會認為，這裡不會沒有任何冗餘，我們必須保留所有這四個。
	右邊的圖像中，我們擁有大量的全球聯合和本地聯合信息，而沒有那麼多的唯一信息，這可能表明我們可能會有冗餘，並且可能是我們只看其中一個或兩個而已。條件，而不是全部四個。
	關於SIMCA所做的事情，
	它進行了一些建模，我們得到了四個條件，並擬合了四個組件，其中兩個正在查看關節組件，其中兩個正在查看唯一組件。
	總體而言，我們解釋了數據的許多可變性。 我們可以從頂部的數字中看到，這些數字幾乎解釋了100％的可變性。 這是好事。
	綠條正在查看全球聯合信息，我們可以看到，它們確實很大。我們有很多。 所以
	這只是告訴我們，這四個不同條件之間存在大量重疊。
	如果我查看橙色的本地聯合信息，則在條件2，條件3和條件4之間會有一些信息。 不大
	最後，我們可以研究每種條件下每個獨特信息所具有的獨特貢獻，這是非常小的。 因此，在這裡我們幾乎可以肯定會有一些冗餘。
	我們還可以調查產品的獨特性來自何處。 因此，此處氣泡的大小指示其是否唯一。
	現在，如果我們沒有唯一性，我們會得到很小的氣泡，例如，產品I和F很小。 我們希望，如果我們逐個查看這些內容，那麼這裡只會有很多綠色的綠色條。
	如果看產品H，我們會看到更多的獨立性。 它告訴我們，對於條件，有一些獨立的信息就足夠了。
	雖然這不是一個大泡沫，但根本沒有，實際上，看起來好像有很多冗餘。 因此，接下來要做的是，我們已經考慮了所有13種可能的條件和位置，運行了MOCA分析以及分層模型，
	然後，這告訴我們，理想情況下，我們需要在位置1和3處滿足第一個條件，並在位置1處滿足第五個條件
	這確實與我們所說的不符。 你知道，我們剛才說過，
	您知道條件有所不同，位置也完全沒有不同。 嗯，不完全是，根據預測，顯然有些事情發生了，
	但是我們已經能夠將13種不同的組合降低到4種，並且模型相當好，R平方為85.5
	Q平方為69.3。 交叉驗證措施還不錯。如果這兩個距離更近，那就更好了，但是至少我們要在此處對數據建模，在這種情況下，Yield 2比以前使用P數據要好。
	因此，我將回傳給Bea。
比阿特麗斯·布魯姆（Beatrice Blum）	謝謝您，菲爾（Phil），您可以提供這些超級有趣的見解。 現在，讓我們看看FDA對P數據做了什麼，以及我們可以從中得到什麼。
	與菲爾向我們展示的內容類似，我們可以看到，作為一個因素，地理位置（如您所言）的影響不如四個不同條件那麼大。 因此，它們對結果的影響更大。
	我們也可以看到，這很有趣，當我們以74和72來看這兩個性能最好的產品時，
	它們是曲線，是相應的預測曲線，它們看起來差別很大，甚至比我們在K曲線中看到的差別還大得多。
	因此，如果我們要尋找黃金曲線，並嘗試找出真正性能最佳的配置文件，這將給我們帶來困難，因為很難找到這兩條曲線之間的共性。
	所以問題是，我們必須追求的是，在已經表現良好的曲線之間是否存在一些黃金曲線或平均曲線？
	我們還不能回答。 我們也無法回答是否存在任何冗餘，或者我們真的需要從中衡量什麼位置條件組合。
	但是，當我再次從這些FDA中提取摘要並嘗試建立模型並預測收益率2時，我再次獲得具有R平方為98並按R平方為97的超好模型。 是的，我們確實已經知道這太好了，難以置信。
	另一方面，我們確實嘗試使用曲線的其他提取值（由測量部門提供給我們）對相同的收益率2進行建模。
	但是，嘗試對這些提取的值進行建模並預測收益率2根本沒有結果。 我們可以達到的R平方甚至與我們在這裡獲得的R平方不相近。
	因此，我們確實認為正在發生某些事情，並且在嘗試了解如何建模收益率2方面邁出了巨大的一步。
	因此，讓我們總結一下我們發現的內容。 我們已經看到，這兩種模型或兩種方法都導致非常相似的主成分，並且它們在從K曲線和P曲線提取的共性方面是一致的。
	FDA可能只需使用少量數據即可使用起來更容易一些。 它使我們能夠根據收益率1和收益率2預測曲線形狀，這確實使我們對黃金曲線的外觀有所了解。
	它還表明保持哪些測量實用因素似乎更為重要。
	我們能夠為收益率獲得非常好的模型，但是對這些模型提出了深刻的質疑。
	目前，我們無法提取出最適合保留的位置條件組合。 這就是我們要跟進JMP的事情。
	另一方面，PLS並不能為我們提供關於曲線的哪些部分在區分我們的產品方面最有用的信息。
	MOCA和分層PLS還為我們指明了需要遵循的測量協議，以便從P曲線中捕獲最相關的信息。 就擬合度指標而言，用於預測產量的PLS模型似乎比FDA模型更合理。
	我們的共同努力幫助我們找到了明確的模式來區分我們的產品。 無論是PLS還是FDA，我們都可以，
	從跡線中提取基本特徵，並為我們的產量計算良好的預測模型。 我們還了解到曲線的各個方面以及哪些協議最有意義。
	與過去相比，我們成功地對收益進行了建模或預測。 這是向前邁出的一大步。
	實際上，這是一個很好的例子，太多的廚師沒有把湯汁弄糟。 兩種方法都在一定程度上達成共識，但在彼此不同的地方，它們也確實提供了不同的附加信息。 工作正在進行中；我們將從這裡擴展。
	特別，
	我們將添加新的獨立數據以驗證或改進模型。 我們仍然需要微調我們需要保留哪些協議，以提供最相關和最少冗餘的信息。
	這就是我們希望JMP能夠在FDE平台中實現這一點的地方。 我們的最終目標是了解尿布的哪些材料成分
	將得出哪些曲線形狀以及這些曲線形狀與消費者收益之間的關係。 在追求黃金曲線的過程中，我們取得了良好的進展，並為最終完全抓住它感到興奮。
	因此，我們感謝您的關注，現在可以提出問題。

最佳峰會爆發數據探索預測建模