| 揚聲器 |
文字稿 |
| 比爾·沃利 |
你好。 |
| 史蒂夫C |
我是史蒂夫克里斯特。感謝您今天收看我的節目，我們將超越A/B測試，探討多變量測試和高級分析在網頁優化中的應用案例。 |
| |
今天的概要如下。我們將首先對整個用例進行概述，然後深入探討細節。我們將觀看一個 JMP 演示。 |
| |
探討我們如何評價特定的實驗設計。 |
| |
我們還將查看測試結果，以及我們如何利用 JMP 分區模型來增強這些見解。 |
| |
從總體上看，這個用例包含兩個測試。在第一個測試中，我們檢視了橫幅設計和頁面佈局主體的一些組成部分。 |
| |
我們成功進行了多變量測試，結果顯示申請量提升了7%。我們得以更進一步。 |
| |
我們發現了一些被擠到頁面底部的內容，這些內容非常重要，我們可以在第二次測試中利用這些發現。我們能夠 |
| |
在第一個測試獲勝者的基礎上，我們的表現又提升了 4%。因此，該用例突顯了 JMP DOE 平台及其自訂 DOE 如何幫助我們完成第一個測試，以及 JMP 分區模型如何幫助我們提取更多資訊。 |
| |
我們在第二次測試中利用了這些額外的見解。 |
| |
那麼讓我們深入了解一下細節。 |
| |
我們現在看到的頁面是富國銀行支票帳戶主頁。 |
| |
我們的行銷夥伴和業務夥伴在收集客戶回饋方面做得非常出色，因此本次測試的主要目的是圍繞著「正文樣式 A」或「頁面佈局 A」。 |
| |
相較之下，B方案中我們的客戶表示，他們希望看到更多產品在使用者體驗中排名靠前。我們的行銷和業務夥伴也表示， |
| |
在我們做出這項改變的同時，我們也認為我們一直以來所擁有的這種形象可以做得更好。 |
| |
我們也認為這種橫幅設計，將內容放在左側，人們的視線更容易自然地被吸引到左側，而且左側的視覺空間也更小，這樣我們就能更好地展示客戶和訪客更感興趣的內容。因此，我們的合作夥伴向我們提出了A/B測試方案。 |
| |
但你很快就能看出，這裡面遠不止這些。我們只展示了八種可能組合中的兩種。 |
| |
我們與合作夥伴討論的內容是，這個設計看起來很棒，但也存在一些風險。 |
| |
風險在於，這些組件中有些可能效果很好，而有些則可能降低效能，甚至相互抵消。因此，如果我們只進行了A/B測試， |
| |
我們無法得知哪些組件運作良好，哪些組件運作不佳。正因如此……我們提出了一個多變量測試方案，我們的合作夥伴表示，這聽起來不錯，就這麼辦吧。但是……他們……我們還有一些業務限制需要解決。 |
| |
那麼，這些業務限制因素是什麼？ |
| |
他們是， |
| |
正如我之前提到的，主要動機是圍繞這個頁面佈局以及將新內容添加到頁面上。 |
| |
因此，當我們審視整體設計方案時，我們的合作夥伴實際上對測試任何採用舊版正文頁面佈局的其他方案都毫無興趣。 |
| |
這是關鍵因素……也是首要因素。 |
| |
其次，反應平平……在這個版塊中，它展示的是一個使用舊圖片但佈局煥然一新的頁面，結果同樣無人問津。 |
| |
因此，在這個特定案例中，我們的合作夥伴對他們願意進行的測試提出了非常明確的要求。 |
| |
因此，很自然的問題是，這種測試方法是否能作為一種全面的多變量測試設計？而這正是 JMP 自訂 DOE 平台發揮作用的地方。現在，讓我們切換到該平台，看看我們是如何實現的。 |
| |
所以我們要去美國能源部，我們研究了一個客製化設計方案。 |
| |
我們有三個……三個因素。首先是我們的形象。 |
| |
加上 A 和 B 兩個版本，我們就有了另一個兩級分類變量，即橫幅廣告，分為 A 和 B 兩個版本。 |
| |
最後，我們還有正文頁面佈局，分為 A 版和 B 版。 |
| |
和 |
| |
當我們點擊繼續時， |
| |
目前看來一切順利。我們注意到，只需四個單元格就能覆蓋這四個單元格的設計空間，這非常理想。 |
| |
對我們來說，這種情況是這樣的，但我們從經驗中知道，熟悉這種情況的人也都知道， |
| |
JMP優化引擎永遠不會將這種設計作為四單元部分因子設計給出。這不是最優設計。 |
| |
適用於四個單元格，但這是我們為了應對業務限製而嘗試採用的設計。因此，為了強制使用這種特定設計，您可以使用不允許的組合。 |
| |
基本上，我們需要指定所有不想運行的單元格，這樣就只剩下我們想運行的單元格了。在 JMP 中，雖然無法精確指定測試設計，但可以使用停用組合腳本來強制執行。 |
| |
這是我們經常做的事情， |
| |
因為在我們進行網頁測試的過程中，我們會從合作夥伴那裡獲得許多回饋。這對我們來說是一個相當典型的用例，因此我們也經常使用這種技術。 |
| |
所以，因為我們處理的是分類變量，為了解釋這裡的腳本，我們需要對它們進行編碼，A 的值設為 1，B 的值設為 2，所以當我們查看這個我們不想測試的特定單元格時… |
| |
讓我把這件事重新提一下。 |
| |
我們來看這個我們不想運行的特定單元格，這是圖像 A，帶有橫幅 B 和正文樣式 A，所以是 ABA 或 121。 |
| |
這裡這個單元格是圖像 B，橫幅 A 和正文樣式 A，也就是 2211。透過這種方式，您可以指定所有這四個我們不想運行的儲存格。然後點選“生成設計”。 |
| |
渲染只需一秒鐘。 |
| |
沒有立即出現“不收斂”的錯誤提示，這是一個好兆頭，所以實際上，我們… |
| |
JMP 確認此設計可行。所以，這是我們的…這是我們的控制頁面，這裡展示的是第一個運行版本，它是一個 AAA 等級頁面，包含圖片 A、橫幅 A 和正文樣式 A。這裡展示的是第三個運行版本。 |
| |
我們的合作夥伴在最初的 A/B 提案中向我們提出的變體，其圖像 B 帶有橫幅 B 和正文 B。 |
| |
此外，這裡也包含了變體一和變體二，分別是 BAB 和 AAB，所以我們得到了預期的結果。接下來我簡單談談評估過程。我通常會關注的一個方面是相關性的顏色映射。 |
| |
以及設計診斷。 |
| |
熟悉這些的人會注意到： |
| |
正如我之前提到的，這並非最優設計，但它的確有效，而這正是這項技術的科學性和藝術性所在。 |
| |
我們必須齊心協力，與合作夥伴共同努力才能成功。因此，如果一切順利，對我們來說就是最重要的因素。 |
| |
此外，我們知道還有備用方案，也就是我們擁有實際數據。如果需要，我們可以進行一些分段比較，但這能顯著提高效率。 |
| |
透過運行多元分析，我們可以推斷其中一些結果。我在這裡也想補充一點，但這並非今天討論的重點。 |
| |
但精心建構並妥善分析的多變量測試耗時並不比 A/B 測試長，乍看之下似乎有違常理。所以我想先說明這一點。如果您有興趣，請在問答環節提問或私下聯絡我。 |
| |
那麼，讓我們回到簡報上來。 |
| |
我們剛剛研究了這個設計，並對其進行了評估，現在我們知道它是一種整體式部分因子多元設計。那麼我們從中得到了什麼啟示呢？ |
| |
我們在查看概述時了解到， |
| |
在第二個方案中，我們獲得了 7% 的效能提升。這是我們在該設計領域中表現最好的方案，而且由於我們進行了全面的多變量測試，我們也能利用一些迴歸技術進行推斷，並進行回顧性分析。 |
| |
如果我們在測試期間運行了其中一些頁面，會發生什麼？因此，我們不僅擁有實際值，而且還可以 |
| |
我們使用迴歸分析進行驗證，結果吻合良好。正因如此，我們還可以計算並回顧如果我們對這些頁面進行測試，它們的表現會如何。而這……是其中之一。 |
| |
多變量測試的強大之處在於，它尤其適用於像我們這樣需要開發和創建各種不同頁面的情況。我們可以充分利用這項技術。 |
| |
這樣可以節省我們前期大量的工作，同時也能從中汲取經驗。它還有助於隔離 |
| |
是什麼因素驅動了效能？你可以看到，如果我們當初進行了最初的 A/B 測試， |
| |
我們本來可以…我們本來可以… |
| |
我們的方案會降低效能。如果我們沒有進行多變量分析，那麼結果就會是：我們客戶的這個新頁面… |
| |
或者，對於客戶表示喜歡的這種新概念和設計，我們原本會認為他們其實不喜歡。但實際上，你可以看到… |
| |
是所有B版橫幅廣告都降低了效能。也就是說……那種新的橫幅廣告風格並沒有引起我們訪客的共鳴。 |
| |
以及我們的客戶。 |
| |
因此，我們得以將它們提取出來。我們不僅得到了一個更優秀的獲勝者，而且能夠輕鬆理解這種設計。 |
| |
我們的客戶表示他們想要的，實際上，歸根究底，就是…性能好的東西。 |
| |
所以，我們本來可以就此止步，說，太好了，測試成功了。謝謝，我們完成了。但是……但是真的完成了嗎？我們有很多數據。這些數據還能告訴我們什麼呢？ |
| |
在我們的報導中，我們注意到的一點是，互動量和點擊量都大幅下降。 |
| |
在此比較帳戶並找到合適的帳戶，即可獲得引導式體驗。而在控制體驗中，那些… |
| |
那部分內容的位置要高得多。它就在橫幅廣告下方，所以，從點擊量來看，這一點毫不奇怪。 |
| |
我們發現這裡的點擊量明顯減少了。這在任何網頁上都很常見，頁面越往下，使用者需要滾動的距離越長，點擊量就越少。這很容易理解，但我們之所以會提出這個問題，是因為這種對比太鮮明了。 |
| |
這是個問題嗎？我們認為這些體驗和內容都相當不錯，所以對它下降這麼多感到有些意外。我們原本預期它會略有下降。 |
| |
但它的下降幅度遠超過我們的預期。這是否是個問題？為了幫助我們理解這方面的情況，我們使用了 JMP 分區模型，特別是決策樹演算法。 |
| |
所以我們採用了第二種方案，並分析了應用程式提交情況，試圖弄清楚哪些內容被點擊過，哪些內容沒有被點擊過。 |
| |
有助於提高。而且我們發現，申請投稿率越高，分離度就越高。 |
| |
因此，在決策樹的頂端，最重要的一點，同樣非常直觀，毫不令人驚訝，就是點擊的人 |
| |
與造訪頁面但未點擊任何內容的使用者相比，點擊內容的使用者提交應用程式的幾率高出 20 倍。 |
| |
非常簡單明了。他們很有動力，他們會與你的頁面互動。所以他們點擊了，但他們點了什麼呢？ |
| |
樹狀圖的下一個節點是「立即申請」和「立即開啟」內容，也就是點擊了「立即開啟」或「立即申請」的使用者。 |
| |
直接從本頁面申請的用戶，與點擊其他連結但未點擊「申請」的用戶相比，點擊「申請」的用戶申請提交率高出七倍。再次強調，這非常直接，非常直覺。 |
| |
但令我們驚訝的是，即使他們沒有點擊“立即申請”，這個頁面上還有很多其他方法可以讓他們選擇。 |
| |
點擊產品詳情頁面，然後從那裡申請。或者，您可以進入比較頁面，例如，然後從那裡申請。您可以深入體驗比較頁面，仍然可以進行申請。因此，除了「立即申請」之外，此頁面上第二重要的內容是比較所有帳戶。 |
| |
（行動號召）。我們把它放在了頁面底部很低的位置。事實上，「比較所有帳號」按鈕的重要性與橫幅廣告中的內容不相上下，這讓我們非常驚訝。 |
| |
因此，我們可以與合作夥伴進行溝通，利用這項洞察：當使用者點擊「比較」按鈕時，他們提交申請的可能性會提高 40%。我們需要測試一下，看看能否將「比較」按鈕的位置提高，以及這樣做對業績有何影響。 |
| |
我們發現，在控制面板中，比較和產品選擇內容都在底部。 |
| |
我個人的建議是把它們都放回最前面，但幸運的是……我們已經對行銷和業務合作夥伴進行了足夠的培訓，他們說，好吧，讓我們運行一個多變量分析，看看是否真的需要把它們都放在最前面？你知道，是否存在偏好？ |
| |
從訪客角度、網站效能和轉換率來看，我們是否應該只保留一個？這些聯繫方式……內容是否會分散注意力？ |
| |
我們發現確實如此。你知道，在我們表現最好的版本中，正如我們所提到的，排名第一的版本就是這個在頂部有比較功能的版本。 |
| |
還有底部的選擇器。你知道，特別是選擇器，使用的人越來越少。 |
| |
對此很感興趣。所以，把它放在最上面有點分散注意力。因此，我們透過將比較功能放回最上面，真正實現了使用者體驗的最佳化和提升。 |
| |
所以，回到我們討論的重點，你知道，我們進行了兩次測試，第一次測試中我們成功使用了JMP平台。 |
| |
幫助我們更理解多變量檢定的討論。 |
| |
然後利用 JMP 分區模型來挖掘這些洞察，並將這些洞察回饋給後續工作。因此，再次強調，在短短的兩次測試之間，我們成功地將網站申請總量提高了 11%。 |
| |
因此，總而言之，多變量檢驗 |
| |
總的來說，這是一種非常有效的方法，可以幫助你隔離並了解你的測試中發生了什麼。你知道，正如大多數人所知， |
| |
一旦你開始改變太多事情，你就會失去一些洞察力。 |
| |
我還要補充一點，在金融服務測驗中，關鍵差異之一在於： |
| |
人們可能會問自己，為什麼不直接做一系列循序漸進的A/B測試呢？而這部分原因在於你身處金融服務業。 |
| |
我認為其他行業也存在這種情況，即對頁面進行的每一次更改都需要經過法律、風險和合規性審查。 |
| |
對我們來說，多元方法非常有效，因為我們只需完成一次測試，而順序進行的 A/B 測試則非常繁瑣。 |
| |
使用這種方法可以大大加快測試速度。至於 JMP 的 DOE 平台，JMP 的 DOE 平台確實是同類產品中的佼佼者。 |
| |
它非常直觀，而且對於幫助你與合作夥伴進行這些對話非常有幫助，因為 |
| |
你知道，身為分析師，這是我每天都要做的事情，但我們的合作夥伴、行銷和業務夥伴卻很少真正考慮這件事。 |
| |
因此，JMP 平台發揮了重要作用，幫助我們進行對話，並闡明為什麼這是最佳的前進道路。 |
| |
此外，禁止組合腳本的靈活性使您能夠評估特定設計，並應對和管理這些業務限制。 |
| |
更進一步，分區模型和決策樹分析有助於提取更多見解，從而： |
| |
我們一直努力的目標之一就是保持這種連續性，即進行測試，希望能夠獲得一些有影響力的結果，並從中學習一些東西。 |
| |
但我們也從中了解到一些我們之前沒有真正重視的事情，而我們真正想要的，正是獲得這種洞察力，以便知道接下來要測試什麼。 |
| |
演示到此結束。我要感謝富國銀行的所有同事，特別是測試團隊的同事，感謝他們的領導和協作。 |
| |
涵蓋專案管理、網頁開發以及品質保證團隊成員的各個方面。所以，感謝大家，特別感謝 Rudy 的付出。 |
| |
感謝他多年來的友誼和指導，以及他作為同事的專業知識和堅韌不拔的精神，他始終幫助團隊不斷進步。感謝您今天的出席。 |
