揚聲器
|
成績單
|
| 比爾·沃利 |
你好。 |
| 史蒂夫·C |
我是史蒂夫·克里斯特。 感謝您今天加入我，我們將超越 A/B 測試，並研究用於網頁優化的多變量測試和高級分析的用例。 |
| |
今天的大綱。 我們將從整個用例的高級概述開始，然後深入研究細節。 我們將看一下 JMP 演示 |
| |
看看我們如何評估特定的實驗設計。 |
| |
我們還將查看從測試中獲得的結果以及我們如何利用 JMP 分區模型來增強這些見解。 |
| |
從高層概述來看，該用例由兩個測試組成。 在測試一中，我們查看了橫幅設計的一些組件和頁面佈局的主體。 |
| |
我們成功進行了多變量測試，使申請量提高了 7%。 我們能夠更進一步 |
| |
發現一些被推到頁面底部的內容的見解，我們發現這些內容非常重要，我們能夠在測試二中利用它。 我們能夠 |
| |
我們的性能比第一個測試獲勝者額外提高了 4%。 因此，該用例強調了 JMP DOE 平台及其自定義 DOE 如何幫助我們啟用測試一，然後 JMP 分區模型幫助我們提取更多信息 |
| |
我們能夠在測試二中利用更多的見解。 |
| |
那麼讓我們來詳細了解一下。 |
| |
當我們查看當前頁面時，這是富國銀行支票主頁。 |
| |
我們的營銷合作夥伴和業務合作夥伴在獲取客戶反饋意見方面做得非常出色，因此本次測試的主要動機是圍繞正文樣式 A 或頁面佈局 A |
| |
與 B 相比，我們的客戶表示他們希望看到更多產品在體驗中處於更高的位置。 我們的營銷和業務合作夥伴表示， |
| |
當我們……當我們做出這一改變時，我們也認為我們已經有一段時間的形象了，我們可以做得更好。 |
| |
我們還認為，在這種橫幅設計中，我們將內容放在左側，人們的眼睛更自然地被吸引並且身體更小，這樣我們就可以展示我們的客戶和訪問者表示他們更感興趣的內容。 所以我們的合作夥伴來找我們進行 A/B 測試。 |
| |
但您很快就會發現這裡還發生了很多事情。 我們只有八種可能組合中的兩種 |
| |
我們與合作夥伴的對話是，這個設計看起來很棒，但我們存在一些風險。 |
| |
風險在於，其中一些組件可能運行良好，而另一些可能會降低性能並相互抵消。 所以，如果我們只運行 A/B 測試， |
| |
我們不知道哪些組件可以正常工作，哪些不能正常工作。 就在那裡……我們提出了多變量測試，我們的合作夥伴說，這聽起來很棒。 讓我們這樣做吧。 但是……他們……我們有一些需要管理的業務限制。 |
| |
那麼這些業務限制是什麼？ |
| |
他們是， |
| |
正如我所提到的，主要動機是圍繞這種主體佈局並將新內容引入頁面。 |
| |
因此，當我們查看整體設計空間時，我們的合作夥伴實際上沒有興趣也沒有興趣測試任何具有舊正文頁面佈局的其他變體。 那是 |
| |
這是一個關鍵……第一個關鍵因素。 |
| |
其次，沒有太多興趣......在這個塊中，這代表一個具有舊圖像和新佈局的頁面，並且再次沒有太多興趣 |
| |
在這樣做的過程中。 因此，在這種特殊情況下，我們的合作夥伴對他們願意運行的測試非常規範。 |
| |
所以自然的問題是，這個測試是否可以作為一個整體的多變量測試設計？ 這就是 JMP 定制 DOE 平台的用武之地。 那麼讓我切換一下，我們來看看我們是如何做到的。 |
| |
所以我們要去美國能源部，我們研究了定制設計。 |
| |
我們有三個...三個因素。 我們有我們的形象 |
| |
有了 A 和 B 版本，我們還有另一個帶有 A 和 B 的橫幅的二級分類變量， |
| |
最後，我們有包含 A 和 B 版本的正文頁面佈局。 |
| |
和 |
| |
當我們點擊繼續時， |
| |
到目前為止我們看起來不錯。 我們在這裡註意到的是，我們可以用最少四個單元覆蓋這四個單元的設計空間，效果很好 |
| |
對於我們來說，在這種情況下，但我們從經驗中知道，熟悉這一點的人會知道， |
| |
JMP 優化引擎永遠不會為您提供四單元分數階乘的設計。 這不是最優化的設計 |
| |
四個單元，但我們正在嘗試使用這種設計來管理我們的業務限制。 因此，為了強制執行此特定設計，您可以使用不允許的組合 |
| |
本質上指定我們不想運行的每個單元格，以便我們留下我們想要運行的內容。 在 JMP 中，沒有辦法指定精確的測試設計，但您可以利用不允許的組合腳本來強制執行它。 |
| |
這是我們經常做的事情， |
| |
因為在我們的世界中進行網頁測試時，我們從合作夥伴那裡獲得了大量的意見。 這對我們來說是一個相當典型的用例，因此這是我們經常使用的技術。 |
| |
所以，因為我們正在處理分類變量，只是為了解釋這裡的腳本，我們必須對它們進行編碼，因此 A 的值得到 1，值 B 得到 2，所以當我們查看這個特定的單元格時，我們不想測試... |
| |
讓我回顧一下。 |
| |
看一下我們不想運行的這個特定單元格，這是帶有橫幅 B 和正文樣式 A 的圖像 A，因此 ABA 或 121。 |
| |
這裡的這個單元格是帶有橫幅 A 和正文樣式 A 的圖像 B，即 2211。 因此，通過這種方式，您可以指定我們不想運行的所有四個單元格。 然後我們點擊製作設計。 |
| |
渲染僅需一秒鐘。 |
| |
事實上，我們沒有立即得到一個錯誤，說“不收斂”，這是一個好兆頭，所以，事實上，我們... |
| |
JMP 說是的，這個設計會起作用。 這是我們的...這是我們的控制頁面，在此處的第一個運行中表示，即 AAA，圖像 A，帶有橫幅 A 和正文樣式 A。 在第三次運行中是我們的 |
| |
我們的合作夥伴在原始 A/B 提案中向我們提供的變體，其中包含圖像 B、橫幅 B 和正文 B。 |
| |
然後我們也有變體一和變體二在這裡表示，包括 BAB 和 AAB，所以我們得到了我們期望得到的結果。 因此，我將在這裡稍微評論一下評估。 我通常查看的內容之一是相關性的顏色圖 |
| |
和設計診斷。 |
| |
對於那些熟悉這些的人來說，你會注意到 |
| |
正如我所提到的，這不是最優化的設計，但它確實有效，這就是它的科學性和藝術性所在 |
| |
走到一起，我們必須讓它與我們的合作夥伴合作。 因此，只要它確實有效，這對我們來說就是最重要的因素。 |
| |
另外，知道我們有後備，我們有實際數據。 如果我們願意的話，我們可以進行一些分段比較，但是效率會提高很多 |
| |
通過運行多元變量，我們可以推斷出其中一些結果。 我也在這裡發表一下評論，不是今天談話的重點， |
| |
但構建良好且分析得當的多變量不會比 A/B 測試花費更長的時間，這從表面上看是非常違反直覺的。 所以我想預先聲明這一點。 如果您有興趣，請在問答中詢問我或線下聯繫我。 |
| |
那麼，當我們回到演示時。 |
| |
因此，我們只是查看了這個設計，並且能夠對其進行評估，我們現在知道它可以作為整體分數階乘多元變量。 那麼我們學到了什麼？ |
| |
當我們查看概述時，我們了解到 |
| |
在這個變體二中，我們獲得了 7% 的提升。 這是我們在這個設計空間中表現最好的一個，因為我們......進行了整體多變量測試，我們還能夠利用一些回歸技術來推斷，進行回顧分析 |
| |
如果我們在測試期間運行其中一些頁面，會發生什麼。 所以我們不僅擁有我們可以實現的實際價值 |
| |
通過回歸分析進行驗證和驗證，我們達成了良好的協議，但我們也……因此，也可以計算並回顧如果我們測試了這些頁面，它們將如何執行。 那...那是其中之一 |
| |
多變量測試的強大功能，特別是如果您處於像我們這樣的情況，您需要開發和創建所有這些不同的頁面。 我們可以利用這項技術 |
| |
為我們節省大量前期工作，但仍然能夠提取經驗教訓。 它還有助於隔離 |
| |
是什麼推動了性能。 你可以在這裡看到，如果我們完成了最初的 A/B 測試， |
| |
我們本來...我們本來... |
| |
我們的變體會抑制性能。 如果我們沒有運行多元變量，則解釋將是我們的客戶的這個新頁面...... |
| |
或者我們的客戶說他們喜歡這種新概念和設計，我們會解釋為他們並不真正喜歡它。 但實際上，你可以看到 |
| |
是所有B版本的橫幅都抑制了性能。 那是......新的橫幅樣式並沒有特別引起我們的訪客的共鳴 |
| |
和我們的客戶。 |
| |
所以我們能夠提取它們。 我們不僅有一個更好的獲勝者，而且我們能夠很容易地理解這種設計 |
| |
我們的客戶所說的他們想要的，事實上，當歸根到底時，什麼......什麼表現得好。 |
| |
所以我們可以很容易地停在那裡，然後說，太好了，我們測試成功了。 謝謝你，我們就完成了。 但是……但是我們完成了嗎？ 我們有很多數據。 數據還能告訴我們什麼嗎？ |
| |
在我們的報告中，我們注意到的一件事是我們的參與度和點擊量都減少了很多 |
| |
在此比較帳戶並找到正確的帳戶，這將帶您獲得指導體驗。 而在操控體驗上，那些... |
| |
那個內容要高得多。 它就在橫幅下方，因此，從點擊的角度來看，這並不奇怪， |
| |
我們是否看到這裡的點擊量減少了很多？ 這對於任何網頁來說都是非常典型的，頁面越往下，需要滾動的人越多，點擊它的次數就越少。 這是非常直觀的，但我們問自己這個問題，因為這是一個鮮明的對比。 |
| |
那是問題嗎？ 我們認為這些體驗和內容非常好，但我們對它下降這麼多感到有點驚訝。 我們預計它會下降一點， |
| |
但下降幅度超出了我們的預期。 那是問題嗎？ 因此，為了幫助我們理解這方面的內容，我們使用了 JMP 分區模型，特別是決策樹算法。 |
| |
因此，我們採用了第二種方案，我們對提交的應用程序進行了分析，試圖找出哪些內容、何時被點擊或未被點擊， |
| |
幫助增加。 我們看到分離的申請提交率更高。 |
| |
因此，在樹的頂部，最重要的事情（同樣非常直觀，一點也不奇怪）是點擊的人 |
| |
與訪問過但未點擊任何內容的人相比，在頁面上的某些內容上，點擊的人的應用程序提交率高出 20 倍...20 倍。 |
| |
非常簡單。 他們很有動力。 他們正在與您的頁面互動。 所以他們點擊了，但是他們點擊了什麼？ |
| |
樹的下一個節點是“立即應用”和“立即打開”內容，因此單擊“立即打開”或“應用”的人 |
| |
與直接從此頁麵點擊其他內容但未點擊“應用”的人相比，那些“應用”點擊者的應用程序提交率高出七倍。 再次強調，非常簡單、非常直觀。 |
| |
但令我們驚訝的是，如果他們不立即單擊“應用”，此頁面上還有很多其他路徑可供您選擇 |
| |
單擊產品詳細信息頁面並從那裡申請。 或者，您可以進入比較體驗，然後從那裡申請。 就像你可以更深入地體驗並仍然應用一樣。 因此，除了現在打開之外，該頁面上第二重要的內容是比較所有帳戶， |
| |
（CTA）。 我們只是把它埋在頁面的底部。 事實上，比較所有帳戶與橫幅中的內容一樣重要，這讓我們感到非常驚訝。 |
| |
因此，我們能夠與合作夥伴進行對話，然後利用這一見解，即當人們單擊“比較”時，他們提交申請的可能性會增加 40%。 我們需要進行測試，看看是否可以在體驗中提供更高的支持，以及這對我們的性能有何影響。 |
| |
我們發現了什麼，你知道，所以在這裡控制，我們有比較和產品選擇的內容，都在底部。 |
| |
我個人的建議只是把它們都放回頂部，但幸運的是我們的……我們對營銷和業務合作夥伴進行了足夠的教育，他們說，好吧，讓我們運行一個多元變量來找出，我們是否需要它們兩者在頂部？ 你知道，有一個偏好， |
| |
就我們的訪問者而言，就性能和網站轉化率而言？ 我們應該只擁有一個嗎？ 是否……某些聯繫……內容會分散注意力？ |
| |
我們發現確實如此。 你知道，在我們表現最好的一個中，正如我們提到的，最上面的是這個變體，它的比較位於頂部 |
| |
和選擇器在底部。 要知道，選擇者，尤其是人少人多 |
| |
對此感興趣。 因此，將其放在頂部會有點分散注意力。 因此，我們能夠通過將比較保留在頂部來真正清理和優化我們的體驗。 |
| |
所以，回到這裡的高層，您知道，這是...我們進行了兩次測試，並且我們能夠在第一個測試中使用 JMP 平台 |
| |
幫助我們引導多變量測試討論。 |
| |
然後使用 JMP 分區模型來發現該見解並向前提供該見解。 因此，在這兩次測試之間的相當短的時間內，我們能夠將站點應用程序總數增加 11%。 |
| |
因此，總而言之，多變量測試， |
| |
一般來說，這是一種非常有效的方法，能夠隔離並了解測試的情況。 你知道，正如大多數人所知， |
| |
一旦你開始改變太多的事情，你就會失去一定程度的洞察力。 |
| |
我還要說，你知道，在金融服務測試中，這裡的主要區別之一是 |
| |
人們可能...可能會問自己，為什麼不直接進行一系列連續的 A/B 測試？ 其中一部分依賴於金融服務業， |
| |
我認為其他行業也有這樣的情況，即頁面的每次更改都需要經過一定程度的法律、風險和合規審查。 所以 |
| |
對我們來說，多變量方法非常有效，因為我們可以一次完成這個過程，而順序 A/B 測試最終會變得非常麻煩，我們可以 |
| |
使用此方法可以更快地完成測試。 由於與 JMP DOE 平台相關，JMP 的 DOE 平台確實是同類中最好的。 |
| |
它非常直觀，而且非常有影響力，可以幫助您與合作夥伴進行這些對話，因為， |
| |
你知道，作為一名分析師，這是我每天都會做的事情，但這並不是我們的合作夥伴、營銷和業務合作夥伴經常考慮的事情。 |
| |
因此，JMP 平台非常有用，可以幫助我們引導對話並闡明為什麼這是最佳的前進道路。 |
| |
同樣，不允許的組合腳本的靈活性使您能夠評估特定設計並導航和管理這些業務限制。 |
| |
然後更進一步，分區模型和決策樹分析有助於提取更多洞察力，以便 |
| |
我們一直努力追求的事情之一就是保持這個連續性，我們進行測試，希望能得到一些有影響力的結果並學到一些東西。 |
| |
但我們也學到了一些我們並不真正欣賞的東西，而且我們確實希望獲得這種洞察力，以知道下一步要測試什麼。 |
| |
演示到此結束。 我想對富國銀行的所有同事、測試同事表示感謝，感謝他們的領導和協作 |
| |
涵蓋項目管理、網頁開發以及我們的質量保證團隊成員的範圍。 謝謝大家，特別感謝魯迪的貢獻 |
| |
友誼和作為長期同事的指導、專業知識和堅韌，並始終幫助團隊努力做得更好。 感謝您今天參加。 |
