黑暗數據,專業知識,建模-我們在10月涵蓋了一系列主題。 1個統計學上講。 大衛·漢德給了一個輝煌全體會議說話和通過警告我們為小組討論奠定基礎要記住需要思考並意識到所有黑暗的數據在那裡-的我們看不到的數據,但我們需要考慮到。 黑暗數據:為什麼不知道中號atter是他的最新著作(請參閱博客文章關於它;如果您還沒有讀過,你可以得到一個樣品摘抄)。
嘉賓包括卡梅倫威爾登, 統計員在WL 支持工程師的戈爾和來自許多不同產品線的科學家; Sam Gardner,創始人Wildstats諮詢服務,擁有30多年從事統計問題的經驗解決對於政府和行業;和JMP的傑森·威金斯,擁有20年美國綜合經驗的資深人士,在流程優化,測量系統分析和預測建模/數據挖掘方面擁有專業知識。
我們沒有時間來回答所有問題直播觀眾的問題,但我們的小組成員已經同意為其中許多人提供答案,進一步分享他們的集體經驗中的智慧。 的問題按主題分組—太多了,我們正在做兩個帖子。 在第一部分中,我們將專注於有關專業知識和培訓的所有問題。 部分Ť我將介紹有關建模和數據的問題。
數據科學似乎允許很多未經分析培訓的人員獲得分析工作。 您對此有何看法?
卡梅倫:如果人們在做數據科學但他們所知道的是, “您將數據放在最後,然後從中得到答案。”基於這項工作做出決策的人們都充滿了痛苦。我不害怕使各種分析民主化,但是人們仍然需要對統計數據以及工具箱中每個工具的局限性有很好的基礎理解。 更準確地說,他們應該能夠可靠地識別何時將要違反現實世界中的那些限制。 達到這一點不需要一個碩士統計學位主義的s或米機器升收入(ML )但對我來說,通過正規培訓和非正式學徒培訓相結合到達那裡似乎很現實。
山姆:總體上,我覺得這是一件好事。 創新者(如JMP !) 已經創造出來了真的很棒軟件工具那實現了分析的“民主化”,其中主要技能要求回覆較少涉及編程和數學,而是有關解決問題,團隊合作,業務或組織的更多信息敏銳的和溝通。 還有更多要解決的問題tha ñ有人來解決他們當前,組織需要的是具有較高“分析商”(AQ)的人員。 高AQ的員工可能來自不同的背景並且擁有不同的技能,但是他們仍然都需要理解數據科學的基本思想。
我認為有一種觀點認為數據科學家不需要了解統計信息。 我覺得這是一個危險的趨勢。 你有什麼意見?
山姆:儘管,正如我在上文中回答的那樣,擁有較高的AQ並能使用良好的軟件工具的人員可以使企業在整個企業中進行數據科學,但您仍然需要一群在數學科學方面具有深厚知識的人員。 原因是他們是核心團隊,將為數據科學開發更好的內部工具和流程。 一種業務增長一世Ť s AQ,簡單的問題將得到解決,而剩餘的問題通常需要更多的技術Ë特技解決。 另外,統計學家通常對如何解決這些難題有敏銳的洞察力。 所以,是的,一世的有利於您的組織訪問統計員,以及d不只是假設您可以發展您的組織'沒有統計學家的幫助和服務的AQ 。
傑森:我觀察到那些好人分析師強迫自己了解自己在做什麼,這意味著學習統計主義的s。 它是明顯的在某人對演示文稿或技術報告有深刻了解的情況下什麼他們是溝通。 他們是否知道足夠簡單地交流發現和方法並回答隨後的難題? 我認為並不是每個數據科學家都應該具備數學知識統計員,但是他們應該在理論和應用上有很好的基礎他們使用的工具。我還認為,作為分析師的數據科學家與作為數據架構師的數據科學家之間存在區別。 在一些公司,我與,這些是不同的工作職能,具有不同的領導,但他們都被稱為數據科學家。 的數據架構師可能不需要太多了解統計信息主義的s如分析人員,但他們應該有足夠的指導工作。每個人都可以從更好的統計知識中受益! 為什麼只要求數據科學家和統計學家呢?
我在ML和AI領域需要幫助。 我是否需要雇用具有業務領域專業知識的人員,或者可以僅將其提供給具有ML和AI專業知識的才華橫溢的數據科學家? 我掌握了一些基本的統計數據和數據科學技能。
卡梅隆:數據科學家通常被定義為具有強大統計能力的人主義的s /分析,程式設計和域專長,但幸運的是,最後一項通常是在工作中獲得的,並達到了有效的水平。 作為戈爾(Gore)的工業統計學家,的面料部門,我不得不學習很多有關紡織品的知識,層壓和網絡處理;但是僅僅幾個星期後,我就學到了足夠的知識,開始向工程師提問沒有想問問他們的過程。 通過與他們合作,他們可以填補我所擁有的許多知識空白為了我們共同創造有效的策略來解決他們的問題。 我經歷了同樣的經歷中號前衛的P產品部人力資源,現在是最近,小號充實C哈恩。您可能會找到一個候選人,該候選人在您的域中取得了本科學位,但完成了統計專業的研究生學位主義的S / ML /數據科學。 在我看來,這是一個罕見的例外,您可能要等待永恆才能找到該候選人。
傑森:我很少聘請具有領域和數據科學甚至基本的統計問題解決能力的人來做專長。 我尋找的人是能學習者並有證明的成功學習新概念。 如果新員工具備此才能,則可以填補專長經過培訓。 我相信紮實的登機過程和培訓是新員工成功的基礎。 我認為大多數公司有訓練領域的知識專長但可能仍需要設計課程和結構交付。如果您的公司不具備教授機器學習和統計問題解決能力所需的技能水平給有域名的人專長,找到可以與之合作的優秀顧問,直到的整體技能水平達到什麼是需要內部教學。每個公司可以受益於深經驗值證書統計的解決問題領域。
關於讓“優秀”的數據科學家具有領域知識,相對於讓“純粹的”數據科學家可以與領域專家合作,還是對數據/結果解釋有偏見,這是一個更好的選擇。 有什麼想法嗎?
卡梅隆:域專長我認為總是會超過對潛在偏見的擔憂。 領域知識可以幫助您預料問題,了解存在的細微差別影響很大,並正確解釋結果。 然而,我認為它基於對領域知識的分析和編碼技能聘用更有意義以來通常可以在工作中獲得,依靠團隊中的其他人專長在過渡期。
傑森:我想首先解決問題的第二部分。 如果您將數據科學家與領域專家配對以解決棘手的業務問題,數據科學家不會發展領域專長? 我同意以協作/跨職能的方式進行溝通是很好的專長差距。 我們需要依靠我們的同事WHO知道事Ë不要t 。 一世也認為它有新鮮的見解是很好的。 一種同時,你怎麼知道的哪一個沒有領域知識要問的問題? 那一定來自某個地方。 為什麼不發展domai ñ專家SE在每個人中,包含的數據科學家?所有科學家都應意識到認知偏見,並保持小心對於它個人和組織上。 一個好方法至處理這是為了受到紀律處分統計ing分析目標,假設,假設和著手之前的潛在差距實驗或分析。 如果你別,這很容易使我們的思維扭曲原始思想或意圖以匹配當前可見的事物。 這樣的失真完全可以面具尤里卡!時刻我們都渴望。
山姆:通常需要團隊來解決問題,團隊中的每個人都扮演著角色。 “純”數據科學家可以專注於更多技術細節但是需要能夠與團隊中其他成員進行交流並獲得他們的信任。 那個人也需要做生意敏銳的,以便能夠看到大圖景並了解局勢和組織的政治。 一個好的數據科學家可以也學習業務領域知識使他們成為團隊中更有效的成員。
你們都確認數據科學家/機器學習工程師的最佳設置是團隊環境。 在該地區尋找工作時,工作描述中的紅色標記是什麼?
卡梅隆:主要危險信號是工作描述描述數據科學“獨角獸”且列出的職責包括數據工程師,應用工程師等。 ,通常會做。 查找諸如“跨職能”和“團隊”之類的短語,或與您一起工作的人員類型的描述,以表明該組織具有成熟的數據科學職能,或者至少對他們的工作狀況有所考慮要發展這種能力。
即使人們談論AI,他們是否仍在使用諸如JMP之類的統計軟件來分析數據並創建模型?
卡梅倫: AI並不總是需要定制的解決方案,當然也不一定總是深度神經網絡!諸如此類的點擊式軟件可以很好地完成用於監督和無監督學習的ML方法JMP 。
山姆:大數據科學家可以授權的去做做得好如果他們擁有允許他們進行分析的工具。 是的,許多數據科學家將在他們的分析工具箱中使用JMP! JMP的建模功能是多樣且全面的,儘管您可能無法完成JMP中需要做的所有事情,但它仍然可以為您做很多事情。 結合其數據可視化和探索功能,它確實可以提高完成的AI工作的速度和質量。
您可以推荐一門在線課程來介紹機器學習嗎?
卡梅隆:我是Coursera上Andrew Ng的機器學習課程的忠實擁護者。 它涵蓋了神經網絡,還涉及了回歸,邏輯回歸,支持向量機等。如果您想了解有關高級神經網絡的更多信息,請通過也在Coursera中的deeplearning.ai進行“深度學習專業化”。Ng的機器學習課程使用開源Matlab的名為Octave的克隆,您可能永遠不會再使用。 您將通過以下方式使用Python朱皮特適用於所有deeplearning.ai課程的筆記本,它的用處要大得多,並且還將向您介紹Python中最受歡迎的ML框架,例如凱拉斯和TensorFlow。
傑森:我已經學習了幾個Coursera模塊。 我認為這個數據科學專業是一個很好的起點。 走向數據科學是很棒的資源,太。
我們感謝觀眾的許多疑問已提交在統計演講的直播過程中,以及我們很感激Cameron,Sam和Jason花時間分享他們的知識有價值觀點上專長和培訓。
我們又接受了一次培訓建議:工業問題解決的統計思維可用來自JMP以及從Coursera 。 在下一篇文章中我們的小組成員將一種nswer問題關於數據和建模。
如果您沒有機會現場觀看該面板,則可以觀看大數據和機器學習方法是否足夠?在我們的網站上。