使用這本新書改進您的Numbersense正如我在提到的那樣早先的帖子 ，Kaiser Fung有一本新書： Numbersense：如何利用大數據為您帶來優勢 。我讀過它並很享受。它幫助我成為分析信息的一個更重要的消費者，這是Kaiser的書的目的。
以下是本書的摘錄：
在分析數據時，沒有辦法避免理論上的假設。任何分析都是零件數據和零件理論。更豐富的數據支持更多的理論，其中一些可能相互矛盾，正如我們之前提到的那樣。但更豐富的數據並不能挽救糟糕的理論，也無法挽救不良分析。世界從未耗盡理論家;在大數據時代，證據的重置程度越來越低，因此更難以辨別是非。關於大數據的業內人士理所當然地認為更多數據會帶來更多好處。一個人必須跟隨另一個嗎？
當更多人更快地進行更多分析時，會有更多的理論，更多的觀點，更多的複雜性和更多的混淆。清晰度較低，共識較少，信心較少......
更多數據不可避免地導致花費更多時間來爭論，驗證，協調和復制。所有這些活動都產生了疑問和困惑。大數據有一個真正的危險，就是我們向後移動，而不是前進。它有可能將科學帶回黑暗時代，因為糟糕的理論通過收集不良證據和淹沒好理論而獲得成功。
大數據是真實的，其影響將是巨大的。至少，我們都是數據分析的消費者。我們必須學會成為更聰明的消費者。我們需要的是 Numbersense 。
這是你改善自己的機會 Numbersense 通過贏得凱撒的書副本。（如果你去了探索峰會本週早些時候，Kaiser參與了我們的統計小組討論，你在會議上獲得了這本書的免費副本。凱撒為與會者簽署了書籍。）
該前25位讀者誰發表評論講述您面臨的挑戰涉及收集，處理或分析越來越多的數據將有資格獲得Kaiser新書的免費精裝本， Numbersense 。您對此討論的貢獻應該在50到75個字之間。請務必在撰寫評論時輸入您的電子郵件地址，以便我們在您成為贏家時與您聯繫。每位評論者只有一本書。評論者必須居住在美國才有資格獲得一本書。感謝Kaiser的出版商McGraw-Hill提供的書籍。
2013年10月1日更新：此競賽現已關閉。所有書籍都已獲獎。謝謝你的關注！
brett寫道：我遇到大數據的一個問題是......布雷特中寫道：
我遇到大數據的一個問題是臟數據。公司希望利用CRM和ERP數據庫中包含的信息，並相信一點點編程將產生有用的模型。即使有大量的數據清理，剩下的數據也很差，以至於不再有任何有用的相關人口推斷。
Dan D寫道：作為為政府工作的人......丹D. 中寫道：
作為為政府工作的人，收集數據很少是問題，但使用它的能力總是很難。在不影響隱私的情況下，您可以進行多少細節，哪些信息對人們有用。作為一名數據科學家，我總是覺得那些對數據一無所知的人的意見指導我們的分析和決策朝著正確的方向發展。
克里斯S寫道：這篇文章特別適合。我只是...克里斯S. 中寫道：
這篇文章特別適合。我剛剛參加了一次會議，討論了數據民主化提供的雙刃劍。讓更多人訪問更多數據可能是所有組織都想要利用的非常強大的東西，但正如所闡述的那樣，危險就是導致混亂和攪動。一如既往的問題是如何在最大限度地降低成本的同時實現收益最大化？
Murray Meehan寫道：我為微軟的體育節目工作......默里米漢中寫道：
我在微軟的體育娛樂部門工作，專注於基於雲的Web服務和依賴它們的客戶端應用程序。我每週都會生成關於Web服務功能和性能的千兆字節測試數據，幾乎所有測試數據都被忽略，這有利於非常簡單的指標，這些指標在團隊之間更容易溝通。當我做更複雜的分析時，我很難以我的同事能夠理解的方式呈現它。這是我所在地區的常見問題。
Glen寫道：我的一些研究涉及分佈式組合......狹谷中寫道：
我的一些研究涉及大數據的分佈式計算。我將大數據定義為數據太大而無法加載到單台計算機上。分析大數據的最常用工具是Hadoop。然而，Hadoop是由計算機科學家設計的，並不適用於迭代統計問題/數據可視化/貝葉斯方法。這是統計學家為這一領域做出貢獻的激動人心的時刻。
JanKö¶lling寫道：我最近開始攻讀博士學位...... JanKö¶lling 中寫道：
我最近開始了生物信息學的博士研究，其中涉及從多個來源分析大量生物數據。我嘗試開發工具，幫助生物學家更有效地回答他們的問題，並探索超出他們最初激勵的數據集。我工作的很大一部分涉及傳達更好的分析和可視化的好處，並意識到可能使研究結果無效的陷阱。
戴夫寫道：我在一家零售電力公司工作，每天1 ...戴夫中寫道：
我在一家零售電力公司工作，每天15分鐘的間隔使用數據，天氣數據，呼叫中心轉錄數據，網絡日誌數據，以及在分佈式環境中快速分析這些數據的日益增長的需求，正在促使我們查看新的解決方案。僅間隔數據每天約2GB。現在，在多核unix服務器上需要幾週的回歸，這是不可接受的。
戴爾寫道：最大的數據挑戰我曾經是個人...戴爾中寫道：
我個人面臨的最大數據挑戰涉及電力市場的建模和決策。美國最大的市場PJM擁有大約10,000個獨特的節點，每個節點以每小時（或更高）的頻率發布數據。加上該溫度，燃料數量和定價以及發電機可用性 - 將商業決策的有用信號與所有噪聲分開是一個很大的困難。
Maegen在波士頓寫道：在我的公司，我們分析大... Maegen在波士頓中寫道：
在我的公司，我們分析在企業環境中收集的大量基於傳感器的數據。數據的原位性質意味著我們必須非常小心地尋找噪聲中的模式，並且必須經常關注奇怪的傳感器行為。此外，數據的性質使得開箱即用的典型模式識別算法變得困難 - 我們必須徹底測試我們的假設。隨著軟件和硬件的改進，我們面臨著確保我們的分析具有可再現性（並在適當的情況下）跨項目可比性的挑戰。
AP Williams寫道：我們最大的挑戰通常是...... AP威廉姆斯中寫道：
我們面臨的最大挑戰通常是避免將我們的偏見註入我們的解釋中。我們分析銷售和營銷數據以確定我們的活動對結果的影響，但我們很少有真正的控制組。由於通常沒有結果，因此在分析數據和社交我們的研究結果時會帶來很多挑戰。很難殺死“龍”（我們的利益相關者的先入為主的觀念）。
Shen Ting Ang寫道：我使用語音數據並且...沉婷昂中寫道：
我使用語音數據，但仍有一些問題尚未完全解決。已經提出並使用了各種特徵提取方法，但是這些方法中的每一個都具有其自己的一組有用且不太有用的特性。根據所使用的任務和方法，通常會出現反複試驗以確定最佳組合，而且通常沒有普遍的最佳解決方案。
Anand Chandarana寫道：在人力資本分析中...... Anand Chandarana 中寫道：
在人力資本分析領域，我最大的挑戰是項目所有者和其他利益相關者，他們希望數據能夠從無到有。他們說，“垃圾進去，垃圾出去”。如果您想將一組數據（例如，參與度調查數據）與另一組數據（例如，績效評級）聯繫起來，則需要在兩者之間存在實際鏈接和穩定的數據流。每年或每兩年（在後一種情況下）收集的績效評級或參與度調查數據不是很有幫助。當通過脈沖調查每季度/持續收集時，參與調查數據更有價值。績效評級通常是如此無差別且不准確，以至於很少與其他人力資本指標相關聯。
克里斯寫道：大數據帶來了大責任。得到控制而...克里斯中寫道：
大數據帶來了大責任。雖然我們認為在分析方面我們控制思想的流動，隨著更多的想法進入那裡，他們獲得了自己的生活。我的公司遇到了挑戰，確保我正在製作的案例由最終用戶以同樣的方式閱讀，他們可能永遠不會跟我說話，只看一些幻燈片或圖表脫離大討論的背景。
安娜在印第安納寫道：我現在和以前的工作都是......安娜在印第安納州中寫道：
我目前和以前的工作都圍繞著大量的電子醫療記錄數據。使用此數據時存在許多挑戰 - 如果您嘗試在地圖上顯示10年的數據，您應該使用哪種郵政編碼（如果看起來某個區域有300％的人口，那該怎麼辦？美國人口普查！）？如果患者在每次就診時報告不同的種族，您如何確定使用哪種種族？我們如何將數據匯總到有意義且保護隱私的水平？
安東尼奧從家裡寫道：處理大數據簡單......安東尼奧從家裡中寫道：
以簡單的個體處理大數據非常困難。在某些情況下，Web工具可以提供幫助 有一次，我不得不研究來自網絡資源的信息，隨著時間的推移不間斷產生數據。編寫谷歌腳本並設置時間驅動的觸發器使我能夠在幾分鐘內收集並存儲谷歌電子表格中的部分統計數據。這極大地簡化了最終分析。
Mike Paulonis寫道：來自計算機基礎設施的日誌文件......邁克保羅尼斯中寫道：
來自計算機基礎結構的日誌文件經常被忽略，因為內容被認為是低價值的，因為內容太過非結構化，或者因為記錄的數據太多（只是繼續增長）。大數據技術非常適用於日誌文件分析的挑戰性問題，並為即使是不熟練的用戶釋放價值。
Arved Harding寫道：當我們處理大數據集時... Arved Harding 中寫道：
當我們處理大數據集以收集有用的信息時，我們可能會發現自己面臨的障礙就像那些在製造環境中這樣做多年的人一樣。僅挖掘數據可能是徒勞的。系統思考可能會有所幫助：確定所需數據，獲取數據的方式和位置，然後清理垃圾數據。現在使用當今偉大的計算機和統計工具，我們可以開始挖掘。
Scott Drumwright寫道：我認為大數據是一個發展... Scott Drumwright 中寫道：
我相信大數據是一個漸進的步驟，而不是一些人認為的最新新技術時尚。一旦您有權訪問更多數據，您將永遠不會選擇分析更少的數據。我們內在想要完全映射和解釋我們生活的世界。對我來說這是第一次技術的下一個新事物伴隨著道德警告！
Arati Mejdal寫道：嗨，馬克。謝謝你的評論。有限公司... Arati Mejdal 中寫道：
嗨，馬克。謝謝你的評論。評論需要介於50到75個單詞之間。你的資格！
馬克·尤因寫道：我不確定該帖子是否可以下注......馬克尤因中寫道：
我不確定帖子是否在50-75個單詞之間，或者50-75個單詞是否是最小範圍，所以我將我的評論剔除75個單詞是安全的 - 我喜歡這本書的副本！
Mark Ewing寫道：我為一家大型國際公司工作......馬克尤因中寫道：
我在一家大型國際公司工作，而且我們通過銷售，定價和其他系統內部產生的數據通常很龐大並且存儲在各地。在分析這些系統時，我們收集了所有適當的數據，正確加入，然後才開始分析。因為我正在將我的解決方案部署到我的客戶端，所以必須針對速度和空間進行優化，這絕不是一個容易解決的問題。
Arati Mejdal寫道：嗨，基思。謝謝你的評論。乙... Arati Mejdal 中寫道：
嗨，基思。謝謝你的評論。但正如您可以從博客文章中的贈品規則中看到的那樣，此優惠僅對美國居民開放。我們不能把書送到澳大利亞。抱歉。
EAVI的基思寫道：完全贊同觀點...基思在EAVI 中寫道：
完全同意這裡提出的觀點。
越來越多地使用大數據面臨的一大挑戰是民主化。我已經看到了更多人（他們不一定受過數字使用培訓）能夠進行分析的建議，因為他們更容易獲得訪問權限。
提示內部查詢中的尖峰，說明為什麼這個數字與該數字不匹配（實際上並不相同 - 即不同的時間段，不同的計算）。
並不是真的期待一系列人從同一組數據和那些傳播中獲得完全相反的觀點，並且沒有一個分析專家有機會第一時間得到一個故事。
PS。我在澳大利亞，所以拿一本書可能會很難...
James Stiebel寫道：雖然大數據提供了很好的機會......詹姆斯斯蒂貝爾中寫道：
雖然大數據提供了很好的洞察機會，但它提供了更多的問題，複雜性和混亂（特別是當您考慮交互時）。在培訓新的分析師時，我避免像瘟疫這樣的大數據。小數據規則！
我的經驗發現Little Data更易於管理，友好且有價值。使用較小的數據集，我發現我能夠更輕鬆/更快地測試變量組合，模擬多個數據採樣並構建多個預測模型。大數據需要更多時間投入數據準備和分析以提高洞察力。不確定大數據是否值得大努力。
Kehleboe Gongloe寫道：2008年，我被要求組織...... Kehleboe Gongloe 中寫道：
2008年，我被要求組織和開展利比里亞勞動力調查。沒有先前在利比里亞進行此類研究和先前的勞動力調查的經驗。在哪里以及如何開始是一項艱鉅的挑戰。我們的救世主是國際勞工組織統計部。我們確實收集了數據並對其進行了分析，但政府僅在一年多後才批准發布結果。這個挑戰讓我回到學校，我正在研究統計數據。大數據的整個概念對我越來越有吸引力，我開始以嚴肅的方式傾向於它。
Sastry Pantula寫道：大數據提供BIG（商業... Sastry Pantula 中寫道：
大數據提供了巨大的（商業，工業和政府）機會，特別是在本國際統計年期間。不幸的是，有些人正在隱藏數據，並且無法利用，獨立測試或培訓未來的問題解決者。還需要建立全球統計人員的能力以滿足需求。
Wilfredo Salinas寫道：在我的工作中，我們必須分析sal ...威爾弗雷多薩利納斯中寫道：
在我的工作中，我們必須分析來自數百個地點的銷售交易。在我們的分析中，我們希望看到每一分鐘發生的每筆交易，但數據非常龐大，我們不得不將其縮小到一天中的幾個小時。第二個挑戰是將數據從SQL服務器導出到電子表格。我們目前的限制只有100萬行。這迫使我們按星期幾，一天中的時間和一組位置創建多組文件。從這組大數據中獲取“全局”的唯一方法是創建鏈接引用。在多種情況下，這些鏈接不會刷新或最終被丟棄。這可能非常令人沮喪。
Robert Lochel寫道：過去兩年，我擔任過...羅伯特洛克中寫道：
在過去的兩年裡，我在我的學區擔任教學指導。隨著賓夕法尼亞州Keystone考試的出現，需要在他們的代數1課程中收集有關學生表現的數據。該州提供在線課堂診斷測試（CDT），根據學生的反應調整問題。該測試提供了一個分數，但與實際Keystone考試的預測相關性很小。現在我們已經獲得了第一輪學生成績數據，我一直在努力將學生Kesytone分數與學生CDT成績進行比較，以便為參加CDT的學生提供反饋，並提供改進途徑。
Glenn Waddell寫道：我是數學老師和AP Stats茶......格倫瓦德爾中寫道：
我是公立高中的數學老師和AP Stats老師。我們生成的數據量巨大，但沒有人有時間或精力去實際查看我們可以做些什麼，改進，甚至數據中的趨勢或模式。我可以教，或者我可以分析數據，但我不能同時做到這兩點！我一直在努力學習如何做得更好。
Chris Bodily寫道：我經常會遇到Bi ...克里斯Bodily 中寫道：
我經常遇到大數據導致大麻煩的情況。通過在電子表格中收集數據來查看它並識別子數據集，可以多次嘗試分析。其他時候，大數據意味著有數十甚至數百個圖表和表格的大報告。此外，個人在這個過程中花費數小時，最終仍然沒有提供所需的洞察力和指導。使用適當的工具，可以進行適當的數據驗證，有效的分析可以促進學習。即使有效地可視化數據，也可以在任何其他分析之前產生線索和信息。
