Verbessern Sie Ihren Numbersense mit diesem neuen BuchWie ich schon erwähnt habe ein früherer post , Kaiser Fung hat ein neues Buch herausgebracht: Numbersense: So nutzen Sie Big Data zu Ihrem Vorteil . Ich habe es gelesen und es hat mir gefallen. Es hat mir geholfen, ein kritischerer Verbraucher von analytischen Informationen zu werden, was das Ziel von Kaisers Buch ist.
Hier ist ein Auszug aus dem Buch:
Bei der Analyse von Daten lassen sich theoretische Annahmen nicht vermeiden. Jede Analyse ist Teiledaten und Teiltheorie. Reichhaltigere Daten unterstützen viele weitere Theorien, von denen sich einige, wie bereits erwähnt, widersprechen können. Reichere Daten retten jedoch keine schlechte Theorie oder retten eine schlechte Analyse. Die Welt ist nie von Theoretikern ausgegangen; In der Ära von Big Data wird die Beweislage niedriger eingestellt, was es schwieriger macht, richtig von falsch zu unterscheiden.Menschen in der Industrie, die sich mit Big Data auseinandersetzen, halten es für selbstverständlich, dass mehr Daten mehr Gutes erzeugen. Muss man dem anderen folgen?
Wenn mehr Menschen schneller mehr Analysen durchführen, gibt es mehr Theorien, mehr Sichtweisen, mehr Komplexität und mehr Verwirrung. Es gibt weniger Klarheit, weniger Konsens und weniger Vertrauen ...
Mehr Daten führen unweigerlich dazu, dass mehr Zeit zum Streiten, Validieren, Vergleichen und Replizieren aufgewendet wird. Alle diese Aktivitäten erzeugen Zweifel und Verwirrung. Es besteht die reale Gefahr, dass Big Data uns rückwärts und nicht vorwärts bewegt. Es droht, die Wissenschaft zurück in die dunklen Zeiten zu bringen, da schlechte Theorien an Boden gewinnen, indem sie schlechte Beweise sammeln und gute Theorien übertönen.
Big Data ist real und seine Auswirkungen werden massiv sein. Zumindest sind wir alle Verbraucher von Datenanalysen. Wir müssen lernen, klügere Verbraucher zu sein. Was wir brauchen, ist Numbersense .
Hier ist deine Chance, deine eigene zu verbessern Numbersense indem Sie eine Ausgabe von Kaisers Buch gewinnen. (Wenn du gegangen bist Discovery Summit Anfang dieser Woche, als Kaiser an unserer Diskussion über das Statistikpanel teilgenommen hat, haben Sie auf der Konferenz ein kostenloses Exemplar des Buches erhalten. Kaiser signierte Bücher für die Teilnehmer.)
Das Die ersten 25 Leser die einen Kommentar hinterlassen Eine Herausforderung, der Sie gegenüberstehen, besteht in der Sammlung, Verarbeitung oder Analyse zunehmender Datenmengen qualifiziert sich für eine kostenlose Hardcover-Ausgabe des neuen Buches von Kaiser, Numbersense . Ihr Beitrag zu dieser Diskussion sollte zwischen 50 und 75 Wörtern betragen. Geben Sie beim Schreiben Ihres Kommentars unbedingt Ihre E-Mail-Adresse ein, damit wir Sie als Gewinner kontaktieren können. Nur ein Buch pro Kommentator. Die Kommentatoren müssen sich in den USA aufhalten, um ein Buch erhalten zu können. Danke an Kaisers Verleger McGraw-Hill für die Bereitstellung der Bücher.
Update am 1. Oktober 2013: Dieser Wettbewerb ist jetzt geschlossen. Alle Bücher wurden ausgezeichnet. Danke für Ihr Interesse!
brett hat geschrieben: Ein Problem, das ich mit großen Daten hatte, ist ... brett schrieb:
Ein Problem, dem ich mit Big Data begegnet bin, sind schmutzige Daten. Unternehmen möchten die Informationen aus CRM- und ERP-Datenbanken nutzen und glauben, dass ein wenig Programmierung nützliche Modelle hervorbringen wird. Selbst bei einer umfangreichen Datenbereinigung sind die verbleibenden Daten so schlecht, dass für sie keine nützliche befriedigende Population mehr vorhanden ist.
Dan D schrieb: Als jemand, der für die Regierung arbeitet, ... Dan D schrieb:
Als jemand, der für die Regierung arbeitet, ist das Sammeln von Daten selten das Problem, aber die Verwendung dieser Daten ist immer schwierig. Auf wie viele Details können Sie eingehen, ohne die Privatsphäre zu beeinträchtigen, und welche Informationen für die Menschen von Nutzen sind. Als Datenwissenschaftler habe ich immer das Gefühl, dass diejenigen, die nichts über die Daten wissen, unsere Analysen und Entscheidungen in die richtige Richtung gelenkt haben.
Chris S hat geschrieben: Dieser Artikel ist besonders apropos. Ich habe gerade... Chris S schrieb:
Dieser Artikel ist besonders apropos. Ich kam gerade von einem Treffen, in dem das zweischneidige Schwert diskutiert wurde, das die Demokratisierung von Daten bietet. Wenn mehr Menschen Zugriff auf mehr Daten erhalten, kann dies eine sehr mächtige Sache sein, die alle Unternehmen nutzen möchten. Aber genau so artikuliert, besteht die Gefahr in Verwirrung und Verwirrung. Wie immer stellt sich die Frage, wie man den Nutzen maximieren und gleichzeitig die Kosten minimieren kann.
Murray Meehan hat geschrieben: Ich arbeite für Microsofts Sportler ... Murray Meehan schrieb:
Ich arbeite für Microsofts Sportunterhaltung, in einer Analyserolle, die sich auf Cloud-basierte Webservices und auf sie basierende Client-Apps konzentriert. Ich generiere wöchentlich Gigabytes an Testdaten zu Web-Service-Funktionalität und -Leistung, die fast alle zugunsten sehr einfacher Metriken ignoriert werden, die einfacher zwischen Teams zu kommunizieren sind. Wenn ich eine kompliziertere Analyse mache, bemühe ich mich, sie auf eine Art und Weise darzustellen, die meine Kollegen verstehen können. Dies ist ein häufiges Problem in meiner Umgebung.
Glen schrieb: Einige meiner Forschungen betreffen verteilte Comp ... Tal schrieb:
Einige meiner Forschungen betreffen das verteilte Computing für Big Data. Ich definiere Big Data als Daten, die zu groß sind, um auf einen einzelnen Computer geladen zu werden. Das gebräuchlichste Werkzeug zur Analyse von Big Data ist Hadoop. Hadoop wurde jedoch von Informatikern entwickelt und eignet sich nicht gut für iterative statistische Probleme / Datenvisualisierung / Bayes'sche Methoden. Es ist eine aufregende Zeit für Statistiker, zu diesem Bereich beizutragen.
Jan Kölling schrieb: Ich habe vor kurzem mein Doktorstudium in ... begonnen. Jan Kölling schrieb:
Ich habe vor kurzem meine Doktorarbeit in Bioinformatik begonnen, bei der große Mengen biologischer Daten aus verschiedenen Quellen analysiert werden. Ich versuche, Werkzeuge zu entwickeln, die den Biologen helfen, ihre Fragen effizienter zu beantworten und die Datensätze über ihren ursprünglichen Anreiz hinaus zu untersuchen. Ein großer Teil meiner Arbeit besteht darin, die Vorteile einer besseren Analyse und Visualisierung zu kommunizieren und sich der Fallstricke bewusst zu sein, die die Forschungsergebnisse beeinträchtigen könnten.
Dave schrieb: Ich arbeite in einem Einzelhandelsunternehmen und tage 1 ... Dave schrieb:
Ich arbeite in einem Energieversorgungsunternehmen, und tägliche Nutzungsdaten von 15 Minuten, Wetterdaten, Transkriptionsdaten für das Call Center, Webprotokolldaten sowie die zunehmende Notwendigkeit, diese Daten in einer verteilten Umgebung schnell zu analysieren, veranlassen uns, neue Lösungen zu prüfen . Allein die Intervalldaten betragen etwa 2 GB pro Tag. Einige Regressionen dauern jetzt Wochen auf einem Multicore-Unix-Server, was inakzeptabel ist.
Dale schrieb: Die größte Datenherausforderung, die ich je gesehen habe ... Tal schrieb:
Die größte Datenherausforderung, die ich jemals persönlich erlebt habe, war die Modellierung und Entscheidungsfindung auf den Strommärkten. Der größte US-amerikanische Markt, PJM, verfügt über 10.000 eindeutige Knoten, von denen jeder stündlich (oder höher) Daten ausgibt. Hinzu kommen Temperatur, Kraftstoffmenge, Preisgestaltung und Verfügbarkeit des Generators. Dies bedeutet eine erhebliche Schwierigkeit, ein nützliches Signal für kommerzielle Entscheidungen vom Lärm zu trennen.
Maegen in Boston hat geschrieben: In meiner Firma analysieren wir ... Maegen in Boston schrieb:
In meinem Unternehmen analysieren wir große Mengen sensorbasierter Daten, die in Unternehmensumgebungen erfasst werden. Die In-situ-Natur der Daten bedeutet, dass wir beim Auffinden von Mustern im Rauschen sehr vorsichtig sein müssen und ständig nach ungewöhnlichem Sensorverhalten Ausschau halten müssen. Aufgrund der Art der Daten ist es außerdem schwierig, typische Mustererkennungsalgorithmen standardmäßig anzuwenden - wir müssen unsere Annahmen gründlich prüfen. Bei der Verbesserung von Software und Hardware stehen wir vor der Herausforderung, sicherzustellen, dass unsere Analysen reproduzierbar und (wenn angemessen) projektübergreifend vergleichbar sind.
AP Williams schrieb: Unsere größte Herausforderung ist typischerweise ... AP Williams schrieb:
Unsere größte Herausforderung besteht normalerweise darin, die Injektion unserer Vorurteile in unsere Interpretationen zu vermeiden. Wir analysieren Vertriebs- und Marketingdaten, um die Auswirkungen unserer Aktivitäten auf die Ergebnisse zu bestimmen, aber selten haben wir eine echte Kontrollgruppe. Dies führt zu einer Vielzahl von Herausforderungen sowohl bei der Datenanalyse als auch bei der Sozialisierung unserer Ergebnisse, da diese oft nicht eindeutig sind. Es ist schwierig, die "Drachen" (vorgefasste Meinungen unserer Stakeholder) zu töten.
Shen Ting Ang hat geschrieben: Ich arbeite mit Sprachdaten und da ... Shen Ting Ang schrieb:
Ich arbeite mit Sprachdaten und es gibt noch Fragen, die noch nicht vollständig geklärt sind. Verschiedene Methoden zur Merkmalsextraktion wurden vorgeschlagen und verwendet, aber jede von ihnen hat ihre eigenen nützlichen und weniger nützlichen Eigenschaften. Abhängig von der verwendeten Aufgabe und den verwendeten Methoden ist es normalerweise ein Versuch, die beste Kombination zu ermitteln, und oft gibt es keine allgemein beste Lösung.
Anand Chandarana hat geschrieben: In der Humankapitalanalyse sp ... Anand Chandarana schrieb:
Meine größte Herausforderung im Bereich der Humankapitalanalyse sind Programmbesitzer und andere Stakeholder, die wollen, dass die Daten aus nichts etwas machen. "Müll rein, Müll raus", wie sie sagen. Wenn Sie einen Datensatz (z. B. Daten zur Umfrage zum Engagement) mit einem anderen verknüpfen möchten (z. B. Leistungsbewertungen), muss eine tatsächliche Verbindung zwischen den beiden Daten und einem stetigen Datenfluss bestehen. Daten zur Leistungsbewertung oder zur Erhebung von Engagements, die jährlich oder sogar alle zwei Jahre (im letzteren Fall) erhoben werden, sind nicht sehr hilfreich. Die Daten zu den Engagement-Umfragen sind viel wertvoller, wenn sie vierteljährlich / kontinuierlich über Pulsumfragen erhoben werden. Leistungsbewertungen sind oft so undifferenziert und ungenau, dass sie selten mit anderen Humankapitalkennzahlen korrelieren.
Chris hat geschrieben: Mit Big Data geht Big Responsibility einher. Während ... Chris schrieb:
Mit Big Data geht große Verantwortung einher. Während wir gerne denken, dass wir auf der Analyseseite den Fluss der Ideen kontrollieren, werden immer mehr Ideen da draußen, sie erhalten ein Eigenleben. Ich habe Herausforderungen in meinem Unternehmen, die sicherstellen, dass der Fall, den ich anbringe, von Endbenutzern auf die gleiche Weise gelesen wird, die möglicherweise nie mit mir sprechen, sondern nur einige Folien oder Diagramme aus dem Kontext der umfassenderen Diskussion sehen.
Anna in Indiana schrieb: Mein jetziger und früherer Job ... Anna in Indiana schrieb:
Meine jetzige und meine frühere Tätigkeit drehten sich um riesige Mengen an elektronischen Patientenakten. Es gibt viele Herausforderungen bei der Arbeit mit diesen Daten - wenn Sie versuchen, Daten von 10 Jahren auf einer Karte anzuzeigen, welche Postleitzahl Sie verwenden sollten (und wenn es so aussieht, als ob in einem Gebiet 300% der Bevölkerung angegeben sind die US-Volkszählung!)? Wenn ein Patient bei jedem Besuch ein anderes Rennen meldet, wie bestimmen Sie das zu verwendende Rennen? Wie sammeln wir Daten auf einer Ebene, die aussagekräftig ist und dennoch die Privatsphäre schützt?
Antonio von zu Hause schrieb: Umgang mit Big Data so einfach ... Antonio von zu Hause aus schrieb:
Der Umgang mit Big Data als einfache Einzelpersonen ist sehr schwierig. In einigen Fällen können Web-Tools hilfreich sein. Einmal musste ich Informationen aus einer Webquelle studieren, die im Laufe der Zeit ununterbrochen Daten generierte. Durch das Schreiben eines Google-Skripts und das Einrichten eines zeitgesteuerten Auslösers konnte ich in wenigen Minuten Teilstatistiken in einer Google-Tabelle sammeln und speichern. Dies hat die endgültige Analyse erheblich vereinfacht.
Mike Paulonis hat geschrieben: Log-Dateien von der Computerinfrastruktur ... Mike Paulonis schrieb:
Protokolldateien aus der Computerinfrastruktur wurden häufig ignoriert, entweder weil der Inhalt als von geringem Wert angesehen wird, weil der Inhalt zu unstrukturiert ist oder weil einfach zu viele protokollierte Daten vorhanden sind (was immer weiter wächst). Big-Data-Techniken eignen sich sehr gut für das anspruchsvolle Problem der Protokolldateianalyse und erschließen den Wert auch für unerfahrene Benutzer.
Arved Harding schrieb: Da wir große Datensätze in einem effo ... Arved Harding schrieb:
Wenn wir große Datensätze in Angriff nehmen, um nützliche Informationen zu erhalten, stoßen wir möglicherweise auf Barrieren wie Menschen, die dies seit vielen Jahren im Produktionsumfeld tun. Allein der Abbau von Daten kann ein vergebliches Unterfangen sein. Systematisches Denken kann hilfreich sein: Ermitteln Sie die erforderlichen Daten, wie und wo Sie die Daten erhalten, und reinigen Sie die Daten anschließend. Jetzt können wir mit den großen Computer- und Statistik-Tools von heute mit dem Bergbau beginnen.
Scott Drumwright hat geschrieben: Ich glaube, dass Big Data ein Evo ist ... Scott Drumwright schrieb:
Ich glaube, dass Big Data ein evolutionärer Schritt ist und nicht der neueste Trend der neuen Technologie ist, wie manche meinen. Sie werden sich niemals entscheiden, weniger Daten zu analysieren, wenn Sie auf mehr zugreifen können. Es ist in uns aufgebaut, um die Welt, in der wir leben, vollständig abzubilden und zu erklären. Für mich ist es das erste Mal, dass die nächste Neuerung in der Technologie mit einer Moralwarnung verbunden ist!
Arati Mejdal hat geschrieben: Hallo, Mark. Vielen Dank für Ihren Kommentar. Co ... Arati Mejdal schrieb:
Hallo Mark. Vielen Dank für Ihren Kommentar. Kommentare müssen zwischen 50 und 75 Wörtern sein. Ihre qualifiziert!
Mark Ewing hat geschrieben: Ich war mir nicht sicher, ob der Beitrag gewettet werden sollte ... Markiere Ewing schrieb:
Ich war mir nicht sicher, ob der Beitrag zwischen 50 und 75 Wörtern gewesen wäre oder ob 50 bis 75 Wörter die Mindestreichweite waren. Deshalb habe ich meinen Kommentar auf 75 Wörter gekürzt, um sicher zu sein - ich würde eine Kopie des Buches lieben!
Mark Ewing schrieb: Ich arbeite für eine große internationale ... Markiere Ewing schrieb:
Ich arbeite für ein großes, internationales Unternehmen, und oft sind nur die Daten, die wir intern aus Verkaufs-, Preis- und anderen Systemen generieren, riesig und werden überall gespeichert. Bei der Analyse dieser Systeme haben wir alle entsprechenden Daten gesammelt, korrekt zusammengefügt und beginnen erst dann mit der Analyse. Da ich meine Lösungen für meine Kunden bereitstelle, muss sie auf Geschwindigkeit und Speicherplatz optimiert werden, was nie leicht zu lösen ist.
Arati Mejdal hat geschrieben: Hallo Keith. Vielen Dank für Ihren Kommentar. B ... Arati Mejdal schrieb:
Hallo Keith. Vielen Dank für Ihren Kommentar. Wie Sie den Giveaway-Regeln im Blogbeitrag entnehmen können, gilt dieses Angebot nur für US-Bürger. Wir können kein Buch nach Australien versenden. Es tut uns leid.
Keith bei EAVI hat geschrieben: Stimmen Sie mit den Punkten des Vie ... Keith bei EAVI schrieb:
Stimmen Sie voll und ganz mit den hier angesprochenen Ansichten überein.
Eine der großen Herausforderungen bei der zunehmenden Verwendung von Big Data ist die Demokratisierung. Ich sehe bereits den Vorschlag, dass viel mehr Menschen (die nicht unbedingt in der Verwendung von Zahlen geschult sind) eine Analyse durchführen können, weil es ihnen leichter fällt, Zugang zu erhalten.
Spike bei internen Abfragen darüber, warum diese Nummer nicht mit dieser Nummer übereinstimmt (die eigentlich nicht gleich ist - dh anderer Zeitraum, andere Berechnung).
Ich freue mich nicht wirklich auf eine Reihe von Menschen, die aus denselben Daten und denen, die sich ausbreiten, völlig gegensätzliche Ansichten haben, und dass es keinen analytischen Experten gibt, der die erste Chance hatte, eine Geschichte zu veröffentlichen.
PS. Ich bin in Australien, also wird es wahrscheinlich schwierig sein, ein Buch zu bekommen ...
James Stiebel hat geschrieben: Während Big Data große Chancen bietet ... James Stiebel schrieb:
Big Data bietet zwar großartige Einblicke, bietet jedoch eine größere Anzahl von Problemen, Komplexität und Verwirrung (insbesondere bei Interaktionen). Wenn ich neue Analysten trainiere, vermeide ich Big Data wie die Pest. Kleine Datenregeln
Meine Erfahrung hat gezeigt, dass Little Data viel überschaubarer, freundlicher und wertvoller ist. Mit kleineren Datensätzen finde ich meine Fähigkeit, Variablenkombinationen zu testen, mehrere Datenproben zu simulieren und mehrere Vorhersagemodelle zu erstellen, viel einfacher / schneller. Big Data erfordert viel mehr Zeit für die Datenaufbereitung und -analyse, um Erkenntnisse zu gewinnen. Nicht sicher, ob Big Data den großen Aufwand wert ist.
Kehleboe Gongloe hat geschrieben: 2008 wurde ich gebeten zu organisieren ... Kehleboe Gongloe schrieb:
2008 wurde ich gebeten, eine Arbeitskräfteerhebung für Liberia zu organisieren und durchzuführen. Keine Erfahrungen mit solchen Untersuchungen und keine in Liberia durchgeführte Arbeitskräfteerhebung. Wo und wie man anfängt, war eine schwierige Herausforderung. Unser Retter war die Abteilung für Statistik der Internationalen Arbeitsorganisation. Wir haben die Daten gesammelt und analysiert, aber die Regierung hat die Genehmigung nur erteilt, die Ergebnisse mehr als ein Jahr später zu veröffentlichen. Diese Herausforderung brachte mich wieder in die Schule und ich studiere Statistik. Das gesamte Konzept von Big Data gefällt mir immer mehr, und ich fange an, mich ernsthaft darauf zu neigen.
Sastry Pantula hat geschrieben: Big Data bietet BIG (Busines ... Sastry Pantula schrieb:
Big Data bietet vor allem im internationalen Jahr der Statistiken große Chancen für Unternehmen, Industrie und Behörden. Leider verbergen einige Daten die Daten und machen sie nicht zugänglich, um sie unabhängig zu testen, um zukünftige Problemlöser zu trainieren. Es ist auch notwendig, die Fähigkeit von Statistikern auf der ganzen Welt aufzubauen, um die Nachfrage zu befriedigen.
Wilfredo Salinas hat geschrieben: In meinem Job müssen wir sal ... Wilfredo Salinas schrieb:
In meinem Job müssen wir Verkaufstransaktionen von mehreren hundert Standorten aus analysieren. In unserer Analyse würden wir uns gerne jede Transaktion anschauen, die jede Minute stattfindet, aber die Daten sind so überwältigend, dass wir sie auf wenige Stunden am Tag einschränken müssen. Die zweite Herausforderung besteht darin, diese Daten vom SQL-Server in eine Kalkulationstabelle zu exportieren. Unser aktuelles Limit beträgt nur 1 Million Zeilen. Dies zwingt uns dazu, mehrere Dateisätze nach Wochentagen, Tageszeiten und Ortsangaben zu erstellen. Die einzige Möglichkeit, um aus diesen Big Data-Informationen einen Überblick zu gewinnen, ist das Erstellen von verknüpften Referenzen. In vielen Fällen werden diese Links nicht aktualisiert oder werden schließlich gelöscht. Das kann sehr frustrierend sein.
Robert Lochel schrieb: Die letzten 2 Jahre habe ich als Ins ... Robert Lochel schrieb:
Die letzten 2 Jahre war ich in meinem Schulbezirk als Unterrichtstrainer tätig. Mit dem Aufkommen der Keystone-Prüfungen hier in Pennsylvania besteht die Notwendigkeit, Daten zu den Schülerleistungen während ihres Algebra 1-Kurses zu sammeln. Der Bundesstaat bietet einen Online-Klassenzimmer-Diagnosetest (CDT) an, der Fragen basierend auf den Antworten der Schüler anpasst. Der Test liefert eine Punktzahl, aber wenig prädiktive Korrelation zur tatsächlichen Keystone-Prüfung. Jetzt, da wir unsere erste Runde mit den Schülerleistungsdaten haben, habe ich daran gearbeitet, die Kesytone-Ergebnisse der Schüler mit den CDT-Ergebnissen der Schüler zu vergleichen, um den Schülern, die das CDT nehmen, Feedback zu geben und einen Weg zur Verbesserung zu bieten.
Glenn Waddell hat geschrieben: Ich bin Mathematiklehrer und AP Stats Tee ... Glenn Waddell schrieb:
Ich bin Mathematiklehrerin und AP Stats Lehrerin an einer öffentlichen High School. Die Menge an Daten, die wir generieren, ist riesig, aber niemand hat jemals Zeit oder Energie, um wirklich durchzugehen und zu sehen, was wir anders machen können, was wir verbessern können oder welche Trends oder Muster in den Daten vorhanden sind. Ich kann unterrichten oder Daten analysieren, aber ich kann nicht beides! Ich versuche immer zu lernen, beides besser zu machen.
Chris Bodily schrieb: Ich stoße oft auf Situationen, in denen Bi ... Chris Bodily schrieb:
Ich stoße oft auf Situationen, in denen Big Data zu großen Problemen führt. Oft werden Analysen versucht, indem die Daten in einer Kalkulationstabelle gesammelt werden, um sie anzuzeigen und Unterdatensätze zu identifizieren. In anderen Fällen bedeutet Big Data große Berichte mit Dutzenden oder sogar Hunderten von Plots und Tabellen. Darüber hinaus verbringen Einzelpersonen Stunden in dem Prozess und erhalten am Ende eine Ausgabe, die immer noch nicht die erforderlichen Einsichten und Anleitungen bietet. Mit den richtigen Tools ist eine korrekte Datenvalidierung möglich und eine effektive Analyse führt zum Lernen. Sogar das Visualisieren von Daten kann vor jeder anderen Analyse Hinweise und Informationen liefern.
