In der letzten Zeit Statistisch gesehen Das Eröffnungsplenum von David Hand über die Entmystifizierung von maschinellem Lernen und künstlicher Intelligenz, dem renommierten Autor, Statistiker und Pädagogen, bereitete die Bühne für eine sehr interessante Diskussion mit unseren Experten: Cameron Willden, Statistiker bei WL Blut; Sam Gardner, Gründer von Wildstats Consulting; und Jason Wiggins, leitender Systemingenieur bei JMP.
In dem vorherigen Post Unsere Diskussionsteilnehmer beantworteten Fragen zu Fachwissen und Schulungen, die wir während der Livestream-Veranstaltung erhalten haben.In diesem Beitrag teilen sie ihre Gedanken zu Fragen zu Daten und Modellierung.Die erste Frage bezieht sich treffend auf dunkle Daten, wie der Name von David Hands neuestem Buch lautet. Dunkle Daten: Warum das, was Sie nicht wissen, wichtig ist (sehr empfehlenswert).
Das Gegenteil von dunklen Daten sind helle Daten. Ist das nicht eine Seltenheit?
Sam: Oft stellen sie in den frühen Phasen der datenwissenschaftlichen Reise eines Unternehmens fest, dass sie viele Probleme mit dunklen Daten haben.Das Hauptproblem, das gelöst werden muss, ist, wie man die richtigen Daten erhält. Unternehmen, die Probleme wirklich lösen und gut lösen möchten, verfügen über Ansätze, Strategien und Systeme, mit denen sie „helle“ und gute Daten generieren und sammeln können.
Kann JMP nur die fehlenden Daten "anpassen", z. B. mit Support Vector Machines oder GenReg? Um die Struktur der fehlenden Daten irgendwie mit den vorhandenen Daten zu kombinieren - eine Art inverse Anpassung?Dies würde sich von "informativ fehlen" unterscheiden.
Jason: Ich würde im Dienstprogramm "Fehlende Werte untersuchen" die multivariate SVD-Imputation und die automatisierte Datenimputation untersuchen und prüfen, ob diese das tun, was Sie sich erhoffen.
Sam: JMP und JMP Pro kann mehrere Imputationen durchführen, die auf der Korrelationsstruktur der Daten basieren.Siehe die Online-Hilfe für Fehlende Daten unterstellen und Entdecken Sie fehlende Werte .
Welche Art von maschinellem Lernmodell können wir verwenden, um Multilabel-Daten zu verarbeiten, die sich nicht gegenseitig ausschließen?
Cameron: Wenn ich Sie richtig verstehe, können Sie dies einfach durch mehrere Antworten erreichen.Beispielsweise kann ein Modell verarbeiten und ein Bild erstellen, um jemanden als alt oder jung und getrennt als männlich und weiblich zu klassifizieren.
Was ist der beste Weg, um eine prädiktive Modellierung für eine oder mehrere Prozessausgaben mit hoher Variabilität der Prozessdaten zu erreichen?
Cameron: Der beste Weg, um eine hohe Variabilität zu überwinden, ist mit einem großen Datenvolumen, z. B. hat der Standardfehler eines Mittelwerts die Quadratwurzel der Stichprobengröße im Nenner.
Jason: Identifizieren Sie die Ursachen für Prozessvariationen. investieren Sie in die kontinuierliche Messung und Erfassung von Daten. Wie viele kritische Prozesseingaben werden in Ihrem Prozess gemessen? Gibt es genug, um die Variation der Ausgänge angemessen zu beschreiben? Ich habe an Projekten teilgenommen und diese geleitet, um solche Probleme zu verstehen.Sie können schwierig sein, aber sie sind notwendig.Modellieren ist keine Magie. Sie benötigen gute Informationen, um erfolgreich zu sein. Ich würde hier zuerst investieren, bevor ich in esoterische Modelle eintauche.
Wenn Sie ein neues Modell anhand eines kleinen Datensatzes trainieren möchten, um die Belohnungen früher zu erhalten (Geld sparen), was sind einige gute, praktische Tipps dafür - auch wenn Sie ein weniger als perfektes Modell verwenden möchten, aber eines, das " gut genug."
Cameron: Im Bereich des tiefen Lernens bietet Transferlernen eine Möglichkeit, mit weniger viel mehr zu erreichen.Entworfene Experimente sind eine weitere Möglichkeit, mehr Informationen über Beziehungen pro Datenpunkt zu erhalten, da Sie die Punkte so planen, dass die Menge redundanter Informationen minimiert wird.Das heißt, Sie haben im Allgemeinen eine sehr geringe Korrelation zwischen Faktoren und damit Varianzinflationsfaktoren gleich oder sehr nahe bei 1.
Jason: Strategien wie „Auslassen“ oder k-fache Kreuzvalidierung können hilfreich sein, wenn ein Modell mit kleineren Datensätzen trainiert wird, um eine Überanpassung zu vermeiden.Ich hatte Erfolg mit bestraften Regressionsmodellen für kleine Datensätze, die beide Kreuzvalidierungsstrategien verwendeten.Wie oft checken Sie beim Erstellen eines Modells die tatsächlichen und die vorhergesagten Werte ein? Wenn Ihre Vorhersagen geeignet sind, um Geschäftsentscheidungen zu treffen, ist das Modell möglicherweise „gut genug“.
Wie viel Prozent der Zeit benötigen Sie Ihrer Erfahrung nach, um ein kontinuierliches / iteratives Lernmodell im Vergleich zu einem Offline- / einmaligen Modell anzuwenden, um Probleme zu lösen?Was sind die Vor- und Nachteile für jeden?
Cameron: Das wird je nach Anwendungsbereich sehr unterschiedlich sein. Wenn ich die Nachfrage nach einem Produkt anhand von Frühindikatoren modelliere, sollte ich unbedingt erwarten, dass sich diese Beziehungen im Laufe der Zeit entwickeln. Es wäre sehr vorteilhaft, wenn sich mein produziertes Modell im Laufe der Zeit weiterentwickelt und anpasst. Wenn ich Maschinenausgaben basierend auf einer Reihe physikalischer Eigenschaften modelliere, bleiben die Beziehungen wahrscheinlich über die Zeit stabil, und ich muss mich nicht so sehr um das Online-Lernen kümmern. Die Ausnahme könnte sein, wenn ich möchte, dass die Parameterschätzungen meines Modells im Laufe der Zeit präziser werden, wenn mehr Daten eingehen.
Wenn Sie nicht da sind, um den Prozess zu untersuchen / zu beobachten, können Sie die Ursache des Problems übersehen. COVID erschwert dies ebenfalls. Was tun wir als Forscher / Problemlöser / Datenwissenschaftler, wenn wir nicht "da" sein können, um die Daten zu sammeln?
Cameron: Gute Frage, und das einzige, was ich wirklich sagen kann, ist herauszufinden, wie die Personen, die die Daten gesammelt haben, in die Analyse der Daten einbezogen werden können. Selbst wenn sie keinen analytischen Hintergrund haben, können sie eine grafische Analyse wahrscheinlich gut genug verstehen, um an einer Diskussion teilzunehmen und Erkenntnisse aus ihrer Erfahrung aus erster Hand zu gewinnen, um zur Diskussion und Interpretation beizutragen.
Jason: Das ist eine schwierige Frage!Gibt es virtuelle Tools, mit denen Sie den Prozess anzeigen können? Wer führt den Prozess aus? Können sie geschult werden, um Beobachtungen über den Prozess zu machen, die Probleme erklären können, die in den Daten auftreten?Können Sie virtuelle Prozessspaziergänge durchführen?
Eine Fülle von Daten kann zu der falschen Sicherheit führen, dass die Daten unvoreingenommen sind.Was sind die Minderungsschritte bei der Verwendung einer Fülle von voreingenommenen Daten, während neue kontrafaktische Daten eintreffen?
Sam: Testen Sie Ihre Modelle.Überprüfen Sie immer, ob das von Ihnen entwickelte Modell noch gute Vorhersagen liefert.Stellen Sie sicher, dass die „Unterstützung“ des Modells (der Bereich der Prädiktorvariablen, die zum Erstellen des Modells verwendet werden) gut verstanden wird, und überprüfen Sie, ob neue Situationen, in denen das Modell verwendet wird, außerhalb dieses „Unterstützungsbereichs“ Vorhersagen treffen.Wenn Sie genügend neue Daten gesammelt haben, können die Modelle umgeschult werden. Sie sollten daher das alte Modell mit dem neuen Modell vergleichen, um festzustellen, ob sie ähnliche oder unterschiedliche Vorhersagen treffen.
Welche Art von Computer / Maschine wird für die Arbeit an AI / ML-Modellen benötigt? Kann es auf einem Laptop mit viel RAM gemacht werden?
Cameron: Es hängt wirklich davon ab, was Sie tun. Nicht alle ML werden mit riesigen Datenmengen und Modellen durchgeführt, die Millionen von Parametern enthalten. Sie haben wahrscheinlich genug Rechenleistung auf Ihrem Smartphone, um viel AI / ML zu machen. Sobald Sie mit Datensätzen arbeiten, die sogar mehrere zehn Gigabyte groß sind, stoßen Sie möglicherweise auf die Einschränkungen, die Sie auf einem PC ausführen können, selbst wenn Sie die Daten stapelweise verarbeiten. Wenn Sie tiefgreifend mit Bildern oder Videos lernen, werden Parallel- und GPU-Computing sehr wichtig. Zu diesem Zeitpunkt verwenden Sie wahrscheinlich gemeinsam genutzte Computerressourcen in Ihrem Unternehmen oder Cloud-basierte Dienste. Google Colaboratory ist eine kostenlose und einfache Möglichkeit, auf GPU-Computing zuzugreifen, um tiefes Lernen zu erlernen.Sie können auch für den Zugriff auf höhere Stufen der GPU-Rechenleistung für diesen Dienst bezahlen.
Jason: Welche Art von ML-Modellen möchten Sie verwenden?Wie viele Daten haben Sie? Viele der Modellierungsübungen, die ich durchgeführt habe, wurden auf einer Laptop-Workstation durchgeführt: Quad-Core-Prozessor, 32 GB RAM usw. Ich habe an einem Fehlererkennungsprojekt gearbeitet, das wir verwendet haben Faltungsneurale Netze Herstellungsfehler aus laufenden Kamera-Feeds zu identifizieren. Wir haben benutzerdefinierte High-End-Gaming-PCs gebaut, um dieses Problem zu lösen, und haben eine Serverbereitstellung geprüft, bevor ich das Projekt verlassen habe. Der größte Unterschied zwischen meiner Laptop-Workstation und dem Spielautomaten ist die Grafikkarte. Wenn Sie eine Bildanalyse und / oder GPU-Datenverarbeitung durchführen möchten, reicht eine Laptop-Grafikkarte möglicherweise nicht aus. Wenn Geschwindigkeit und Speicher ein Problem darstellen, können Sie einen Server verwenden oder verteiltes Computing untersuchen.
Welches Werkzeug / welche Technik (Reinigen, Kombinieren, Modellieren oder auf andere Weise) hat Ihnen in Ihrer Karriere am meisten geholfen, sich zu entwickeln?
Cameron: Neugierde, Bereitschaft, harte Dinge zu versuchen, hartnäckige Entschlossenheit, Wege zu finden, um Hindernisse zu überwinden, und Lernen durch Handeln waren weitaus wichtiger als alle spezifischen Werkzeuge und Techniken. Unterwegs holen Sie ab, was Sie brauchen.
Jason: Vor JMP Ich glaube, ein Tool, das mir geholfen hat, war die Nutzung von Arrays und Matrizen für die Datenbereinigung.Es ist erstaunlich, was eine kleine Matrixmathematik, Matrixmanipulation und / oder logische Indizierung in einem Skript bewirken kann, um Probleme in Daten zu finden und zu beheben. Reguläre Ausdrücke sind ein weiteres Tool, das in meiner Karriere einen großen Unterschied in Bezug auf das Bereinigen / Mungieren von Textdaten gemacht hat. Jetzt, wo wir Recode haben, ist dies mein Lieblingswerkzeug zur Datenbereinigung!Es unterstützt reguläre Ausdrücke für Text und kann Probleme in numerischen Daten leicht finden. Da Sie die Ergebnisse als Formel speichern können, führt die Neukodierung die meisten Skripte, die ich früher ausgeführt habe, automatisch aus.Die Dienstprogramme Explore Outliers und Explore Patterns erledigen auch eine Menge von dem, was ich früher mit Skripten für die Datenbereinigung verwendet habe. Alle sparen viel Zeit!Vor allem würde ich sagen, dass die Verwendung von Daten in allen Phasen des analytischen Workflows, um die Geschichte hinter Daten freizuschalten, den größten Einfluss auf meine Karriere hatte.
Sam: Ehrlich gesagt ist es wahrscheinlich am effektivsten, gute Diagramme von Daten zu erstellen. Wenn Sie es in ein Bild einfügen, wird es die Geschichte der Daten und das Problem erzählen. Das zweitwichtigste Werkzeug ist das Schreiben: die Ergebnisse einer Analyse kommunizieren, das Gelernte zusammenfassen und Empfehlungen für weitere Maßnahmen abgeben. Wenn Sie es nicht aufschreiben, werden sich die Leute nicht erinnern oder wissen, was passiert ist.
Wie können Sie die chemische oder pharmazeutische Industrie davon überzeugen, dass ihre Prozesse (Betrieb und Kontrolle) auf mechanistischen Modellen basieren, um in Black-Box-Alternativen zu springen?Sind hybride Ansätze der erste Schritt?
Cameron: Halten die mechanistischen Modelle sie irgendwie zurück? Für mich ist ein mechanistisches Modell immer dann vorzuziehen, wenn es in Reichweite ist. So wie Sie keine Physikausbildung benötigen, um zu verstehen, was passiert, wenn Sie einen Ball werfen, kann ein Computer anhand vieler Beispiele lernen, wie etwas funktioniert. Wenn Sie jedoch alle physikalischen Berechnungen und Parameterwerte kennen, benötigen Sie, wenn überhaupt, nur wenige Daten, um genaue Vorhersagen zu treffen. Je besser Sie eine Situation nach ersten Prinzipien aufteilen, desto weniger Daten benötigen Sie und desto weniger müssen Sie sich auch um die Extrapolation kümmern.Datengesteuerte Modelle (ich verwende das anstelle von „Black Box“) sind unglaublich nützlich, um Wissenslücken zu umgehen oder sich über Komplexitäten hinweg anzunähern. Wenn es Monate dauern würde, eine 100% ige Antwort zu erhalten, Sie jedoch ein datengesteuertes Modell verwenden können, um jetzt eine 95% ige Antwort zu erhalten, was würden Sie wählen? Was sind die Opportunitätskosten bei der ersten Option (überlegen Sie, was Sie mit all dieser zusätzlichen Zeit anfangen könnten)?
Wir hatten Fragen dazu, welches Headset Sam verwendete (ein Plantronics 655 DSP) und wie man sein Buch bekommt.Das E-Book kann direkt bei bestellt werden SAS Press und Ausdrucke sind auf verfügbar Amazonas .Die zweite Ausgabe ist in Bearbeitung und sollte 2021 verfügbar sein!
Sie können die On-Demand-Version dieser Episode von ansehen Statistisch gesehen und lesen Sie eine Auszug aus dem Wissenschaftskapitel von Dunkle Daten.Wenn Sie in der Lage sind, alle dunklen Daten zu kategorisieren und besser damit umzugehen, werden Ihre Modelle viel nützlicher. Wir danken unseren Zuschauern, dass sie so gute Fragen gestellt haben, und wir danken Cameron, Sam und Jason, dass sie mehr von ihrem Fachwissen geteilt haben!
