In den letzten Statistisch gesehen über die Entmystifizierung von maschinellem Lernen und künstlicher Intelligenz bereitete das Eröffnungsplenum des renommierten Autors, Statistikers und Pädagogen David Hand die Bühne für einige sehr interessante Diskussionen mit unseren Experten auf dem Podium: Cameron Willden, Statistiker bei WL Blut; Sam Gardner, Gründer von Wildstats Consulting; und Jason Wiggins, leitender Systemingenieur bei JMP.
In dem vorherigen Post , beantworteten unsere Diskussionsteilnehmer Fragen zu Fachwissen und Schulungen, die wir während der Livestream-Veranstaltung erhalten haben.In diesem Beitrag teilen sie ihre Gedanken zu Fragen zu Daten und Modellierung.Die erste Frage bezieht sich treffend auf Dark Data, wie das neueste Buch von David Hand heißt. Dark Data: Warum das, was Sie nicht wissen, wichtig ist (sehr empfehlenswert).
Das Gegenteil von dunklen Daten sind helle Daten. Ist das nicht eine Seltenheit?
Sam: Häufig entdecken sie in den frühen Stadien der Data-Science-Reise eines Unternehmens, dass sie viele Dark-Data-Probleme haben.Das primäre Problem, das gelöst werden muss, besteht darin, die richtigen Daten zu erhalten. Organisationen, die Probleme wirklich lösen wollen – und sie gut lösen – werden Ansätze, Strategien und Systeme haben, mit denen sie „helle“ und gute Daten generieren und sammeln können.
Kann JMP nur die fehlenden Daten "anpassen", zB mit Support Vector Machines oder GenReg? Irgendwie die Struktur der fehlenden Daten mit den vorhandenen Daten zu verwenden, um sie anzupassen – so etwas wie eine inverse Anpassung?Dies wäre etwas anderes als "informatives Fehlen".
Jason: Ich würde die multivariate SVD-Imputation und die automatisierte Datenimputation im Dienstprogramm Explore Missing Values überprüfen und sehen, ob diese das tun, was Sie sich erhoffen.
Sam: JMP und JMP Pro kann mehrere Imputationen durchführen, die auf der Korrelationsstruktur der Daten basieren.Siehe die Online-Hilfe für Fehlende Daten imputieren und Untersuchen Sie fehlende Werte .
Welche Art von maschinellem Lernmodell können wir verwenden, um Multilabel-Daten anzugehen, die sich nicht gegenseitig ausschließen?
Cameron: Wenn ich Sie richtig verstehe, können Sie das einfach erreichen, indem Sie mehrere Antworten haben.Zum Beispiel könnte ein Modell jemanden verarbeiten und abbilden, um ihn als alt oder jung und getrennt als männlich und weiblich zu klassifizieren.
Was ist der beste Weg, um die Vorhersagemodellierung für Prozessausgaben mit hoher Variabilität in den Prozessdaten anzugehen?
Cameron: Hohe Variabilität lässt sich am besten mit einem großen Datenvolumen überwinden, z. B. hat der Standardfehler eines Mittelwerts die Quadratwurzel des Stichprobenumfangs im Nenner.
Jason: Identifizieren Sie Quellen für Prozessabweichungen; Investieren Sie in deren kontinuierliche Messung und Erfassung von Daten. Wie viele kritische Prozesseingaben werden in Ihrem Prozess gemessen? Gibt es genug, um Variationen in den Ausgängen angemessen zu beschreiben? Ich habe an Projekten teilgenommen und diese geleitet, die darauf abzielten, Probleme wie dieses zu verstehen.Sie können knifflig sein, aber sie sind notwendig.Modeln ist keine Zauberei. Sie brauchen gute Informationen, um erfolgreich zu sein. Ich würde hier zuerst investieren, bevor ich in esoterische Modelle eintauche.
Wenn Sie ein neues Modell mit einem kleinen Datensatz trainieren möchten, um die Belohnungen früher zu erhalten (Geld sparen), was sind einige gute, praktische Tipps dafür – auch wenn es darum geht, ein nicht perfektes Modell zu verwenden, aber eines, das " gut genug."
Cameron: Im Bereich Deep Learning bietet Transfer Learning eine Möglichkeit, mit weniger viel mehr zu erreichen.Entworfene Experimente sind eine weitere Möglichkeit, mehr Informationen über Beziehungen pro Datenpunkt zu erhalten, da Sie die Punkte so planen, dass die Menge redundanter Informationen minimiert wird.Das heißt, Sie haben im Allgemeinen eine sehr geringe Korrelation zwischen Faktoren und daher Varianzinflationsfaktoren, die gleich oder sehr nahe bei 1 liegen.
Jason: Strategien wie „eins weglassen“ oder k-fache Kreuzvalidierung können nützlich sein, wenn ein Modell mit kleineren Datensätzen trainiert wird, um eine Überanpassung zu vermeiden.Ich hatte Erfolg mit bestraften Regressionsmodellen für kleine Datensätze unter Verwendung beider Kreuzvalidierungsstrategien.Wenn Sie ein Modell erstellen, wie oft überprüfen Sie die tatsächlichen Ergebnisse im Vergleich zu den Vorhersagen? Wenn Ihre Vorhersagen geeignet sind, Geschäftsentscheidungen zu treffen, ist das Modell möglicherweise „gut genug“.
Wie hoch ist Ihrer Erfahrung nach der Prozentsatz der Zeit, in der Sie ein kontinuierliches/iteratives Lernmodell im Vergleich zu einem Offline-/einmaligen Modell anwenden müssen, um Probleme zu lösen?Was sind jeweils die Vor- und Nachteile?
Cameron: Das wird je nach Einsatzgebiet sehr unterschiedlich sein. Wenn ich die Nachfrage nach einem Produkt auf der Grundlage von Frühindikatoren modelliere, sollte ich unbedingt damit rechnen, dass sich diese Beziehungen im Laufe der Zeit weiterentwickeln. Es wäre sehr vorteilhaft, wenn sich mein Produktionsmodell im Laufe der Zeit weiterentwickelt und anpasst. Wenn ich Maschinenausgaben auf der Grundlage einer Reihe physikalischer Eigenschaften modelliere, bleiben die Beziehungen wahrscheinlich im Laufe der Zeit stabil, und ich muss mich nicht so sehr um das Online-Lernen kümmern. Die Ausnahme könnte sein, wenn ich möchte, dass die Parameterschätzungen meines Modells im Laufe der Zeit genauer werden, wenn mehr Daten eingehen.
Wenn Sie nicht da sind, um den Prozess zu untersuchen/zu beobachten, können Sie die Ursache des Problems übersehen; Außerdem erschwert COVID dies. Was tun wir als Forscher/Problemlöser/Datenwissenschaftler, wenn wir nicht „vor Ort“ sein können, um die Daten zu sammeln?
Cameron: Gute Frage, und das Einzige, was mir wirklich einfällt, ist herauszufinden, wie man die Personen, die die Daten gesammelt haben, in die Analyse der Daten einbeziehen kann. Selbst wenn sie keinen analytischen Hintergrund haben, können sie eine grafische Analyse wahrscheinlich gut genug verstehen, um an einer Diskussion teilzunehmen, und Erkenntnisse aus ihrer Erfahrung aus erster Hand einbringen, um zur Diskussion und Interpretation beizutragen.
Jason: Das ist eine harte Nuss!Gibt es virtuelle Tools, mit denen Sie den Prozess sehen können? Wer leitet den Prozess? Können sie trainiert werden, Beobachtungen über den Prozess zu machen, die Probleme erklären können, die in den Daten auftauchen?Können Sie virtuelle Process Walks machen?
Die Fülle an Daten kann zu der falschen Sicherheit führen, dass die Daten unvoreingenommen sind.Was sind die Maßnahmen zur Minderung der Verwendung einer Fülle von voreingenommenen Daten, während neue kontrafaktische Daten eintreffen?
Sam: Testen Sie Ihre Modelle.Achten Sie immer darauf, ob das von Ihnen entwickelte Modell immer noch gute Vorhersagen macht.Stellen Sie sicher, dass die „Unterstützung“ des Modells (der Bereich der zum Erstellen des Modells verwendeten Prädiktorvariablen) gut verstanden ist, und überprüfen Sie, ob neue Situationen, die das Modell verwenden, außerhalb dieses „Unterstützung“-Bereichs vorhersagen.Wenn Sie genügend neue Daten gesammelt haben, können die Modelle neu trainiert werden, daher sollten Sie das alte Modell mit dem neuen Modell vergleichen, um zu sehen, ob sie ähnliche oder unterschiedliche Vorhersagen treffen.
Welche Art von Computer/Maschine wird für die Arbeit an KI/ML-Modellen benötigt? Kann es auf einem Laptop mit ausreichend RAM durchgeführt werden?
Cameron: Es hängt wirklich davon ab, was Sie tun. Nicht jedes ML wird mit riesigen Datensätzen und Modellen durchgeführt, die Millionen von Parametern enthalten. Sie haben wahrscheinlich genug Rechenleistung auf Ihrem Smartphone, um viel KI/ML zu machen. Sobald Sie anfangen, mit Datensätzen zu arbeiten, die sogar mehrere zehn Gigabyte groß sind, stoßen Sie möglicherweise auf die Grenzen dessen, was Sie auf einem PC tun können, selbst wenn Sie die Daten in Stapeln verarbeiten. Wenn Sie Deep Learning mit Bildern oder Videos betreiben, werden Parallel- und GPU-Computing sehr wichtig; Zu diesem Zeitpunkt verwenden Sie wahrscheinlich gemeinsam genutzte Computerressourcen innerhalb Ihres Unternehmens oder Cloud-basierte Dienste. Google Colaboratory ist eine kostenlose und einfache Möglichkeit, auf GPU-Computing für Deep Learning zuzugreifen.Sie können für diesen Dienst auch für den Zugriff auf höhere Ebenen der GPU-Rechenleistung bezahlen.
Jason: Welche Art von ML-Modellen möchten Sie verwenden?Wie viele Daten haben Sie? Viele der von mir durchgeführten Modellierungsübungen wurden auf einer Laptop-Workstation durchgeführt: Quad-Core-Prozessor, 32 GB RAM usw. Ich habe an einem Fehlererkennungsprojekt gearbeitet, bei dem wir verwendet haben Faltungsneuronale Netze Herstellungsfehler anhand von Kameraaufnahmen im Prozess zu identifizieren. Wir haben kundenspezifische High-End-Gaming-PCs gebaut, um dieses Problem anzugehen, und prüften eine Serverbereitstellung, bevor ich das Projekt verließ. Der größte Unterschied zwischen meiner Laptop-Workstation und dem Spielautomaten ist die Grafikkarte. Wenn Sie Bildanalysen und/oder GPU-Computing planen, reicht eine Laptop-Grafikkarte möglicherweise nicht aus. Wenn Geschwindigkeit und Arbeitsspeicher ein Problem sind, sollten Sie einen Server verwenden oder verteiltes Computing untersuchen.
Welches Werkzeug/welche Technik (Reinigen, Kombinieren, Modellieren oder auf andere Weise) hat Ihnen bei Ihrer beruflichen Entwicklung am meisten geholfen?
Cameron: Neugierde, die Bereitschaft, harte Dinge auszuprobieren, die hartnäckige Entschlossenheit, Wege zur Überwindung von Hindernissen zu finden, und Learning by Doing waren weitaus wichtiger als irgendwelche spezifischen Werkzeuge und Techniken. Unterwegs holst du, was du brauchst.
Jason: Vor JMP hatte das Dienstprogramm Recode, ich denke, ein Tool, das mir geholfen hat, war die Nutzung von Arrays und Matrizen für die Datenbereinigung.Es ist erstaunlich, was ein wenig Matrixmathematik, Matrixmanipulation und/oder logische Indizierung in einem Skript bewirken können, um Probleme in Daten zu finden und zu beheben. Reguläre Ausdrücke sind ein weiteres Tool, das einen großen Unterschied in meiner Karriere in Bezug auf das Bereinigen/Munging von Textdaten gemacht hat. Jetzt, da wir Recode haben, ist dies mein Lieblings-Datenreinigungstool!Es unterstützt reguläre Ausdrücke für Text und kann problemlos Probleme in numerischen Daten finden. Da Sie die Ergebnisse als Formel speichern können, übernimmt recode automatisch den größten Teil der Skripterstellung, die ich früher gemacht habe.Die Dienstprogramme „Explore Outliers“ und „Explore Patterns“ machen auch vieles, was ich früher mit Skripten zur Datenbereinigung gemacht habe. Alle sind große Zeitsparer!Vor allem würde ich sagen, dass die Nutzung von Daten in allen Phasen des analytischen Workflows, um die Geschichte hinter den Daten zu entschlüsseln, den größten Einfluss auf meine Karriere hatte.
Sam: Ehrlich gesagt ist das Erstellen guter Datendiagramme wahrscheinlich das Effektivste, was ich tun kann. Wenn Sie es in ein Bild einfügen, wird es die Geschichte der Daten und des Problems erzählen. Das zweitwichtigste Werkzeug ist das Schreiben: die Ergebnisse einer Analyse kommunizieren, das Gelernte zusammenfassen und Empfehlungen für das weitere Vorgehen geben. Wenn Sie es nicht aufschreiben, werden sich die Leute nicht erinnern oder wissen, was passiert ist.
Wie können Sie chemische oder pharmazeutische Industrien, die ihre Prozesse (Betrieb und Steuerung) auf mechanistischen Modellen basieren, davon überzeugen, in Black-Box-Alternativen einzusteigen?Sind hybride Ansätze der erste Schritt?
Cameron: Halten die mechanistischen Modelle sie in irgendeiner Weise zurück? Für mich ist ein mechanistisches Modell immer dann vorzuziehen, wenn es gut erreichbar ist. So wie Sie keine Physikausbildung brauchen, um zu verstehen, was passiert, wenn Sie einen Ball werfen, kann ein Computer lernen, wie etwas funktioniert, indem er viele Beispiele sieht. Wenn Sie jedoch alle physikalischen Berechnungen und Parameterwerte kennen, benötigen Sie, wenn überhaupt, nur wenige Daten, um genaue Vorhersagen zu treffen. Je besser Sie eine Situation auf die Grundprinzipien herunterbrechen, desto weniger Daten benötigen Sie und desto weniger müssen Sie sich auch um die Extrapolation kümmern.Datengesteuerte Modelle (ich werde das eher als „Black Box“ verwenden) sind unglaublich nützlich, um Wissenslücken zu umgehen oder sich über Komplexitäten hinweg anzunähern. Wenn es Monate dauern würde, eine 100-prozentige Antwort zu erhalten, Sie aber ein datengesteuertes Modell verwenden können, um sofort eine 95-prozentige Antwort zu erhalten, was würden Sie wählen? Wie hoch sind die Opportunitätskosten bei der ersten Option (überlegen Sie, was Sie mit all dieser zusätzlichen Zeit tun könnten)?
Wir hatten Fragen dazu, welches Headset Sam verwendet (ein Plantronics 655 DSP) und wie man sein Buch bekommt.Das E-Book kann direkt bei bestellt werden SAS-Presse und gedruckte Exemplare sind verfügbar unter Amazonas .Die zweite Auflage ist in Arbeit und soll 2021 erhältlich sein!
Sie können die On-Demand-Version dieser Folge von ansehen Statistisch gesehen und lesen Sie ein Auszug aus dem naturwissenschaftlichen Kapitel von Dunkle Daten.Wenn Sie in der Lage sind, all die dunklen Daten zu kategorisieren und besser damit umzugehen, werden Ihre Modelle viel nützlicher. Wir danken unseren Zuschauern, dass sie so gute Fragen gestellt haben, und wir danken Cameron, Sam und Jason, dass sie mehr von ihrem Fachwissen geteilt haben!
