Bei multivariaten Methoden müssen Sie etwas anders machen, wenn Sie über umfangreiche Daten (viele Tausende von Spalten) verfügen.
Die Achillesferse für die traditionellen Ansätze für breite Daten ist, dass sie mit einer Kovarianzmatrix beginnen, die mit dem Quadrat der Spaltenanzahl wächst. Die Genomforschung hat zum Beispiel weitreichende Daten:
In einer Genomics-Studie gibt es 10.787 Genexpressionssäulen, obwohl nur 230 Zeilen vorhanden sind. Diese Kovarianzmatrix hat mehr als 58 Millionen Elemente und benötigt 465 MB Speicher.Eine weitere Studie, an der wir arbeiten, hat bei 249 Individuen 49.041 Gene. Dies führt zu einer Kovarianzmatrix, die 9,6 GB Speicher benötigt.Eine weitere Studie verfügt über 1.824.184 Gensäulen, die eine Kovarianzmatrix von 13,3 TB ergeben. Computer haben einfach nicht so viel Speicher - tatsächlich haben sie nicht so viel Speicherplatz.Selbst wenn Sie den Speicher für diese weitreichenden Probleme haben, würde die Berechnung der Kovarianzmatrix in der Größenordnung von n * p sehr lange dauern 2 , wobei n die Anzahl der Zeilen und p die Anzahl der Spalten ist. Darüber hinaus wird es noch schlimmer, wenn Sie die Kovarianzmatrix invertieren müssen, was in der Größenordnung von p kostet 3 . Darüber hinaus ist die Kovarianzmatrix sehr singulär, da in den Daten weit weniger Zeilen als Spalten vorhanden sind.
Sie würden also denken, dass multivariate Methoden für diese Situationen unpraktisch oder unmöglich sind. Glücklicherweise gibt es noch einen anderen Weg, der große Probleme nicht nur praktisch macht, sondern auch recht schnell, aber dieselben Antworten liefert, die Sie mit einer riesigen Kovarianzmatrix erhalten würden.
Die Anzahl der effektiven Dimensionen im multivariaten Raum liegt in der Größenordnung der Anzahl der Zeilen, da diese viel kleiner als die Anzahl der Spalten ist. Alle Variationen in dieser breiten Matrix können durch die Hauptkomponenten dargestellt werden, dh diejenigen, die der positiven Varianz zugeordnet sind, dh Eigenwerte, die nicht Null sind. Es gibt eine andere Möglichkeit, die Hauptkomponenten mithilfe der Singulärwertzerlegung der (standardisierten) Daten zu erhalten. Da Sie sich im Hauptkomponentenraum befinden, ist die Dimension dieser Hauptkomponenten klein. Tatsächlich vereinfachen sich alle Berechnungen, da die Kovarianzmatrix der Hauptkomponenten diagonal ist, was zu invertieren trivial ist.
Betrachten wir zum Beispiel diesen Genomdatensatz mit 1.824.184 Spalten in 249 Zeilen. Ich konnte die Hauptkomponenten dieser Daten mit JMP 12 auf meinem 6-Core Mac Pro in nur 94 Minuten erstellen. Andersherum wäre eindeutig unmöglich gewesen.
Bei der Diskriminanzanalyse besteht die Hauptaufgabe darin, die Entfernung von jedem Punkt zum (multivariaten) Mittelwert jeder Gruppe zu berechnen. Diese Entfernung ist jedoch nicht die einfache euklidische Entfernung, sondern eine multivariate Form der Entfernung, die als Mahalanobis-Entfernung bezeichnet wird und die inverse Kovarianzmatrix verwendet.
Denken Sie jedoch an die standardisierten Daten - die Hauptkomponenten sind dieselben Daten, werden jedoch in verschiedenen Winkeln gedreht. Der Unterschied besteht darin, dass die Originaldaten 10.000 Spalten haben können, die Hauptkomponenten jedoch nur einige Hundert im breiten Datenfall. Wenn wir also Entfernungen zwischen Punkten oder zwischen einem Punkt und einem multivariaten Mittelwert messen möchten ( Schwerpunkt ), dann können wir es in weit weniger Dimensionen schaffen. Nicht nur das, auch die Hauptkoordinaten sind nicht korreliert, was bedeutet, dass die Matrix in der Mitte der Mahalanobis-Abstandsberechnungen diagonal ist, so dass der Abstand nur eine Summe von Quadraten der einzelnen Koordinatenabstände ist.
Wir nehmen die Hauptkomponenten der Daten mit mittlerem Mittelpunkt nach Gruppen auf. Dann addieren wir den Mittelwert zu diesen neuen Daten mit reduzierter Dimension. Der transformierte Mittelwert ist nur die Hauptkomponente der Transformation der ursprünglichen Gruppenmittelwerte.
Beispiel
Es gibt eine Reihe von Brustkrebsgenom-Expressionsdaten, die vom Microarray Quality Consortium mit 230 Reihen und 10.787 Genexpressionen als Benchmark verwendet werden. Eine Diskriminanzanalyse mit der Wide-Linear-Methode dauert nur 5,6 Sekunden (bei Mac Pro) und führt zu einer Fehlklassifizierungsrate der Kreuzvalidierung von nur 13,7% in der am schwersten zu klassifizierenden Kategorie, ER_status. Diese Fehlklassifizierungsrate liegt nahe an der für dieses Problem besten Lösung, da die anderen Methoden teuer sind.
Hinweis: Dies ist Teil eines Große Statistiken Serie von Blogbeiträgen von John Sall. Lesen Sie alle seine Große Statistikbeiträge .
