Hallo,
Es wäre großartig, Eingaben zu einem Ansatz zur automatisierten Identifizierung von Parametern zu erhalten, die eine bivariate Antwort unterscheiden können, wie im folgenden Beispieldiagramm gezeigt. Der Datensatz enthält ~ 20.000 numerische fortlaufende Spalten und eine Antwortspalte mit einem Zeichen. Die Antwortspalte enthält Einträge des Buchstabens A oder B.
Ziel ist es, Parameter zu identifizieren, die so viele der Kategorie B identifizieren können, ohne eine (oder nur sehr wenige) Kategorie B zu identifizieren.
Visuell habe ich 2 spezifische Parameter identifiziert, die die Identifizierung der Mehrheit der Kategorie B ermöglichen, ohne eine der Kategorien A zu identifizieren. Es kann sie mit einer linearen Linie unterscheiden. Die Partition funktioniert nicht gut, da Kategorie B innerhalb der Verteilung von Kategorie A für jeden der beiden Parameter einzeln liegt.
Was wäre der beste Ansatz in jmp / jsl, um diese Identifizierung zu automatisieren?
Vielen Dank für Ihre Zeit und Hilfe. - C.
Bitte beachten Sie das beiliegende Skript,
Es wird eine Tabelle mit fortlaufendem x und einer bivariaten Antwort generiert.
Es gibt einige Skripte zur Visualisierung und Modellierung.
Sie können das Antwort-Screening und das Fit-Modell ausprobieren, um relevante Variablen zu finden.
Da es so viele Spalten 20K gibt, wäre PCA für das kontinuierliche x eine Option (variable Reduktionstechnik).
In diesem Beispiel gibt es kein Ergebnis, da alle x unabhängig sind (zufällige Normalen).
Names Default To Here( 1 );
cdt = New Table( "data", New Column( "response", Character ) );
cdt << add rows( 100 );
For( i = 1, i <= 10, i++,
cdt << New Column( "col" || Char( i ), Continuous, set each value( Random Normal( i, 1 ) ) )
);
cdt:response << set formula( If( :col5 < 4 & :col6 < 5, "B", "A" ) );
cdt <<
Add Properties to Table(
{New Script(
"col6 vs. col5",
Graph Builder(
Variables( X( :col5 ), Y( :col6 ), Overlay( :response ) ),
Elements( Points( X, Y, Legend( 13 ) ), Smoother( X, Y, Legend( 14 ) ) )
)
), New Script(
"Scatterplot Matrix",
Scatterplot Matrix(
Y(
:response,
:col1,
:col2,
:col3,
:col4,
:col5,
:col6,
:col7,
:col8,
:col9,
:col10
),
Matrix Format( "Lower Triangular" )
)
), New Script(
"Response Screening of response",
Response Screening(
Y( :response ),
X(
:col1,
:col2,
:col3,
:col4,
:col5,
:col6,
:col7,
:col8,
:col9,
:col10
)
)
), New Script(
"Fit Nominal Logistic",
Fit Model(
Y( :response ),
Effects(
:col1,
:col2,
:col3,
:col4,
:col5,
:col6,
:col7,
:col8,
:col9,
:col10
),
Personality( "Nominal Logistic" ),
Run( Likelihood Ratio Tests( 1 ), Wald Tests( 0 ) )
)
), New Script(
"Principal Components",
Principal Components(
Y(
:col1,
:col2,
:col3,
:col4,
:col5,
:col6,
:col7,
:col8,
:col9,
:col10
),
Estimation Method( "Default" ),
"on Correlations"
)
)}
);Auch Prädiktor-Screening und Diskriminanzanalyse können genau das liefern, was Sie wollen.
Bei vielen Daten kann es eine gute Wahl sein, zunächst mit einem kleinen Satz zu beginnen, um die verschiedenen Methoden zu testen.
Kennen Sie die Kategorien im Voraus? Oder haben Sie sie anhand des Streudiagramms identifiziert?
Suchen Sie nach einer Möglichkeit, die beiden Cluster in diesem zweidimensionalen Raum zu unterscheiden?
