Valider / Tester le modèle de surajustement en réordonnant les variables Y ?Un collègue a décrit un test dans un autre logiciel qui réorganise au hasard les valeurs y dans une analyse, puis réajuste le modèle pour s'assurer qu'il a un mauvais ajustement. Quelqu'un connaît-il cette technique ou a-t-il tenté de l'automatiser dans JMP ?
La comparaison de ces deux ajustements démontre la technique, bien qu'il semble que de nombreuses colonnes y' soient créées et testées.
dt = New Table( "Untitled 2",
Add Rows( 10 ),
New Column( "x",
Numeric,
"Continuous",
Format( "Best", 12 ),
Set Selected,
Set Values( [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] )
),
New Column( "y",
Numeric,
"Continuous",
Format( "Best", 12 ),
Formula( :x * 2 + Random Normal( 0, 0.1 ) )
),
New Column( "y'",
Numeric,
"Continuous",
Format( "Best", 12 ),
Formula( Col Stored Value( :y, Col Shuffle() ) )
)
);
dt << Fit Model(
Y( :y, :y' ),
Effects( :x ),
Personality( "Standard Least Squares" ),
Emphasis( "Effect Leverage" ),
Run(
:y << {Lack of Fit( 0 ), Plot Actual by Predicted( 0 ),
Plot Residual by Predicted( 0 ), Plot Effect Leverage( 0 )},
:y' << {Lack of Fit( 0 ), Plot Actual by Predicted( 0 ),
Plot Residual by Predicted( 0 ), Plot Effect Leverage( 0 )}
)
);Re : Valider / Tester le modèle de surajustement en réorganisant les variables Y ?Marque,
Si je comprends votre message, je pense que l'amorçage serait une autre approche pour (espérons-le) arriver à la même conclusion. Honnêtement, bien que je n'aie pas eu de chance pour amorcer les estimations de paramètres pour plus qu'un modèle de base, je fais peut-être quelque chose de mal :-). Par exemple, une tentative d'amorçage des estimations de paramètres pour un modèle de second ordre génère plusieurs colonnes pour chaque coefficient possible.
Je pense avoir trouvé un moyen d'automatiser cela en utilisant la méthode de simulation. Au lieu d'utiliser la fonction de simulation générée par une plate-forme, il suffit d'échanger la colonne y d'origine avec la colonne y' réorganisée. J'ai du mal à appliquer la technique aux méthodes de partitionnement; Je soupçonne que les mêmes arbres sont utilisés pour chaque simulation.
Vous trouverez ci-joint un script montrant à quoi cela ressemble pour quelques méthodes différentes, mais voici l'idée de base :
Random Reset(1);
dt = New Table( "Untitled 2",
Add Rows( 4 ),
New Column( "x",
Numeric,
"Continuous",
Format( "Best", 12 ),
Set Selected,
Set Values( [1, 2, 3, 4] )
),
New Column( "y",
Numeric,
"Continuous",
Format( "Best", 12 ),
Formula( :x * 2 + Random Normal( 0, 0.1 ) )
),
New Column( "y'",
Numeric,
"Continuous",
Format( "Best", 12 ),
Formula( Col Stored Value( :y, Col Shuffle() ) )
)
);
// ------ Linear Model ------
linmdl = dt << Fit Model(
Y( :y ),
Effects( :x ),
Personality( "Standard Least Squares" ),
Emphasis( "Effect Leverage" ),
Run(
:y << {Lack of Fit( 0 ), Plot Actual by Predicted( 0 ),
Plot Residual by Predicted( 0 ), Plot Effect Leverage( 0 )},
:y' << {Lack of Fit( 0 ), Plot Actual by Predicted( 0 ),
Plot Residual by Predicted( 0 ), Plot Effect Leverage( 0 )}
)
);
linrpt = linmdl << Report;
lindt = linrpt["Summary of Fit"][1][2] << Simulate(
100,
Out( :y ),
In( :y' )
);
lindt[2] << Distribution( Continuous Distribution( Column( :RSquare ) ) );
Re : Valider / Tester le modèle de surajustement en réorganisant les variables Y ?Ce méthode de rééchantillonnage est généralement utilisé pour déterminer l'importance de l'effet de la modification des niveaux de la variable indépendante. Cette méthode est souvent utilisée à la place de la t test ou l'ANOVA, qui font des hypothèses sur les données et le modèle, pour l'inférence. L'approche de rééchantillonnage génère la distribution empirique au lieu de supposer un modèle particulier. Vous comparez votre statistique d'échantillon à la distribution empirique pour obtenir un p -valeur.
JMP Pro peut amorcer tout résultat, tel qu'une estimation de paramètre, afin de déterminer sa signification.
Vous n'avez pas besoin de la deuxième variable dépendante (déviation normale aléatoire).
