¿Validar / probar el modelo de sobreajuste reordenando las variables Y?Un compañero de trabajo describió una prueba en otro paquete de software que reorganiza aleatoriamente los valores de y en un análisis y luego reajusta el modelo para asegurarse de que tiene un ajuste deficiente. ¿Alguien está familiarizado con esta técnica o intentó automatizarla en JMP?
La comparación de estos dos ajustes demuestra la técnica, aunque parece que se crean y prueban muchas columnas y '.
dt = New Table( "Untitled 2",
Add Rows( 10 ),
New Column( "x",
Numeric,
"Continuous",
Format( "Best", 12 ),
Set Selected,
Set Values( [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] )
),
New Column( "y",
Numeric,
"Continuous",
Format( "Best", 12 ),
Formula( :x * 2 + Random Normal( 0, 0.1 ) )
),
New Column( "y'",
Numeric,
"Continuous",
Format( "Best", 12 ),
Formula( Col Stored Value( :y, Col Shuffle() ) )
)
);
dt << Fit Model(
Y( :y, :y' ),
Effects( :x ),
Personality( "Standard Least Squares" ),
Emphasis( "Effect Leverage" ),
Run(
:y << {Lack of Fit( 0 ), Plot Actual by Predicted( 0 ),
Plot Residual by Predicted( 0 ), Plot Effect Leverage( 0 )},
:y' << {Lack of Fit( 0 ), Plot Actual by Predicted( 0 ),
Plot Residual by Predicted( 0 ), Plot Effect Leverage( 0 )}
)
);Re: Validar / probar el modelo de sobreajuste reordenando las variables Y?Marca,
Si entiendo su publicación, creo que el bootstrapping sería un enfoque alternativo para (con suerte) llegar a la misma conclusión. Honestamente, aunque no he tenido buena suerte al arrancar estimaciones de parámetros para más que un modelo básico, tal vez esté haciendo algo mal :-). Por ejemplo, intentar arrancar estimaciones de parámetros para un modelo de segundo orden da como resultado varias columnas para cada posible coeficiente.
Creo que encontré una manera de automatizar esto usando el método de simulación. En lugar de usar la función de simulación generada por una plataforma, simplemente intercambie la y original con la columna y 'reorganizada. Sin embargo, tengo problemas para aplicar la técnica a los métodos de partición; Sospecho que se utilizan los mismos árboles para cada simulación.
Se adjunta un script que muestra cómo se ve esto para algunos métodos diferentes, pero aquí está la idea básica:
Random Reset(1);
dt = New Table( "Untitled 2",
Add Rows( 4 ),
New Column( "x",
Numeric,
"Continuous",
Format( "Best", 12 ),
Set Selected,
Set Values( [1, 2, 3, 4] )
),
New Column( "y",
Numeric,
"Continuous",
Format( "Best", 12 ),
Formula( :x * 2 + Random Normal( 0, 0.1 ) )
),
New Column( "y'",
Numeric,
"Continuous",
Format( "Best", 12 ),
Formula( Col Stored Value( :y, Col Shuffle() ) )
)
);
// ------ Linear Model ------
linmdl = dt << Fit Model(
Y( :y ),
Effects( :x ),
Personality( "Standard Least Squares" ),
Emphasis( "Effect Leverage" ),
Run(
:y << {Lack of Fit( 0 ), Plot Actual by Predicted( 0 ),
Plot Residual by Predicted( 0 ), Plot Effect Leverage( 0 )},
:y' << {Lack of Fit( 0 ), Plot Actual by Predicted( 0 ),
Plot Residual by Predicted( 0 ), Plot Effect Leverage( 0 )}
)
);
linrpt = linmdl << Report;
lindt = linrpt["Summary of Fit"][1][2] << Simulate(
100,
Out( :y ),
In( :y' )
);
lindt[2] << Distribution( Continuous Distribution( Column( :RSquare ) ) );
Re: Validar / probar el modelo de sobreajuste reordenando las variables Y?Esta método de remuestreo se utiliza generalmente para determinar la importancia del efecto de cambiar los niveles de la variable independiente. Este método se utiliza a menudo en lugar del t prueba o el ANOVA, que hacen suposiciones sobre los datos y el modelo, para la inferencia. El método de remuestreo genera la distribución empírica en lugar de asumir un modelo en particular. Compara su estadístico muestral con la distribución empírica para obtener un pag -valor.
JMP Pro puede oreja cualquier resultado, como la estimación de un parámetro, para determinar su importancia.
No necesita la segunda variable dependiente (desviación normal aleatoria).
