407926_es-ES

liliconcom

¿JMP está calculando mal mi RMSE?

Tracé mis valores observados frente a los predichos y agregué una línea de ajuste con el RMSE, sin embargo, los valores que está calculando/mostrando son significativamente más bajos de lo que estoy calculando y esperando (0,46 frente a 2,07).

 

 

Aquí están los datos:

6.343	1.607119
6.259	6.177004
6.139	0.429539
5.266	6.05368
5.451	8.40834
6.492	5.226375
6.52	5.440272
5.784	5.990638
6.154	6.07527
6.103	5.965431
6.122	0.445846
5.541	7.000725
5.181	5.931456
5.355	5.626706
5.674	5.849083
5.642	5.859607
5.136	5.14744
5.512	5.693088
5.9	5.690088
5.65	5.792552
5.55	5.513773
5.6	5.659517
4.6	5.195817

 

¿Me estoy perdiendo de algo?

AnalíticaTabla de datosRe: JMP está calculando mal mi RMSE

Pregunta simple: ¿tomas la raíz cuadrada del MSE para obtener el RMSE?

Re: JMP está calculando mal mi RMSE

@statman

También noté este cálculo interesante cuando usé Python para modelar mi experimento. Ejecuto un modelo, JMP me da un RMSE y luego guardo la columna del valor predicho. Usé la fórmula a continuación para hacer el cálculo en Excel, lo que me da un resultado RMSE diferente con JMP. ¿Podría decirme qué está mal en mi cálculo?

 

 

 

Re: JMP está calculando mal mi RMSE

Ampliando @statman Los comentarios de y suponiendo que intentaba predecir la primera columna a partir de la segunda, parece que ajusta sus residuales con un segundo modelo lineal.Esto significaría que creó un tipo de modelo de conjunto a partir de lo que fuera su primer modelo y un término lineal.Esto reduciría aún más su error, brindándole un RMSE más pequeño.En cambio, creo que probablemente quería usar la plataforma de comparación de modelos en Analizar > Modelado predictivo > Comparación de modelos.

 

 

Esto da un RASE informado que está más cerca de su RMSE esperado.

 

 

Como ejemplo, considere el conjunto de datos de muestra del iris.Si usa algún método para predecir la longitud del sépalo y predice que es una función de la longitud del sépalo como se muestra en la siguiente ecuación, obtendrá un modelo razonable.

 

 

 

Pero la pendiente, o la estimación del parámetro para el ancho del sépalo, no es del todo correcta (o al menos no coincide con lo que se observa en los datos).  

 

 

Por lo tanto, puede ajustar un segundo modelo a partir de la salida del primero usando un modelo lineal para mejorar el ajuste (esto se debe a que hay un patrón en los residuos).

 

 

 

Guardar la fórmula pronosticada genera una nueva columna de fórmula pronosticada basada en otro columna de fórmula prevista.Observe cómo cambia la pendiente de la línea azul.

 

 

En este En este caso, obtendrá el mismo resultado que si modelara la longitud del sépalo a partir de la longitud del pétalo usando un modelo lineal, pero eso no siempre sería cierto dependiendo de lo que se usó para el primer modelo.

 

Al mostrar la Comparación de modelos, se muestra la mejora con respecto al segundo modelo:

 

Esto debería recrear los gráficos de iris:

Ver más...

Names default to here(1);

dt = Open("$Sample_data/iris.jmp");

dt << New Column("Sepal length Pred from Model 1", Numeric, "Continuous", Format("Best", 12), Set Property("Notes", "Prediction Formula"), Set Property("Predicting", {:Sepal length, Creator("Fit Least Squares")}), Formula(4 + 0.5 * :Petal length), Set Display Width(129));
dt << New Column("Sepal length Pred form Model 1 and Linear Correction", Numeric, "Continuous", Format("Best", 12), Set Property("Notes", "Prediction Formula"), Formula(1.03522519623809 + 0.817844554702371 * :Sepal length Pred from Model 1), Set Property("Predicting", {:Sepal length, Creator("Fit Least Squares")}));
dt << New Column("Sepal length Pred from Petal length linear equation", Numeric, "Continuous", Format("Best", 12), Set Property("Notes", "Prediction Formula"), Formula(4.30660341504758 + 0.408922277351185 * :Petal length), Set Property("Predicting", {:Sepal length, Creator("Fit Least Squares")}));

dt << Graph Builder(
 Size( 473, 500 ),
 Variables(
  X( :Sepal length Pred from Model 1 ),
  Y( :Sepal length ),
  Y(
   Transform Column(
    "Transform[Sepal...d from Model 1]",
    Formula( :Sepal length Pred from Model 1 )
   ),
   Position( 1 )
  )
 ),
 Elements(
  Points( X, Y( 1 ), Legend( 5 ) ),
  Formula( X, Y( 2 ), Legend( 7 ) ),
  Line Of Fit( X, Y( 1 ), Legend( 9 ) )
 ),
 SendToReport(
  Dispatch( {"Line Of Fit"}, "", OutlineBox, {Close( 0 )} ),
  Dispatch(
   {},
   "Sepal length Pred from Model 1",
   ScaleBox,
   {Min( 4 ), Max( 8 ), Inc( 1 ), Minor Ticks( 1 )}
  ),
  Dispatch(
   {},
   "Sepal length",
   ScaleBox,
   {Min( 4 ), Max( 8 ), Inc( 2 ), Minor Ticks( 1 )}
  ),
  Dispatch(
   {},
   "400",
   ScaleBox,
   {Legend Model(
    7,
    Level Name(
     0,
     "Line if Perfect Fit",
     Item ID( "Transform[Sepal...d from Model 1]", 1 )
    )
   ), Legend Model(
    9,
    Level Name(
     0,
     "Fit for Model 1 Predicted Values",
     Item ID( "Sepal length", 1 )
    )
   )}
  ),
  Dispatch( {}, "graph title", TextEditBox, {Set Text( "Fit from Model 1" )} ),
  Dispatch( {}, "Y title", TextEditBox, {Set Text( "Sepal length Actual" )} )
 )
);

dt << Fit Model(
 Y( :Sepal length Pred form Model 1 and Linear Correction ),
 Effects( :Sepal length ),
 Personality( "Standard Least Squares" ),
 Emphasis( "Effect Leverage" ),
 Run(
  :Sepal length Pred form Model 1 and Linear Correction <<
  {Summary of Fit( 1 ), Analysis of Variance( 1 ), Parameter Estimates( 1 ),
  Scaled Estimates( 0 ), Plot Actual by Predicted( 1 ),
  Plot Residual by Predicted( 1 ), Plot Studentized Residuals( 0 ),
  Plot Effect Leverage( 1 ), Plot Residual by Normal Quantiles( 0 ),
  Box Cox Y Transformation( 0 )}
 )
);

dt << Graph Builder(
 Size( 949, 500 ),
 Variables(
  X( :Sepal length Pred from Model 1 ),
  X( :Sepal length Pred form Model 1 and Linear Correction ),
  Y( :Sepal length ),
  Y(
   Transform Column(
    "Transform[Sepal...d from Model 1]",
    Formula( :Sepal length Pred from Model 1 )
   ),
   Position( 1 )
  ),
  Y(
   Transform Column(
    "Transform[Sepal...inear equation]",
    Formula( :Sepal length Pred from Petal length linear equation )
   ),
   Position( 1 )
  ),
  Y(
   Transform Column(
    "Transform[Sepal...inear equation]",
    Formula( :Sepal length Pred from Petal length linear equation )
   ),
   Position( 1 )
  ),
  Y(
   Transform Column(
    "Transform[Sepal...ear Correction]",
    Formula( :Sepal length Pred form Model 1 and Linear Correction )
   ),
   Position( 1 )
  )
 ),
 Elements(
  Position( 1, 1 ),
  Points( X, Y( 1 ), Legend( 5 ) ),
  Line Of Fit(
   X,
   Y( 1 ),
   Legend( 9 ),
   Root Mean Square Error( 1 ),
   Equation( 1 )
  ),
  Formula( X, Y( 2 ), Legend( 7 ) )
 ),
 Elements(
  Position( 2, 1 ),
  Points( X, Y( 1 ), Legend( 10 ) ),
  Line Of Fit( X, Y( 1 ), Legend( 12 ), Equation( 1 ) ),
  Formula( X, Y( 5 ), Legend( 13 ) )
 ),
 SendToReport(
  Dispatch(
   {},
   "Sepal length Pred from Model 1",
   ScaleBox,
   {Min( 4 ), Max( 8 ), Inc( 1 ), Minor Ticks( 3 ),
   Label Row( {Show Major Grid( 1 ), Show Minor Grid( 1 )} )}
  ),
  Dispatch(
   {},
   "Sepal length Pred form Model 1 and Linear Correction",
   ScaleBox,
   {Min( 4 ), Max( 8 ), Inc( 1 ), Minor Ticks( 3 ),
   Label Row( {Show Major Grid( 1 ), Show Minor Grid( 1 )} )}
  ),
  Dispatch(
   {},
   "Sepal length",
   ScaleBox,
   {Min( 4 ), Max( 8 ), Inc( 1 ), Minor Ticks( 3 ),
   Label Row( {Show Major Grid( 1 ), Show Minor Grid( 1 )} )}
  ),
  Dispatch(
   {},
   "400",
   ScaleBox,
   {Legend Model(
    5,
    Level Name( 0, "Actual Value", Item ID( "Sepal length", 1 ) ),
    Base( 0, 0, 0, Item ID( "Sepal length", 1 ) ),
    Properties( 0, {Line Color( 21 )}, Item ID( "Sepal length", 1 ) )
   ), Legend Model(
    9,
    Level Name(
     0,
     "Fit line from predicted values",
     Item ID( "Sepal length", 1 )
    ),
    Properties( 0, {Line Color( 21 )}, Item ID( "Sepal length", 1 ) )
   ), Legend Model(
    7,
    Level Name(
     0,
     "Fit if perfect model",
     Item ID( "Transform[Sepal...d from Model 1]", 1 )
    ),
    Properties(
     0,
     {Line Color( 3 )},
     Item ID( "Transform[Sepal...d from Model 1]", 1 )
    )
   ), Legend Model(
    10,
    Properties( 0, {Line Color( 21 )}, Item ID( "Sepal length", 1 ) )
   ), Legend Model(
    12,
    Properties( 0, {Line Color( 21 )}, Item ID( "Sepal length", 1 ) )
   ), Legend Model(
    13,
    Properties(
     0,
     {Line Color( 3 )},
     Item ID( "Transform[Sepal...ear Correction]", 1 )
    )
   )}
  ),
  Dispatch(
   {},
   "graph title",
   TextEditBox,
   {Set Text( "Fit from Model 1 (left) and Ensemble Model (right)" )}
  ),
  Dispatch( {}, "Y title", TextEditBox, {Set Text( "Sepal length Actual" )} ),
  Dispatch(
   {},
   "400",
   LegendBox,
   {Legend Position(
    {5, [0], 9, [1, -3], 7, [2], 10, [-1], 12, [-1, -3], 13, [-1]}
   )}
  )
 )
);

dt << Model Comparison(
 Y(
  :Sepal length Pred from Model 1,
  :Sepal length Pred form Model 1 and Linear Correction,
  :Sepal length Pred from Petal length linear equation
 )
);

 

Re: JMP está calculando mal mi RMSE

Bienvenido a la comunidad.  

No estoy seguro de lo que estás tratando de hacer. En el conjunto de datos que muestra, ¿la columna 1 son los valores reales y la columna 2 los valores pronosticados? La diferencia en estos se llama residuos.  

No veo lo que estás tratando de modelar? Por lo general, tendrá al menos 1 variable independiente y al menos 1 variable dependiente y el RMSE es la desviación estándar del ajuste del modelo. No sé cuál es cuál en su conjunto de datos. Pero si estuvieras modelando estas 2 columnas, obtendría resultados completamente diferentes a los tuyos.

Hay muchas formas de ver los residuos con el propósito principal de determinar si su modelo cumple con los supuestos fundamentales del análisis cuantitativo (NID(0, varianza)).

Resumen de ajuste
R Plaza
0.125645
Ajuste cuadrado
0.084009
Error cuadrático medio de la raíz
1.804222
Media de respuesta
5.251277
Observaciones (o suma de pesos)
23