JMP R suare en modelado predictivo y especializado es incorrecto.Construí un modelo de red neuronal con JMP. Produce un valor R cuadrado. Produce un valor de R cuadrado, como este:
pero cuando muestro el valor predicho y pruebo el cuadrado R en Python, me parece que está mal, así:
este es el conjunto de datos de validación R cuadrado que calculé usando SKlearn.
0.63 y 0.54, es una gran diferencia.
Cualquier miembro del personal puede responder a mi pregunta？
contactame: 531554559@qq.com
urgente
Re: JMP R suare en Modelado Predictivo y Especializado es incorrecto.La fórmula calculada de R cuadrado en python es esta:
¿Entonces realmente confundí qué fórmula de R cuadrado en JMP es?
¿Cuál es el problema?
En realidad como el documento en JMP:
Re: JMP R suare en Modelado Predictivo y Especializado es incorrecto.La fórmula calculada de R cuadrado en python es esta:
¿Entonces realmente confundí qué fórmula de R cuadrado en JMP es?
¿Cuál es el problema?
En realidad como el documento en JMP:
Supongo que es la misma fórmula, pero con diferentes resultados.
Así que quiero confirmar cuál es el problema
Re: JMP R suare en Modelado Predictivo y Especializado es incorrecto.Al no tener acceso a sus datos, etc., solo puedo sugerir varios elementos para verificar que puedan explicar la diferencia:
- Verifique que esté utilizando las mismas observaciones en ambas aplicaciones: JMP y Python.
- Verifique que no se hayan excluido filas en JMP que no puedan excluirse en Python.
- Verificar que no haya redondeo en unidades. Por ejemplo, cuando las personas usan Excel obtienen un resultado, luego copian y pegan datos de Excel en JMP y obtienen un resultado diferente. Al buscar la fuente de discrepancia, los valores reales no se copiaron en JMP, los valores mostrados (formateados), por lo tanto, los valores redondeados se usaron en JMP.
Aquí es donde empezaría. Luego haría los cálculos utilizando la tabla JMP.
Por favor, publique, si encuentra la fuente de la discrepancia.
Re: JMP R suare en Modelado Predictivo y Especializado es incorrecto.Una cosa obvia a comprobar sería si los conjuntos de datos de validación y prueba son los mismos (dudo que lo sean, ya que se crean utilizando una semilla aleatoria y no estoy seguro si R y JMP usan las semillas aleatorias de la misma manera ). Si la división aleatoria de los datos en conjuntos de entrenamiento, validación y prueba es diferente, entonces, por supuesto, los valores de los cuadrados R serán diferentes. Sospecho que este puede ser el caso, también debido a la gran diferencia entre el ajuste en los conjuntos de datos de entrenamiento y validación / prueba. Esa diferencia sugiere un ajuste excesivo sustancial, y si ese es el caso, entonces los resultados pueden diferir considerablemente con diferentes divisiones de los datos en los tres subconjuntos.
Re: JMP R suare en Modelado Predictivo y Especializado es incorrecto.Sin conocer los datos, agregaría a las otras sugerencias que el esquema de asignación del 70% -20% -10% podría proporcionar una muestra insuficiente para la validación en este caso, especialmente si tiene objetivos poco comunes. Creo que las asignaciones diferentes a los conjuntos de espera son más probables, pero solo agregar algo más que pueda ayudar a explicarlo.
Re: JMP R suare en Modelado Predictivo y Especializado es incorrecto.Estoy de acuerdo con la semilla aleatoria como una fuente de variación. Otra fuente puede venir simplemente por el hecho de que las funciones de transferencia pueden diferir. ¿Has comprobado que Python tiene la misma cantidad de capas ocultas, el mismo tipo y la misma cantidad de funciones de transferencia? En JMP tiene tanh y solo una capa (JMP Pro ofrece una segunda capa oculta, así como funciones de transferencia normales y gaussianas además de tanh). Nota en python, por lo general, especificaría el número de nodos de salida / entrada y el número de capas ocultas, además de lo que Función de transferencia / activación que desea utilizar. ¿Puedes estar seguro de que todo esto es igual?
Si solo hay una cosa diferente, puede haber un resultado diferente para el RSquare.
Otra nota: ¿Cuál es el objetivo de su análisis? ¿Quieres hacer una regresión o una clasificación? Si este último no debería preocuparse demasiado por rsquare, sino por la tasa de error de clasificación, la curva ROC o una medida similar más útil que rsquared.
Re: JMP R suare en Modelado Predictivo y Especializado es incorrecto.¿Cómo cambian los resultados si repites el ajuste del modelo neural en JMP?
Aquí hay dos ajustes consecutivos con los mismos datos y la misma asignación para la capacitación y validación, y sin cambios en la red:
Re: JMP R suare en Modelado Predictivo y Especializado es incorrecto.Como Mark Bailey señaló en su ejemplo, la plataforma neuronal en JMP aleatorizará los valores iniciales en la búsqueda de los pesos óptimos. Esto ocurrirá incluso en ejecuciones posteriores con una semilla aleatoria específica porque la semilla aleatoria solo se aplica a la partición aleatoria entre los conjuntos de entrenamiento / validación / prueba y no a los valores de inicio de búsqueda.
Por lo tanto, diferentes evaluaciones de modelos en condiciones idénticas pueden llevar a diferentes estadísticas de ajuste, lo que es cierto para cualquier algoritmo numérico que necesite buscar una solución óptima.
