Mínimos cuadrados parcialesHola a todos,
Estoy intentando realizar mínimos cuadrados parciales multivariados en mi conjunto de datos en JMP. Este conjunto de datos consta de 10 filas y 59740 columnas (datos FT-IR, que tienen miles de mediciones "discretas" para crear una curva continua). Recibo el siguiente error cuando intento ejecutar PLS, configurando 59738 columnas para los factores X y dos columnas para la respuesta Y.
Este conjunto de datos está estructurado de la misma manera que el conjunto de datos de muestra del Báltico pero con muchas más mediciones.
¿Alguien sabe cómo resolver esto? Funciona si solo selecciono una pequeña cantidad de las respuestas X y no las 59738. ¿He excedido la capacidad de datos que JMP puede manejar?
Gracias
Re: mínimos cuadrados parcialesAhora me doy cuenta de que puedo hacer esto ejecutando PLS y luego creando un modelo usando VIP. Sin embargo, obtengo algunos resultados extraños cuando hago esto en mi conjunto de datos reducido en X. Decide que la cantidad de factores para minimizar PRESS es 0 y, por lo tanto, no puedo extraer ninguna información significativa. Esto es, por el contrario, el PLS inicial, que decide sobre siete factores y tiene un poder predictivo razonablemente fuerte para X (97,7%) e Y (99,9%). Parece que eliminar los factores X no importantes empeora el modelo, lo cual no me parece tener sentido. ¿Quizás estoy entendiendo mal este resultado?Re: mínimos cuadrados parcialesOK... los ceros son datos numéricos reales. Me pregunto, según el mensaje de error, si en algún lugar de la larga lista de más de 50.000 variables predictivas tienes de alguna manera una columna con valores completos faltantes. Si interpreto correctamente el mensaje de error, calcular la media de los valores faltantes es el método elegido para los valores faltantes. ¿Ha ejecutado alguna de las plataformas exploratorias de valores faltantes para ver si, de hecho, esta es la causa principal del error? Si tenía una columna con valores faltantes completos, no se puede crear la media. Si los valores faltantes no son el problema... entonces estoy perdido y pienso junto con @ian_jmp y @Bill_Worley comunicarse con el soporte técnico de JMP podría ser el mejor recurso.
Yo (durante mi mandato como ingeniero de sistemas de JMP) una vez tuve un cliente que se encontraba con un mensaje de tipo "error" similar y la causa principal eran valores faltantes dispersos en la tabla de datos que hacían imposible la ejecución de la plataforma de análisis que estaba tratando de usar. .
Re: mínimos cuadrados parcialesGracias por resaltar esto, son verdaderos valores numéricos cero y no faltan puntos de datos.Re: mínimos cuadrados parcialesHola Ian, gracias por la respuesta. Enviaré un correo electrónico al soporte de JMP. He trazado los datos y no todas las regiones discriminan entre las respuestas. Puedo hacer que PLS se ejecute eliminando manualmente los factores X que no responden (lo que en realidad reduce el número de columnas a considerar de unas 59.738 a cerca de 8.000). Sin embargo, esto no es ideal y preferiría poder encontrar un método sistemático/calculado para eliminar los factores X que no responden en lugar de hacerlo yo mismo (que, por definición, es propenso a sobreajustarse y puede estar modelando algo de ruido espectral). ).
De alguna manera, me gustaría utilizar coeficientes de modelo centrados y escalados para decidir rangos de números de onda útiles ((¿criterios, por ejemplo, coeficiente >= 5% del máximo?). No sé cómo hacer esto, si tienes alguna idea te lo agradecería mucho.Re: mínimos cuadrados parcialesOtra pregunta para usted... ¿las respuestas 'cero' son realmente numéricamente cero, o simplemente marcadores de posición para tal vez un 'valor faltante'? Los ceros me parecen extraños en el contexto de los otros valores de cada columna. JMP necesita saber si realmente son cero (que parece que así es como los tratará su análisis hasta ahora) o si faltan, entonces, ¿cómo le gustaría manejar la "falta"?
Re: mínimos cuadrados parcialesEstoy de acuerdo con Ian en contactar al soporte, pero hay un par de opciones más que puedes probar a lo largo del camino.
Parece como si estuvieras usando JMP Pro.¿Has probado la regresión generalizada?Puede limitar la cantidad de intensidades importantes utilizando un enfoque de regresión penalizada como Elastic Net.
También una buena forma de ver los datos espectrales es utilizar Functional Data Explorer usando filas como funciones.El uso de sus resultados de concentraciones de iminas y aminas como "Z suplementario" le permitirá utilizar la capacidad DOE funcional (JMP Pro 15) para obtener un modelo de regresión generalizada de sus datos.Asegúrese de colocar la columna de ID de muestra para que se ajuste a las curvas individuales y use un P-Spline para ajustarse al modelo.Esto puede llevar un poco de tiempo con 59.740 columnas, pero creo que vale la pena intentarlo.
HT
Factura
Re: mínimos cuadrados parcialesProbablemente sea mejor enviar un correo electrónico soporte@jmp.com haciendo referencia a este hilo.
Desde un punto de vista metodológico, ¿ha trazado los datos? ¿Espera que todas las regiones de longitud de onda/frecuencia discriminen entre las respuestas?
