Estábamos muy contentos de haber tenido tanto interés en la reciente Tecnicamente hablando con Model Screening, una nueva y potente función de JMP Pro 16. Cuando crea modelos, nunca sabe qué método funcionará mejor en un conjunto de datos determinado.
Con Model Screening, puede probar varios enfoques a la vez, evaluar el rendimiento del modelo y elegir el modelo de mejor rendimiento, incluida la personalización de los umbrales de decisión de acuerdo con sus necesidades. Esta nueva y poderosa función generó tantas preguntas que no pudimos responderlas a todas. Entonces, los abordamos en esta publicación de blog. Puede ver la velocidad y el poder de Model Screening en este episodio de Technically Speaking .
Kemal Oflus preparando el escenario para mostrar la plataforma Model Screening.
Preguntas generales
Cuando intentamos ajustar modelos no paramétricos, podemos lograr una alta predictibilidad, pero perdemos la interpretabilidad del modelo. ¿Cómo logramos ese equilibrio entre previsibilidad e interpretabilidad en los problemas de fabricación del mundo real?
En esto episodio de Analíticamente Hablando , Galit Shmueli se sumerge en los detalles de este tema con su artículo tan citado, Explicar o predecir . Tenemos métricas como RSquare que resumen el rendimiento del modelo en términos de qué parte de la varianza puede ser explicada por el modelo subyacente. Un modelo con RSquare más alto es técnicamente mejor que uno más bajo. La interpretabilidad del modelo proporciona información sobre la relación entre las entradas y la salida. Un modelo interpretado puede responder preguntas sobre por qué las características independientes predicen el atributo dependiente. El problema surge porque a medida que aumenta la precisión del modelo, también aumenta la complejidad del modelo, a costa de la interpretabilidad. Para este caso, JMP Profiler nos ayuda a visualizar el modelo subyacente para que podamos utilizar la experiencia en la materia para verificar la cordura y la viabilidad del modelo. Un modelo con menos parámetros es más fácil de interpretar. Esto es intuitivo. Un modelo de regresión lineal tiene un coeficiente por característica de entrada y un término de intersección. Por ejemplo, puede observar cada término y comprender cómo contribuyen al resultado. Pasar a la regresión logística da más poder en términos de las relaciones subyacentes que se pueden modelar a expensas de una función transformada a la salida que ahora también debe entenderse junto con los coeficientes. Un árbol de decisiones (de tamaño modesto) puede ser comprensible, un árbol de decisiones en bolsas requiere una perspectiva diferente para interpretar por qué se predice que ocurrirá un evento. Yendo más allá, la combinación optimizada de múltiples modelos en una sola predicción puede estar más allá de una interpretación significativa u oportuna. Una vez más, JMP Profiler es la herramienta perfecta para visualizar e interpretar los modelos que construimos.
Al evaluar modelos de regresión, ¿existe un rango estándar para una buena métrica RSquare que signifique un buen modelo, o depende del contexto?
Esto dependerá del contexto; Si intenta predecir el mercado de valores, 55% RSquare será más que adecuado en comparación con cuando está tratando de predecir si fallará una válvula cardíaca.
¿Cuál es la diferencia entre el conjunto de entrenamiento y el conjunto de validación? ¿Puede entrar en más detalles sobre qué tipo de escenarios de datos estarían en esos conjuntos?
El conjunto de entrenamiento es lo que usamos para aprender de los datos (y construir el modelo); el conjunto de validación es validar lo que aprendimos del conjunto de entrenamiento. Si hay suficientes datos, es una mejor práctica tener también un conjunto de datos de prueba para ajustar aún más el modelo y luego validar los resultados con el conjunto de validación.
¿Hay alguna razón para no usar PLS?
No hay ninguna razón en particular, solo que es más difícil de interpretar y no es realmente apropiado para los conjuntos de datos que analizamos durante el seminario web.
Algunos ensayos tienen un error mayor. ¿Hay alguna forma de ingresar el error esperado en los modelos?
Si se trata de una pregunta sobre el uso de un clasificador, de forma predeterminada, el umbral de clasificación se establece en 50%, pero dependiendo de sus circunstancias, puede modificar este umbral.
Con respecto a la muestra de café, ¿por qué el método de refuerzo neuronal tuvo un tamaño de muestra menor en comparación con todos los demás modelos (que eran idénticos entre sí)? ¿Recibió una ventaja el valor de RS cuadrado para el refuerzo neuronal al seleccionar datos más apropiados?
Esto se debe a que algunos de los factores de entrada seleccionados tenían valores perdidos; algunos algoritmos pueden manejar los valores perdidos y, por lo tanto, usar el resto de la información de la observación dada. Sin embargo, dado que las redes neuronales no pueden, se incluye un número menor de observaciones en la muestra.
¿Cómo se ajustaría y compararía la configuración de parámetros de varios modelos?
Las plataformas de selección y comparación de modelos proporcionan una forma de promediar / combinar / agregar varios modelos para que pueda crear un modelo de conjunto, que luego puede usar para optimizar la configuración de los parámetros.
Parece que este proceso puede ser propenso a sobreajustarse. ¿Cómo compararía esto con AIC?
Los valores de AIC se presentan para los modelos apropiados en la sección de resumen de modelos individuales de la plataforma de selección de modelos. Los detalles en el ayuda en linea cubra esto y más en el Informe de comparación de modelos.
¿No cumple el científico de datos un papel fundamental que JMP no puede? Por ejemplo, el científico de datos puede equilibrar entre obtener más positivos verdaderos (TP) con el riesgo de aumentar la FP en un problema de clasificación. ¿Cómo maneja JMP esta compensación y se la comunica al modelador?
El software no puede reemplazar el papel de un experto en la materia (en este caso, el científico de datos), que es el puente entre los datos y los casos de uso aplicables. Sin embargo, las herramientas y los informes que proporciona JMP con las métricas de evaluación del modelo (RSquare, RSquare ajustado, tasa de clasificación errónea, matriz de confusión y, lo que es más importante, el generador de perfiles) facilitan enormemente la comunicación de los hallazgos a diferentes niveles de la organización.
Preguntas sobre capacidades de JMP
¿Podemos hacer modelos logísticos de respuesta a la dosis en JMP?
Si esto correo en la Comunidad y esto una del socio de JMP, Pega Analytics, cubren más sobre cómo hacer esto en JMP.
¿Podemos ejecutar el modelado basado en agentes en JMP?
No en este momento.
¿Puede el usuario especificar valores de los parámetros del modelo o se asumen valores predeterminados?
La plataforma Model Screening está diseñada para encontrar la configuración de parámetros óptima (por ejemplo, el número de árboles, capas reforzadas, etc.). Puede incluir términos de interacción para modelos lineales. Una vez que se encuentra el mejor modelo (o un conjunto de modelos), cada modelo se puede personalizar aún más.
¿Hay una columna de validación en su hoja de trabajo? ¿Esto se llena automáticamente?
Si tiene una columna de validación, puede utilizarla. De lo contrario, JMP ofrece varias formas de crear una columna de validación. Ver opciones de cómo hacer esto.
¿Hay alguna forma de obtener un análisis de modelo (como Prediction Profiler) para un modelo creado en Python si pongo los datos y las predicciones en JMP?
Hay un generador de perfiles de Excel en el complemento JMP de Excel que solo se puede usar para modelos creados en Excel. Sin embargo, JMP puede ejecutar sus scripts de Python, R o MATLAB y / o intercambiar datos de un lado a otro, siempre que tenga acceso al software.
¿Qué hay de la creación de variables personalizadas que podrían funcionar mejor en un modelo creado a partir de datos sin procesar? ¿Esta plataforma maneja esto o es necesario crear estos primero para tenerlos como entradas?
Model Screening Platform utiliza los datos tal cual; si cree que debería haber algunas variables compuestas como Componentes principales, deberán crearse por separado. Las variables de interacción simple como a * bo cuadráticas se pueden seleccionar mediante la casilla de verificación en el cuadro de diálogo. Además, cada nodo de la red neuronal también corresponde a una variable compuesta que podría tener un significado físico (pero, de nuevo, no tenemos ningún control sobre ellos).
¿Puede JMP incorporar un modelo creado en R o Python?
Si tiene un script R o Python que usa un modelo para predecir resultados, puede hacer que JMP ejecute el script R / Python y use los resultados como una nueva variable de columna, si es necesario. Esta papel blanco , "Sinergias de JMP: uso de JMP y JMP Pro con Python y R", es un gran recurso.
¿Ha utilizado JMP contra datos textuales?
JMP tiene una plataforma Text Explorer incorporada. Esta Charla de JMP Discovery Summit tiene algunos buenos ejemplos y el ayuda en linea da una buena descripción.
En Prediction Profiler, cuando vemos el comportamiento de y frente a una de nuestras x, ¿está establecido, considerando que es la única x, o asume el comportamiento sabiendo que también hay otras x en el modelo?
El generador de perfiles proporciona una manera de investigar y optimizar la relación entre múltiples variables de entrada y la variable de salida deseada. Las variables de entrada se pueden configurar para que sean independientes entre sí o pueden interactuar entre sí. Esta video muestra cómo utilizar Profiler. Nuestro propio Bradley Jones, investigador distinguido en I + D, escribió esto Artículo de prólogo de JMP en celebración del 30 aniversario de Profiler, una de nuestras visualizaciones interactivas más populares.
