Hola. Mi nombre es Bryan Fricke.
Soy a producto gerente en JMP enfocado en el JMP usuario experiencia.
Previamente, I era a software revelador laboral en exportador informes
a autónomo HTML fuego archivos.
JMP Vivir y JMP Público.
En este presentación,
Soy yendo a hablar acerca de usando Curvas de confianza
como un alternativa a nulo hipótesis significado pruebas
en el contexto de profético modelo cribado.
Adicional material en este sujeto poder ser encontró en el JMP Comunidad sitio web
en el papel asociado con este presentación.
Dr. Russ Wolfinger es a Distinguido Investigación Compañero en JMP
y a co- autor, y I quería como a agradecer a él para su contribuciones.
El Modelo Cribado Plataforma, introducido en JMP Pro 16
permite tú a evaluar el actuación
de múltiple profético modelos usando cruz validación.
A espectáculo tú cómo el Modelo Cribado plataforma obras,
Soy yendo a usar el Diabetes Datos mesa,
cual es disponible en el JMP muestra datos biblioteca.
Enfermo elegir modelo cribado de el analizado profético modelado menú.
JMP responde por mostrando el Modelo Cribado diálogo.
El primero tres columnas en el datos mesa
representar enfermedad progresión en continuo binario y ordinal formularios.
Enfermo usar el continuo columna llamado Y como el respuesta variable.
Enfermo usar el columnas de edad a glucosa en el X factor role.
Enfermo tipo 1234 en el colocar aleatorio semilla aporte caja para reproducibilidad,
Enfermo seleccionar el controlar caja próximo a Plegado en K cruz validación y dejar K colocar a cinco.
Enfermo tipo 3 en el aporte caja próximo a repetido KF viejo.
En el método lista, Enfermo deseleccionar neural.
Ahora Enfermo hacer clic Bueno.
JMP responde por capacitación y validando modelos para cada de el seleccionado métodos
usando su por defecto parámetro ajustes y cruz validación.
Después completando el capacitación y validando proceso,
JMP pantallas el resultados en a nuevo ventana.
Para cada modelado método.
El Modelo Cribado plataforma proporciona actuación medidas
en el forma de punto estimaciones para el coeficiente de determinación,
también conocido como R al cuadrado, el raíz promedio cuadrado error,
y el estándar desviación para el raíz promedio cuadrado error.
Ahora Enfermo hacer clic seleccionar dominante.
JMP responde por resaltando el método
eso realiza mejor al otro lado de el actuación medidas.
Qué desaparecido aquí es a gráfico a espectáculo el tamaño de el diferencias
entre el dominante método y el otro métodos,
a lo largo de con el visualización de el incertidumbre
asociado con el diferencias.
Pero por qué no justo espectáculo PAG- valores indicando si el diferencias son ¿significativo?
No debería a decisión acerca de si uno modelo es superior a otro
ser basado en ¿significado?
Primero, desde el PAG- valor proporciona a probabilidad
basado en a estandarizado diferencia,
a valor p por sí mismo pierde información acerca de el crudo diferencia.
Un a significativo diferencia no implicar a significativo diferencia.
Es eso en realidad a ¿problema?
I significar, no lo es él inútil
a ser preocupado con el tamaño de el diferencia entre dos modelos
antes usando significado pruebas
a determinar si el diferencia es ¿real?
El problema con eso línea de pensamiento es eso es fuerza o uno menos beta
eso determina nuestro capacidad a correctamente rechazar a nulo hipótesis.
Autores semejante como Jacob Cohen y Franco Herrero
tener sugerido eso típico estudios tener el fuerza a detectar diferencias
en el rango de 0,4 a 0,6 .
Entonces vamos suponer nosotros tener a diferencia.
Dónde el fuerza a detectar a verdadero ¿diferencia?
Cero cinco en un alfa nivel cero cinco.
Eso sugiere nosotros quería detectar el verdadero diferencia, en promedio 50% de el tiempo.
Entonces en eso caso, significado pruebas quería identificar real diferencias
No mejor que voltear un imparcial acuñar.
Si todo otro cosas son igual, tipo 1 y tipo 2 errores son equivalente.
Pero significado pruebas eso usar un alfa valor de .05.
A menudo implícitamente asumir tipo 2 errores son preferible a tipo 1 errores,
particularmente si el fuerza es como bajo como .5 .
A común sugerencia a DIRECCIÓN estos y otro asuntos con significado pruebas
es a espectáculo el punto estimar a lo largo de con el confianza intervalos.
Uno objeción a haciendo entonces es eso
a punto estimar a lo largo de con a 95% confianza intervalo
es eficazmente el mismo cosa como significado pruebas.
Incluso si nosotros asumir eso es verdadero, a punto estimar y confianza intervalo
aún puts el magnitud de el diferencia
y el rango de el incertidumbre frente y centro,
mientras a préstamo valor p oculta a ellos ambos.
Entonces varios autores, incluido Cohen y Herrero,
tener recomendado reemplazando significado pruebas
con punto estimaciones y confianza intervalos.
Incluso entonces, el recomendación a usar confianza intervalos ruega el pregunta,
cual unos hacer nosotros ¿espectáculo?
Demostración solo el 95% confianza intervalo
quería probable alentar tú a interpretar él como otro forma de significado pruebas.
El solución proporcionó por Curvas de confianza
es a literalmente espectáculo todo confianza intervalos
arriba a un arbitrariamente alto confianza nivel.
Cómo hacer I espectáculo Curvas de confianza y ¿JMP?
A convenientemente crear Curvas de confianza y JMP,
instalar el Curvas de confianza complemento por visitante el JMP Comunidad Página principal.
Tipo Curvas de confianza en el buscar aporte campo.
Hacer clic el Curvas de confianza resultado.
Ahora hacer clic el descargar icono próximo a curvas de confianza. JMPa dd- en.
Ahora hacer clic el descargado archivo.
JMP responde por preguntando si I desear a instalar el agregar- en.
Tú quería hacer clic Instalar.
Sin embargo, Enfermo hacer clic Cancelar como Yo he ya instalado el complemento.
Entonces cómo hacer tú usar el ¿Complemento?
Primero.
A generar Curvas de confianza para este informe, seleccionar Ahorrar Resultados mesa
de el arriba rojo triángulo menú situado en el Modelo Cribado Informe ventana.
JMP responde por crear a nuevo mesa que contiene entre otros.
El siguiente columnas ensayo.
Cual contiene el identificadores para el tres conjuntos
de cruz validación resultados.
Doblar.
Cual contiene el identificadores
para el cinco distinto conjuntos de submuestras usado para validación en cada ensayo.
Método.
Cual contiene el métodos usado a crear modelos de el prueba datos.
Y en.
Cual contiene el número de datos agujas usado en el validación pliegues.
Nota eso el ensayo columna voluntad ser desaparecido si el número de repeticiones es exactamente uno,
en cual caso el ensayo columna es ni creado ni necesario.
Ahorrar para eso excepción, estos columnas son básico
para el Curvas de confianza complemento a función adecuadamente.
En suma a estos columnas, tú necesidad uno columna
eso proporciona el métrico a comparar entre métodos.
Enfermo ser usando R cuadrado como el métrico de interés en este presentación.
Una vez tú tener el modelo cribado resultados mesa,
hacer clic complementos de JMPs principal menú bar y entonces seleccionar Curvas de confianza.
El lógica eso sigue quería ser mejor metido en a mago,
y I esperanza a agregar eso funcionalidad en a futuro liberar de este complemento.
Como él es, el primero diálogo eso aparece
solicitudes tú a seleccionar el nombre de el mesa
eso era generado cuando tú Elegí 'ahorrar resultados mesa',
de el Modelo Pantalla Informes Rojo Triángulo menú.
El nombre de el mesa en este caso es Modelo Pantalla Estadística Validación Colocar.
Próximo, a diálogo es desplegado
eso solicitudes el nombre de el método eso voluntad atender como el base
de cual todo el otro actuación métrica son mesurado.
I sugerir a partir de con el método eso era seleccionado cuando tú hacer clic
el Seleccionar Dominante opción
en el Modelo Cribado Informe ventana, cual en este caso es Adaptar Paso a paso.
Finalmente, a diálogo es desplegado
eso solicitudes tú a seleccionar el métrico a ser comparado entre el varios métodos.
Como mencionado más temprano, Enfermo usar R cuadrado como el métrico para comparación.
JMP responde por crear a Confianza Curva mesa eso contiene valores p
y correspondiente confianza niveles para el significar diferencia
entre el preferido base método y cada de el otro métodos.
Más específicamente, el generado mesa tiene columnas para el siguiente.
Modelo.
En cual cada fila contiene el nombre de el modelado método
cuyo actuación es evaluado relativo a el base método.
PAG- valor en cual cada fila contiene el probabilidad
asociado con el actuación diferencia
en el menos como extremo como el valor mostrado en el diferencia en nuestro cuadrado columna.
Confianza intervalo en cual cada fila contiene el confianza nivel.
Nosotros tener eso el verdadero significar es contenido en el asociado intervalo
y finalmente, diferencia en nuestro cuadrado,
en cual cada fila es el máximo o mínimo
de el esperado diferencia en R cuadrado
asociado con el confianza nivel mostrado en el confianza intervalo columna.
De este mesa, Curvas de confianza son creado
y mostrado en el Gráfico Constructor gráfico.
Entonces qué son ¿Curvas de confianza?
A aclarar el llave atributos de a Curva de confianza,
Enfermo esconder todo pero el Apoyo Vector máquina Curva de confianza
usando el local datos filtrar por haciendo clic en Apoyo Vector Máquinas.
Por por defecto, a Curva de confianza solo programas
el pauta eso conectar el extremos de cada confianza intervalo.
A ver el agujas, seleccionar Espectáculo Control Panel de el rojo triángulo menú
situado próximo a el texto eso lecturas Gráfico Constructor en el Título bar.
Ahora Enfermo cambio hacer clic el agujas icono.
JMP responde por mostrando el puntos finales de el confianza intervalos
eso hacer arriba el Curva de confianza.
Ahora I voluntad zoom en y examinar a punto.
Si tú flotar el ratón puntero encima cualquier de estos agujas.
A flotar etiqueta programas la P - valor confianza intervalo,
diferencia en el tamaño de el métrico
y el método usado a generar el modelo
ser comparado a el referencia modelo.
Ahora Bueno doblar apagado el agujas por cambio haciendo clic el agujas icono
y haciendo clic el Hecho botón.
Incluso aunque el individual agujas son No más extenso mostrado,
tú poder aún vista el asociado flotar etiqueta
por colocación el ratón puntero encima el Curva de confianza.
Punto estimar para el principal diferencia
en actuación entre el deporte vector máquinas y Ajuste gradual modelos
es mostrado en el 0% confianza nivel,
cual es el significar valor de el diferencias calculado usando cruz validación.
A Curva de confianza parcelas el medida
de cada confianza intervalo de el generado mesa entre cero
y el 99,99% confianza nivel a lo largo de con el izquierda Y eje.
P valores asociado con el confianza intervalos son mostrado
a lo largo de el bien y eje.
El confianza nivel asociado con cada confianza intervalo mostrado.
El Y eje usos a registro escala
entonces eso más resolución es mostrado en más alto confianza niveles.
Por por defecto, dos referencia pauta son trazado junto a a Curva de confianza.
El vertical línea representa
el tradicional nulo hipótesis de No diferencia en efecto.
Nota tú poder cambiar el vertical línea posición
y así el implícito nulo hipótesis.
En el Eje X ajustes.
El horizontal línea pases a través de el convencional 95% confianza intervalo.
Como con el vertical referencia línea,
tú poder cambiar el horizontal línea posición
y así el implícito nivel de significado
por cambio el Y eje ajustes.
Si a Curva de confianza cruces el vertical línea arriba el horizontal línea,
tú no puedo rechazar el nulo hipótesis usando significado pruebas.
Para ejemplo, nosotros no puedo rechazar el nulo hipótesis para apoyo vector máquinas.
En el otro mano, si a Curva de confianza
cruces el vertical línea abajo el horizontal línea,
tú poder rechazar el nulo hipótesis usando significado pruebas.
Para ejemplo, nosotros poder rechazar el nulo hipótesis para potenciado árbol.
Cómo son Curvas de confianza ¿calculado?
El actual implementación de confianza curvas supone
el diferencias son calculado
usando R veces repetido K-pliegue cruz validación.
El medida de cada confianza intervalo es calculado
usando qué es conocido como a diferencia corregido remuestreado Prueba t.
Nota eso autores Claude Nadeau y Joshua Bengio,
nota eso a corregido remuestreado prueba t
es típicamente usado en casos dónde capacitación conjuntos
son cinco o diez veces más grande que validación conjuntos.
Para más detalles, por favor ver el papel asociado con este presentación.
Entonces cómo son Curvas de confianza ¿interpretado?
Primero, el Curva de confianza gráficamente representa
el principal diferencia en el métrico de interés entre a dado método
y a referencia método en el 0% confianza nivel.
Entonces nosotros poder evaluar si el significar diferencia entre el métodos
es significativo.
Si el principal diferencia no lo es significativo, hay pequeño punto en más análisis
de a dado método versus el referencia método con respeto a el preferido métrico.
Qué constituye a significativo diferencia depende en el métrico de interés
como Bueno como el destinado científico o ingeniería solicitud.
Para ejemplo,
tú poder ver el modelo desarrollado con a decisión árbol método
es en promedio acerca de 14% peor que Ajuste paso a paso,
cual podría decirse que es a significativo diferencia.
Si el diferencia es significativo,
nosotros poder evaluar cómo precisamente el diferencia tiene estado mesurado
por evaluar cómo mucho el Confianza C regañar ancho cambios
al otro lado de el confianza niveles.
Para cualquier confianza intervalo no cruce el por defecto vertical eje,
nosotros tener en el menos eso nivel de confianza eso el principal diferencia es distinto de cero.
Para ejemplo,
el decisión árbol confianza curva no cruz el Y eje
hasta acerca de el 99,98% confianza nivel.
Nosotros son cerca de 99,98% seguro el significar diferencia no lo es igual a cero.
En hecho, con este datos,
él giros afuera eso nosotros poder ser acerca de 81% seguro
eso Ajuste gradual es en el menos como bien,
si no mejor, que cada método otro que generalizado regresión Lazo.
Ahora vamos considerar el relación entre Curvas de confianza.
Si dos o más Curvas de confianza de modo significativo superposición
y el significar diferencia de cada es no significativamente diferente de el otro.
El datos sugerir cada método realiza acerca de el mismo como el otro
con respeto a el referencia modelo.
Entonces para ejemplo,
nosotros ver eso en promedio, el Apoyo vector Máquinas modelo
realiza menos que . 5% que Oreja Bosque,
cual es podría decirse que no a significativo diferencia.
El confianza intervalos hacer no superposición hasta acerca de el 4% confianza nivel,
cual sugiere estos valores quería ser esperado
si ambos métodos en realidad hacer tener acerca de el mismo diferencia en actuación
con respeto a el referencia.
Si el promedio diferencia en actuación
es acerca de el mismo para dos confianza curvas,
pero el confianza intervalos no superposición también mucho,
el datos sugiere
el modelos llevar a cabo acerca de el mismo como cada otro con respeto a el referencia modelo.
Sin embargo, nosotros son seguro de a no- significativo diferencia.
Este particular caso es extraño que el otros
y I no tener un ejemplo a espectáculo con este datos colocar.
En el otro mano, si el promedio diferencia en actuación
entre a par de Curvas de confianza es significativamente diferente
y el confianza curvas tener pequeño superposición,
el datos sugiere el modelos llevar a cabo
diferentemente de uno otro con respeto a el referencia.
Para ejemplo, el generalizado regresión Lazo modelo predice acerca de 13,8%
más de el variación en el respuesta que hace el decisión árbol modelo.
Además, el Curvas de confianza no superposición
hasta acerca de el 99,9% confianza nivel,
cual sugiere estos resultados son bastante inusual
si el métodos de hecho llevar a cabo acerca de el mismo con respeto a el referencia.
Finalmente, si el promedio diferencia en actuación entre a par
de Curvas de confianza es significativamente diferente de uno otro
y el curvas tener considerable superposición,
el datos sugiere eso
mientras el métodos llevar a cabo diferentemente de uno otro con respeto a el referencia,
él no lo haría ser sorprendente si el diferencia es furioso.
Para ejemplo, nosotros poder ver eso en promedio
apoyo vector máquinas previsto acerca de 1,4% más de el diferencia en el respuesta
que hizo [inaudible 00:19:18] más cercano vecinos.
Sin embargo, el confianza intervalos comenzar a superposición en acerca de el 17% confianza nivel,
cual sugiere él no lo haría ser sorprendente
si el diferencia en actuación entre cada método
y el referencia es de hecho menor que sugerido por el punto estimaciones.
Simultáneamente,
él no lo haría ser sorprendente si el actual diferencia es más grande que mesurado,
o si el dirección de el diferencia es de hecho invertido.
En otro palabras, el diferencia en actuación es incierto.
Nota eso él no lo es posible a evaluar el variabilidad y actuación
entre dos modelos relativo a uno otro
cuando el diferencias son relativo a a tercero modelo.
A comparar el variabilidad y actuación
entre dos métodos relativo a uno otro,
uno de el dos métodos debe ser el referencia método
de cual el diferencias son mesurado.
Pero qué acerca de múltiple ¿comparaciones?
No nosotros necesidad a ajustar el valores p
a control el familia inteligente tipo 1 error ¿tasa?
En este papel acerca de Curvas de confianza,
Daniel Burrough sugiere eso ajustes son necesario en confirmatorio estudios
dónde a meta es preespecificado, pero no en exploratorio estudios.
Este idea sugiere usando no ajustado valores p para múltiple Curvas de confianza
en un exploratorio moda
y solo a soltero Curva de confianza generado de diferente datos
a confirmar su recomendaciones de a significativo diferencia
entre dos métodos cuando usando significado pruebas.
Eso dicho, por favor mantener en mente el peligros de cereza cosecha, p-hacking
cuando conductible exploratorio estudios.
En resumen, el modelo cribado plataforma introducido en JMP Pro 16
proporciona a medio a simultáneamente comparar el actuación
de profético modelos creado usando diferente metodologías.
JMP tiene a largo de pie meta a proporcionar a gráfico con cada estadística,
y Curvas de confianza ayuda a llenar eso brecha.
Para el modelo cribado plataforma.
Tú podría naturalmente esperar a usar significado pruebas a diferenciar
entre el actuación de varios métodos ser comparado.
Sin embargo, valores p tener venir bajo aumentó escrutinio en reciente años
para oscureciendo el tamaño de actuación diferencias.
En suma,
valores p son a menudo malinterpretado como el probabilidad el nulo hipótesis es verdadero.
En cambio de valor p es el probabilidad de observando a diferencia
como o más extremo, arrogante el nulo hipótesis es verdadero.
El probabilidad de correctamente rechazar el nulo hipótesis cuando él es FALSO
es determinado por a fuerza o uno menos beta.
I tener argumentó eso él es no poco común a solo tener a 50% oportunidad
de correctamente rechazar el nulo hipótesis con un alfa valor de 0,05 .
Como un alternativa, a confianza intervalo podría ser mostrado en cambio de a préstamo PAG- valor.
Sin embargo, el pregunta quería ser izquierda abierto como a cual confianza nivel a espectáculo.
Curvas de confianza DIRECCIÓN estos preocupaciones por demostración todo confianza intervalos
arriba a un arbitrariamente alto- nivel de confianza.
El significar diferencia en el actuación
es claramente visible en el 0% confianza nivel, y eso hechos como a punto estimar.
Todo de el cosas ser igual, tipo 1 y tipo 2 errores son equivalente.
Curvas de confianza no empotrar a inclinación hacia comercio tipo 1 errores para tipo 2.
Incluso entonces, por por defecto,
a vertical línea es mostrado en el confianza curva gráfico
para el estándar nulo hipótesis de No diferencia.
En suma,
a horizontal línea es mostrado eso delimita el 95% confianza intervalo,
cual fácilmente permite a típico significado pruebas análisis si deseado.
El valores predeterminados para estos pauta son fácilmente modificado,
pero diferente nulo hipótesis y confianza niveles deseado.
Incluso entonces, dado el bastante amplio y a veces enfático sugerencia
a reemplazar significado pruebas con punto estimaciones y confianza intervalos,
él puede ser mejor a vista a Curva de confianza como a punto estimar
a lo largo de con a cerca de integral vista de es asociado incertidumbre.
Si tú tener comentario acerca de el confianza curvas complemento,
por favor dejar a comentario en el JMP comunidad sitio.
Y no olvidar a votar para este presentación
si tú encontró él interesante o útil.
Agradecer tú para mirando este presentación y I esperanza tú tener a excelente día.
