Hola, mi nombre es bryan Fricke.
Soy a recién acuñado Producto Gerente en JMP, enfoque en el JMP usuario experiencia.
Previamente, I era a software desarrollador laboral en exportador informes
a pararse solo HTML archivo archivos, JMP Vivir, y JMP Público.
En este presentación,
Soy yendo a hablar acerca de usando confianza curvas
como un alternativa a Nulo H hipótesis Significado Pruebas
en el contexto de profético modelo poner en pantalla.
Adicional material en este sujeto poder ser encontró en el JMP Comunidad sitio web
y el papel asociado con este presentación.
Dr. ruso wolfinger, OMS es a distinguido investigación compañero en JMP, es a co -autor,
y I haría como a agradecer a él para su contribuciones.
El Modelo Poner en pantalla plataforma introducido en Saltar Pro dieciséis,
permite tú a evaluar el actuación
de múltiple profético modelos usando cruz- validación.
A espectáculo tú cómo el Modelo Poner en pantalla plataforma obras,
Soy yendo a usar el Diabetes Datos mesa,
cual es disponible en el JMP Muestra Datos Biblioteca.
Enfermo elegir Modelo Poner en pantalla de el Analizar Profético Modelado menú.
JMP responde por mostrando el Modelo Poner en pantalla diálogo.
El primero tres columnas en el datos mesa
representar enfermedad progresión en continuo, binario, y ordinal formularios
Enfermo usar el continuo columna llamado Y como el respuesta variable.
Enfermo usar todo el columnas de Edad a Glucosa en el X Factor role.
Enfermo tipo 1-2-3-4 en el Colocar Aleatorio Semilla aporte caja para reproducibilidad
Enfermo seleccionar el controlar caja próximo a Plegado en K Cruz validación
y dejar k colocar a cinco.
Enfermo tipo tres en el aporte caja próximo a Repetido k Doblar.
En el Método lista, Enfermo deseleccionar Neural,
y ahora Enfermo seleccionar DE ACUERDO.
JMP responde por capacitación y validando modelos para cada de el seleccionado Métodos
usando su por defecto parámetro ajustes y cruz validación.
Después completando el capacitación y validando proceso,
JMP muestra el resultados en a nuevo ventana.
Para cada modelado método, el Modelo Poner en pantalla plataforma proporciona
actuación medidas en el forma de punto estimados
para el coeficiente de determinación,
cual es también conocido como R al cuadrado, el raíz promedio al cuadrado error,
y el estándar desviación para el raíz promedio al cuadrado error.
Ahora Enfermo hacer clic Seleccionar Dominante.
JMP responde por destacando el método eso realiza mejor
al otro lado de el actuación medidas.
Qué desaparecido aquí es a gráfico
a espectáculo tú el tamaño de el diferencia entre el Dominante Método
y el otro métodos, a lo largo de con el visualización
de el incertidumbre asociado con el diferencias
Pero por qué no justo espectáculo PAG valores indicando si el diferencias son ¿significativo?
No debería a decisión acerca de si uno modelo es superior a otro
ser basado en ¿significado?
Primero,
desde a valor p proporciona a probabilidad basado en a estandarizado diferencia,
a PAG valor por sí mismo pierde información acerca de el crudo diferencia,
entonces a significativo diferencia no implicar a significativo diferencia.
Pero es eso en realidad a ¿problema?
I significar, no es él inútil a ser preocupado
con el tamaño de a diferencia entre dos modelos antes significado pruebas es usado
a determinar si el diferencia es ¿real?
El problema con eso línea de pensamiento es eso es fuerza, o uno menos beta,
eso determina nuestro capacidad a correctamente rechazar a nulo hipótesis.
Autores semejante como jacob Cohen y Franco Schmidt
tener sugirió eso típico estudios tener a fuerza a detectar diferencias
en el rango de 0.4 a 0.6 .
Vamos suponer nosotros tener a diferencia dónde el fuerza a detectar a verdadero diferencia
es 0.5 en un Alfa valor de 0.05 .
Eso sugiere nosotros haría detectar el verdadero diferencia
en promedio 50 por ciento de el tiempo.
En eso caso, significado pruebas haría identificar real diferencias
No mejor que volteando un imparcial moneda.
Si todo otro cosas son igual, Tipo Uno y Tipo Dos errores son equivalente.
Pero significado pruebas eso usar un Alfa valor de .05
a menudo implícitamente asumir Tipo T ay errores son preferible a Tipo Uno errores,
particularmente si el fuerza es como bajo como 0.5 .
A común sugerencia a DIRECCIÓN estos y otro asuntos con significado pruebas
es a espectáculo el punto estimar a lo largo de con confianza intervalos
Uno objeción a haciendo entonces es eso a punto estimar
a lo largo de con un 95 por ciento confianza intervalo
es efectivamente el mismo cosa como significado pruebas.
Incluso si nosotros asumir eso es verdadero, a punto estimar y confianza intervalo
aún pone el magnitud de el diferencia en el rango de el incertidumbre
frente y centro,
mientras a solitario PAG valor oculta a ellos ambos.
Varios autores, incluido Cohen y Schmidt,
tener recomendado reemplazando significado pruebas
con punto estimados y confianza intervalos
Incluso entonces, el recomendación a usar confianza intervalos
ruega el pregunta, "Cual unos hacer nosotros ¿espectáculo?"
Demostración solo el 95 por ciento confianza intervalo
haría probable alentar tú a interpretar él como otro forma de significado pruebas.
El solución proporcionó por confianza curvas
es a literalmente espectáculo todo confianza intervalos
arriba a un arbitrariamente alto confianza nivel.
Entonces cómo hacer tú espectáculo confianza curvas en ¿JMP?
A convenientemente crear confianza curvas en JMP,
instalar el confianza curvas agregar- en por visitando el JMP Comunidad página principal.
Tipo "confianza curvas" en el buscar aporte campo.
Hacer clic en el primero entrada eso aparece
Ahora hacer clic el descargar icono próximo a Curvas de confianza.jmp agregar en,
y ahora tú poder hacer clic en el descargado archivo.
JMP responde por preguntando si I desear a instalar el agregar- en.
Tú haría hacer clic "Instalar."
Sin embargo, Enfermo hacer clic "Cancelar," como I ya tener el agregar- en instalado.
Cómo hacer tú usar el agregar- ¿en?
Primero, a generar confianza curvas para este informe,
seleccionar "Ahorrar Resultados Mesa"
de el arriba rojo triángulo menú situado en el modelo pantalla informe ventana.
JMP responde por creando a nuevo mesa que contiene, entre otros,
el siguiente columnas:
Ensayo, cual contiene el identificadores para tres conjuntos de cruz validación resultados;
Doblar, cual contiene el Identificadores para el cinco distinto conjuntos de submuestras
usado para validación en cada ensayo;
Método, cual contiene el métodos usado a crear modelos de el prueba datos,
y NORTE, cual contiene el número de datos puntos usado en el validación pliegues
Nota eso el ensayo columna voluntad ser desaparecido si el número de repite es exactamente uno,
en cual caso el Ensayo columna es ni creado ni necesario.
Ahorrar para eso excepción,
estos columnas son básico para el confianza curvas agregar- en
a función adecuadamente.
En suma a estos columnas,
tú necesidad uno columna eso proporciona el métrico a comparar métodos.
Enfermo ser usando R al cuadrado como el métrico de interés en este presentación.
Una vez tú tener el Modelo Pantalla y Resultados Mesa,
hacer clic "Agregar- En s" de el JMP principal menú bar y entonces electo "Confianza Curvas."
El lógica eso sigue haría ser mejor metido en a mago,
y I esperanza a agregar eso funcionalidad en a futuro liberar de el agregar- en.
Como él es, el primero diálogo eso aparece
peticiones tú a seleccionar el nombre de el mesa eso era generado
cuando tú eligió "Ahorrar Resultados Mesa"
de el Modelo Poner en pantalla Informes rojo triángulo menú.
El nombre de el mesa en este caso es Modelo Poner en pantalla Estadísticas Validación Colocar.
Próximo, a diálogo es desplegado eso peticiones el nombre de el método
eso voluntad atender como el base
de cual todo el otro actuación métrica son Medido.
I sugerir a partir de con el método
eso era seleccionado cuando tú hizo clic el Seleccionar Dominante, o en este caso,
I seleccionado o hizo clic Seleccionar Dominante opción
en el Modelo Pantalla y Informe ventana,
cual en este caso es adaptar paso inteligente.
Finalmente, a diálogo es desplegado
eso peticiones tú a seleccionar el métrico a ser comparado entre el varios métodos.
Como mencionado más temprano, Enfermo usar R al cuadrado como el métrico para comparación.
Saltar responde por creando a confianza curva mesa eso contiene PAG valores
y correspondiente confianza niveles
para el significar métrico diferencia entre el elegido base método
y cada de el otro métodos.
Más específicamente, el generado mesa tiene columnas para el siguiente:
Modelo, en cual cada fila contiene el nombre de el modelado método
cuyo actuación es evaluado relativo a el base método;
valor p,
en cual cada fila contiene el probabilidad asociado con el actuación diferencia
en el menos como extremo como el valores mostrado en el Diferencia en R Cuadrado columna;
Confianza Intervalo, en cual cada fila contiene el confianza nivel nosotros tener
eso el verdadero significar es contenido en el asociado intervalo.
Y finalmente, Diferencia en R Cuadrado, en cual cada fila es el máximo o mínimo
de el esperado diferencia en R al cuadrado asociado con el confianza nivel
mostrado en el Confianza Intervalo columna.
De este mesa, confianza curvas son creado
y mostrado en el Grafico Constructor grafico.
Qué son confianza ¿curvas?
A aclarar el llave atributos de a confianza curva,
Enfermo esconder todo pero el Apoyo Vector Máquinas confianza curva
usando el local datos filtrar por hacer clic en Apoyo Vector Máquinas.
Por por defecto, a confianza curva solo espectáculos el líneas
eso conectar el extremos de cada confianza intervalo.
A ver el puntos, seleccionar Espectáculo Control Panel de el rojo triángulo menú
situado próximo a el texto eso lee Gráfico de construcción r en el título bar.
Ahora Enfermo Cambio hacer clic el Puntos icono.
JMP responde por mostrando el fin puntos de el confianza intervalos
eso hacer arriba el confianza curva.
Ahora I voluntad zoom en y examinar a punto.
Si tú flotar el ratón puntero encima cualquier de estos puntos,
a flotar etiqueta espectáculos el PAG valor, confianza intervalo,
diferencia en el tamaño de el métrico,
y el método usado a generar el modelo ser comparado a el referencia.
Ahora I voluntad doblar apagado el puntos por Cambio hacer clic el Puntos icono
y hacer clic el Hecho botón.
Incluso aunque el individual puntos son No más extenso mostrado,
tú poder aún vista el asociado flotar etiquetas
por colocación el ratón puntero encima el confianza curva.
El punto estimar para el significar diferencia en actuación
entre Apoyo Vector M dolores y Adaptar paso inteligente
es mostrado en el 0 por ciento confianza nivel,
cual es el significar valor de el diferencias calculado usando cruz validación.
Confianza curva parcelas el medida de cada confianza intervalo
de el generado mesa entre el cero y 99 99 por ciento confianza nivel,
cual es un arbitrariamente alto valor.
A lo largo de el izquierda Y eje,
valores p asociado con la confianza intervalos son mostrado.
A lo largo de el bien Y eje,
el confianza nivel asociado con cada confianza intervalo se muestra.
El Y eje usos a registro escala,
entonces eso más resolución es mostrado en más alto confianza niveles
Por por defecto, dos referencia líneas son trazado junto a a confianza curva.
El vertical línea representa el tradicional nulo hipótesis
de No diferencia en efecto.
Tenga en cuenta que poder cambiar el vertical línea posición
y de este modo el implícito nulo hipótesis
en el X eje ajustes.
El horizontal línea
pasa a través de el convencional 95 por ciento confianza intervalo.
Como con el vertical referencia línea,
tú poder cambiar el horizontal línea posición
y de este modo el implícito nivel de significado,
por cambiando el Y eje ajustes.
Si a confianza curva cruces el vertical línea arriba el horizontal línea,
tú no puedo rechazar el nulo hipótesis usando significado pruebas.
Para ejemplo, nosotros no puedo rechazar el nulo hipótesis para apoyo vector máquinas.
En el otro mano,
si a confianza curva cruces el vertical línea abajo el horizontal línea,
tú poder rechazar el nulo hipótesis.
Por ejemplo, podemos rechazar la hipótesis nula de Impulsado Árbol.
Cómo son confianza curvas calculado?
El actual implementación de confianza curvas
asume el diferencias son calculado usando R veces repetido
Plegado en K cruz validación.
El medida de cada confianza intervalo es calculado
usando qué es conocido como a Diferencia corregido remuestreado Prueba T.
Nota eso autores claude nadeau y Yoshua bengio
anotado eso a corregido remuestreado T- prueba
es típicamente usado en casos dónde capacitación conjuntos
son cinco o diez veces más grande que validación conjuntos
Para más detalles, por favor ver el papel asociado con este presentación.
Entonces cómo son confianza curvas ¿interpretado?
Primero, a confianza curva gráficamente representa
el principal diferencia en el métrico de interés entre a dado método
y a referencia método en el 0 por ciento confianza nivel.
Nosotros poder evaluar si el significar diferencia entre métodos es significativo.
Si el significar diferencia no es significativo, hay pequeño punto en más análisis
de el dado método versus el referencia método con respeto a el elegido métrico.
Qué que constituye a significativo diferencia depende en el métrico de interés
como Bueno como el destinado científico o ingeniería solicitud.
Para ejemplo, tú poder ver el modelo desarrollado con a decisión árbol método
es en promedio acerca de 14 por ciento peor que Adaptar paso inteligente,
cual posiblemente es a significativo diferencia.
Si el diferencia es significativo,
nosotros poder evaluar cómo precisamente el diferencia tiene estado Medido
por evaluando el ancho de el asociado confianza intervalos
Para cualquier confianza intervalo no cruce el por defecto vertical eje,
nosotros tener en el menos eso nivel de confianza eso el significar diferencia es distinto de cero
Para ejemplo, el decisión árbol confianza curva no cruz el Y eje
hasta acerca de el 99 98 por ciento confianza nivel,
entonces nosotros son cerca de 99 98 por ciento seguro el significar diferencia no es igual a cero.
En hecho, con este datos colocar,
él vueltas afuera eso nosotros poder ser acerca de 81 por ciento seguro
eso Adaptar paso inteligente es en el menos como bien, si no mejor,
que cada método otro que generalizado lazo de regresión.
Ahora vamos considerar el relación entre confianza curvas.
Si dos o más confianza curvas significativamente superposición
y el significar diferencia de cada es no significativamente diferente de el otro,
el datos sugerir cada método realiza
acerca de el mismo como el otro con respeto a el referencia modelo.
Para ejemplo, nosotros poder ver eso en promedio,
la S apoyo Vector Máquinas modelo realiza
menos que 0.5 por ciento mejor que Oreja Bosque,
cual es discutible no a significativo diferencia.
Y el confianza intervalos
hacer no superposición hasta acerca de el cuatro por ciento confianza nivel,
cual sugiere estos valores haría ser esperado
si ambos métodos en realidad hacer tener acerca de el mismo diferencia en actuación
con respeto a el referencia.
Si el promedio diferencia en actuación
es acerca de el mismo para dos confianza curvas
pero el confianza intervalos no superposición también mucho,
el datos sugiere el modelos llevar a cabo acerca de el mismo como cada otro
con respeto a el referencia modelo.
Sin embargo, nosotros son seguro de a no- significativo diferencia.
Este particular caso es más raro que el otros, y
I no tener un ejemplo a espectáculo con este datos colocar.
En el otro mano,
si el promedio diferencia en actuación entre a par de confianza curvas
es significativamente diferente y el confianza curvas tener pequeño superposición,
el datos sugiere el modelos llevar a cabo diferentemente de uno otro
con respeto a el referencia.
Para ejemplo, el generalizado regresión lazo modelo
predice acerca de 13 8 por ciento más de el variación en el respuesta
que hace el decisión árbol modelo.
Además, el confianza curvas no superposición
hasta acerca de el 99 9 por ciento confianza nivel,
cual sugiere estos resultados son bastante inusual
si el métodos de hecho llevar a cabo acerca de el mismo con respeto a el referencia.
Finalmente, si el promedio diferencia en actuación
entre a par de confianza curvas
es significativamente diferente de uno otro y el curvas tener considerable superposición,
el datos sugiere eso mientras el métodos llevar a cabo diferentemente de uno otro
con respeto a el referencia,
él no lo haría ser sorprendente si el diferencias son el diferencias espurio.
Para ejemplo, nosotros poder ver eso en promedio,
Apoyo Vector Máquinas predicho alrededor del 1,4 por ciento más de el diferencia
en el respuesta que hizo k Más cercano Vecinos.
Sin embargo, el confianza intervalos comenzar a superposición
en acerca de el 17 por ciento confianza nivel,
cual sugiere él no lo haría ser sorprendente si el diferencia en actuación
entre cada método en el referencia
es de hecho menor que sugirió por el punto estimados.
Simultáneamente,
él no lo haría ser sorprendente si el actual diferencia es más grande que Medido,
o si el dirección de el diferencia es de hecho invertido
En otro palabras, el diferencia en actuación es incierto.
Nota eso él no es posible a evaluar el variabilidad en actuación
entre dos modelos relativo a uno otro
cuando el diferencias son relativo a a tercero modelo.
A comparar el variabilidad en actuación entre dos métodos
relativo a uno otro,
uno de el dos métodos debe ser el referencia método
de cual el diferencias son Medido.
Pero qué acerca de múltiple comparaciones?
No nosotros necesidad a ajustar el valores p
a control el familia inteligente Tipo Uno error ¿tasa?
En su papel acerca de confianza curvas, Daniel Barr sugiere
eso ajustes son necesario en confirmatorio estudios
dónde a meta es preespecificado, pero no en exploratorio estudios.
Este sugiere usando sin ajustar valores p para múltiple confianza curvas
en un exploratorio moda
y solo a soltero confianza curva generado de diferente datos
a confirmar su hallazgo de a significativo diferencia entre dos métodos
cuando usando significado pruebas.
Eso dicho, por favor mantener en mente el peligros de cereza cosecha
y PAG hackear cuando conductible exploratorio estudios.
En resumen, el Modelo Poner en pantalla plataforma introducido en JMP Pro dieciséis
proporciona a medio a simultáneamente comparar el actuación
de profético modelos creado usando diferente metodologías.
JMP tiene a largo- de pie meta a proporcionar a grafico con cada estadística,
y confianza curvas ayuda a llenar eso brecha
para el Modelo Poner en pantalla plataforma.
Tú podría naturalmente esperar a usar significado pruebas a diferenciar
entre el actuación de el varios métodos ser comparado.
Sin embargo, valores p tener venir bajo aumentó escrutinio en reciente años
para oscureciendo el tamaño de actuación diferencias
En suma,
valores p son a menudo malinterpretado como el probabilidad el nulo hipótesis es FALSO.
En cambio, a valor p es el probabilidad de observando a diferencia como o más extremo,
asumiendo el nulo hipótesis es verdadero.
El probabilidad de correctamente rechazando el nulo hipótesis
cuando él es FALSO es determinado por fuerza, o uno menos beta.
He argumentó eso él es no poco común a solo tener a 50 por ciento oportunidad
de correctamente rechazando el nulo hipótesis con un Alfa valor de 0.05 .
Como un alternativa, a confianza intervalo podría ser mostrado en cambio de a solitario valor p.
Sin embargo, el pregunta haría ser izquierda abierto como a cual confianza nivel a espectáculo.
Confianza curvas DIRECCIÓN estos preocupaciones
por demostración todo confianza intervalos arriba a un arbitrariamente alto nivel de confianza.
El significar diferencia en actuación
es claramente visible en el cero por ciento confianza nivel,
y eso hechos como a punto estimar.
Todo otro cosas ser igual,
Tipo Uno y Tipo Dos errores son equivalente,
entonces confianza curvas no empotrar a inclinación hacia comercio T sip Uno errores
para Tipo Dos.
Incluso entonces, por por defecto, a vertical línea es mostrado en el confianza curva grafico
para el estándar nulo hipótesis de No diferencia.
En suma, a horizontal línea es mostrado eso delinea
el 95 por ciento confianza intervalo,
cual fácilmente ofrece a típico significado pruebas análisis si deseado.
El predeterminados para estos líneas son fácilmente modificado
si a diferente nulo hipótesis y confianza nivel es deseado.
Incluso entonces, dado el bastante amplio y a veces enfático sugerencia
a reemplazar significado pruebas con punto estimados y confianza intervalos,
él puede ser mejor a vista a confianza curva como a punto estimar
a lo largo de con a cerca de integral vista de es asociado incertidumbre.
Si tú tener comentario acerca de el confianza curvas agregar- en,
por favor dejar a comentario en el JMP C comunidad sitio
y no olvidar a votar para este presentación
si tú encontró él interesante y o útil.
Agradecer tú para mirando este presentación, y yo esperanza tú tener a excelente día.
