349217_es-ES

liliconcom

Maximizar el éxito de la ciencia de datos con la calidad de la información (InfoQ) y JMP® (2021-EU-45MP-750)

https://www.jmp.com/en_us/whitepapers/book-chapters/infoq-support-with-jmp.html

Nivel: Intermedio

Ron Kenett, presidente de KPA Group y Samuel Neaman Instiute, Technion
Christopher Gotwalt, director de JMP, I+D estadístico, SAS

El análisis de datos (desde experimentos diseñados, regresión generalizada hasta aprendizaje automático) se está implementando a un ritmo acelerado. Al mismo tiempo, las preocupaciones sobre la reproducibilidad de los hallazgos y la interpretación errónea del valor p indican que los análisis estadísticos bien intencionados pueden conducir a conclusiones erróneas y malas decisiones. Para que un proyecto de análisis de datos cumpla adecuadamente sus objetivos, se debe evaluar el alcance y la solidez de las conclusiones derivadas de los datos y herramientas disponibles. Este enfoque en la estrategia estadística requiere un marco que aísle los componentes del proyecto: los objetivos, el procedimiento de recopilación de datos, las propiedades de los datos, el análisis proporcionado, etc. El marco InfoQ proporciona procedimientos estructurados para realizar esta evaluación. Además, es fácil poner en funcionamiento InfoQ en JMP. En esta presentación proporcionamos una descripción general de InfoQ junto con estudios de casos de uso, basados ​​en investigaciones de consumidores y fabricación de productos farmacéuticos, para ilustrar cómo se puede utilizar JMP para realizar una evaluación de InfoQ, destacando situaciones de InfoQ alto y bajo. También brindamos consejos que muestran cómo se puede utilizar JMP para aumentar la calidad de la información mediante un diseño de estudio mejorado, sin necesariamente adquirir más datos. Esta charla está dirigida a estadísticos, expertos en aprendizaje automático y científicos de datos cuyo trabajo es convertir números en información.

Transcripción generada automáticamente...

Vocero	Transcripción
	Hola.
	Mi nombre es Ron Kenett. Este
	es una charla conjunta con Chris
	Gotwalt y nosotros básicamente
	tener dos mensajes
	eso debería salir del
	hablar. Una es que deberíamos
	estar realmente preocupado por
	información e información
	calidad. La gente tiende a hablar.
	sobre los datos y la calidad de los mismos, pero
	Los datos realmente no son el problema.
	Somos estadísticos. Somos
	científicos de datos. Giramos números,
	datos en información para que
	nuestro objetivo debe ser asegurarnos
	que generamos alta calidad
	información. El otro mensaje
	es que JMP puede ayudarte
	lograrlo, y esto es
	en realidad resulta estar en
	maneras sorprendentes. Entonces al combinar
	la experiencia de Chris y un
	introducción a la información
	calidad, esperamos que estos dos
	los mensajes se cruzarán
	claramente. Así que si tuviera que hacerlo
	resumir qué es lo que
	Quiero hablar, después de todo,
	todo es cuestión de información
	calidad. di una charla en
	en la Cumbre de Praga cuatro años
	Hace y esa charla fue genérica.
	Hablaba de mover el
	viaje desde la calidad por el diseño.
	Mi viaje haciendo información
	calidad. En esta charla nos centramos
	sobre cómo se puede hacer esto con
	JMP. Este es un más detallado
	y charla técnica que el
	charla general que di en Praga.
	Puedes ver esa charla.
	Hay un enlace listado aquí. Puede
	Encuéntrelo en la comunidad JMP.
	Así que vamos a hablar de
	calidad de la información, que es
	el potencial del conjunto de datos, un
	conjunto de datos específico, para lograr un
	meta particular, una meta específica,
	con el método empírico dado.
	Entonces en esa definición tenemos
	tres componentes que son
	listado. Uno es un dato determinado.
	colocar. Aquí están los datos. El
	el segundo es el objetivo,
	El objetivo del análisis, ¿qué?
	es lo que queremos lograr.
	Y el tercero es cómo lo haremos.
	hacer eso, que es, con qué
	métodos que vamos a generar
	información y ese potencial
	va a ser evaluado con el
	función de utilidad. Y lo haré
	comenzar con una introducción a
	calidad de la información, y luego
	Chris se hará cargo,
	discutir el estudio de caso y
	mostrarle cómo realizar una
	Evaluación de la calidad de la información.
	Eventualmente esto debería
	Responde a la pregunta cómo JMP
	es compatible con InfoQ, que
	Serían las viñetas
	que tu puedes...los puntos para llevar
	de la charla. La configuración para
	esto es lo que nosotros animamos
	lo que llamé una vista del ciclo de vida
	de estadísticas. En otras palabras,
	no sólo análisis de datos.
	Deberíamos saber... deberíamos ser parte
	de la elicitación del problema
	fase. Además, el objetivo
	fase de formulación, que merece
	una discusión. Deberíamos
	obviamente estar involucrado en el
	esquema de recolección de datos si es
	mediante experimentos o mediante
	encuestas o mediante observaciones
	datos. Entonces también deberíamos tomar
	tiempo para la formulación del
	hallazgos y no simplemente retirarse
	informes impresos en
	coeficientes de regresión
	estimaciones y sus
	importancia, pero deberíamos
	también discutir cuáles son los
	¿recomendaciones? Operacionalización de
	hallazgos que significan, OK, ¿qué podemos
	qué hacer con estos hallazgos? Cuáles son
	las implicaciones de la
	¿recomendaciones? Esto debería debería...
	necesita ser comunicado a la
	personas adecuadas de la manera correcta,
	y eventualmente deberíamos hacer un
	evaluación de impacto para determinar,
	Bien, hicimos todo esto; que tiene
	sido el valor añadido de nuestra
	¿trabajar? hablé de la vida
	ciclo de sus estadísticas de unos años
	atrás. Este es el requisito previo,
	la perspectiva de lo que
	Voy a hablar de. Así como yo
	mencionado, la información
	La calidad es el potencial de una
	conjunto de datos particular para lograr un
	objetivo particular usando dado
	métodos de análisis empíricos. Este
	se identifica a través de cuatro
componentes	el objetivo, los datos,
	el método de análisis y el
	medida de utilidad. Entonces en un en un
	expresión matemática, la
	utilidad de aplicar f a x,
	condición en la meta, es como nosotros
	identificar InfoQ, información
	calidad. Esto fue publicado en
	la Real Sociedad de Estadística
	Serie A en 2013 con ocho
	participantes, por lo que fue ampliamente
	discutido. Algunas personas pensaron
	esto fue fantástico y algunos
	la gente tuvo muchas críticas sobre
	esa idea, por lo que esta es una más amplia
	consideración del alcance de lo que
	se trata de estadísticas. Nosotros también
	Escribí en 2006, nos encontramos.
	y Galit Shmueli, un libro llamado
	Calidad de la Información. Y en
	el contexto de la información
	calidad hicimos lo que se llama
	deconstrucción. David Hand tiene
	un artículo llamado Deconstrucción
	de Estadística. Este es el
	deconstrucción de información
	calidad en ocho dimensiones. I
	cubrirá estas ocho dimensiones.
	Esa es mi parte en la charla y
	Entonces Chris mostrará cómo esto
	se implementa de manera específica
	caso de estudio.
	Otro aspecto que se relaciona con
	Este es otro libro que tengo.
	Esto es reciente, hace un año.
	titulado El verdadero trabajo de los datos
	Ciencia y hablamos de lo que
	es el papel de los datos
	científicos en organizaciones y
	En ese contexto, enfatizamos
	la necesidad del científico de datos
	estar involucrado en la generación
	de la información como... información
	calidad como el cumplimiento de los objetivos de
	la organización. Así que permítanme
	Cubre las ocho dimensiones. Eso es
	Esa es mi introducción. El
	El primero es la resolución de datos. Nosotros
	tener una meta. OK, lo haríamos
	quisiera saber el nivel de gripe
	porque en el país o en el
	zona donde vivimos, porque eso
	afectará nuestra decisión sobre
	si ir al parque donde
	podríamos conocer gente o ir a
	a...a un concierto de jazz. Y eso
	El concierto es mañana.
	Si buscamos los datos de los CDC en
	el nivel de gripe, ese dato es
	actualizado semanalmente, para que podamos obtener
	la línea roja en el gráfico
	tienes frente a ti, así que nosotros
	Podría obtener datos de unos días.
	hace, tal vez bueno, tal vez no bueno
	suficiente para nuestro oro. gripe de google,
	que se basa en búsquedas
	relacionado con la gripe, se actualiza
	momentáneamente, por lo que se actualiza
	en línea, probablemente le dará
	nosotros una mejor información. entonces para
	nuestro objetivo, la línea azul, la
	Tendencia de Google... la gripe de Google
	El indicador de tendencias probablemente sea
	más apropiado. El segundo
	La dimensión es la estructura de datos.
	Para lograr nuestro objetivo, vamos a
	mirar datos. Deberíamos... nosotros
	debe identificar las fuentes de datos
	y la estructura de estos datos
	fuentes. Entonces algunos datos podrían ser
	texto, algunos podrían ser videos, otros
	podría ser, por ejemplo, el
	Red de recomendaciones. Este
	es una imagen de Amazon sobre cómo si
	miras el libro, estás
	voy a conseguir algo
	Otros libros recomendados. Y si
	vas a estos otros libros,
	vas a tener más datos
	recomendado. Entonces los datos
	La estructura puede ser de todo tipo.
	de formas y formas y esto puede
	ser texto. Esto puede ser funcional
	datos. Pueden ser imágenes. Somos
	no se limita ahora a lo que solíamos
	llamar datos, que es lo que
	buscar en una hoja de cálculo de Excel.
	Los datos podrían estar dañados,
	podría tener valores faltantes, podría
	tienen patrones inusuales que
	cuál podría ser
	algo que investigar. Alguno
	patrones, donde están las cosas
	repetido. Quizás algunos de los datos
	Esto es solo copiar y pegar y nosotros
	quisiera ser advertido sobre
	tales opciones. El tercero
	La dimensión es la integración de datos.
	Cuando consideramos los datos de
	estas diferentes fuentes, estamos
	vamos a integrarlos para que
	puede hacer algún enlace de análisis
	a través de una identificación. Por ejemplo, nosotros
	haría eso, pero al hacerlo,
	podríamos crear algunos problemas, por
	por ejemplo, en la divulgación de datos
	eso normalmente debería ser
	anonimizado. Datos
	integración, sí, eso será
	permítenos hacer cosas fantásticas,
	pero si los datos se perciben como
	tener cierta exposición a la privacidad
	problemas, entonces tal vez la calidad
	de la información de la
	análisis que vamos a hacer
	va a ser
	afectado. Entonces la integración de datos
	debe ser examinado muy, muy
	con cuidado. Esto es lo que la gente
	probablemente solía llamar a ETL
	extraer, transformar y cargar. Nosotros
	ahora tenemos métodos mucho mejores para
	haciendo eso. La opción de unirse, para
	Por ejemplo, en JMP ofrecerá
	opciones para hacer eso.
	Relevancia temporal. OK eso es
	bastante claro. Tenemos datos. Es
	estampado de alguna manera. si vamos
	para hacer el análisis más tarde, más tarde
	después de la recopilación de datos, y
	si el despliegue que nosotros
	considerar es incluso más tarde, entonces el
	Es posible que los datos no estén temporalmente.
	importante. en común
	situación, si queremos comparar
	¿Qué está pasando ahora?
	me gustaria poder hacer esto
	comparación con datos recientes o
	datos antes de la pandemia
	Comenzó, pero no hace 10 años.
	más temprano. Las estadisticas oficiales
	en los registros médicos solían haber dos
	o tres años de retraso en términos
	de sincronización, lo que lo hizo muy
	difícil el uso de oficial
	estadística en la evaluación
	que esta pasando con el
	pandemia. Cronología de datos y
	El objetivo está relacionado con la decisión.
	que hacemos como resultado de nuestra
	meta. Entonces, si, por ejemplo, nuestro
	El objetivo es pronosticar la calidad del aire.
	vamos a usar algunos
	modelos predictivos en el aire
	Índice de Calidad reportado en un
	diariamente. Esto nos da uno
	a seis escala de peligroso a
	bien. Hay algunos valores
	que representan niveles de
	preocupación por la salud. Cero-50 es bueno;
	300-500 es peligroso y el
	cronología de datos y objetivo
	significa que deberíamos poder
	hacer un pronóstico diariamente
	base. Entonces los métodos que utilizamos
	debe actualizarse diariamente
	base. Si, por el contrario,
	nuestro objetivo es descubrir cómo es
	este índice AQI calculado, entonces
	no están realmente obligados por el
	la oportunidad del análisis.
	Sabes, podríamos tomar nuestro
	tiempo. No hay urgencia en
	realizar el análisis en un
	diariamente. Generalizabilidad,
	la sexta dimensión, se trata de
	tomando nuestros hallazgos y
	considerando dónde podría esto
	aplicar en términos más generales,
	otras poblaciones, todas
	situaciones. Esto puede hacerse
	intuitivamente. Los directores de marketing que
	He visto un estudio sobre el
	mercado, llamémoslo A, podría
	ya entiendo cuales son los
	implicaciones para el mercado B
	sin datos. Personas que son
	Los físicos podrán
	hacer predicciones basadas en
	mecanica en primeros principios
	sin sin datos.
	Entonces algo de la generalización
	se hace con datos. Este es el
	base de estadística
	generalización, de donde partimos
	la muestra a la población.
	Las inferencias estadísticas se tratan de
	generalización. Generalizamos
	de la muestra a la
	población. Y algunos pueden ser
	basado en dominio, en otras palabras,
	utilizando conocimiento experto, dominio
	experiencia, no necesariamente con
	datos. Tenemos que reconocer que
	La generalización no es sólo
	hecho con estadísticas.
	La séptima dimensión es
	operacionalización de la construcción,
	que es realmente lo que es
	que medimos. Queremos
	evaluar el comportamiento, las emociones, lo que
	es que podemos medir, que
	nos dará datos que reflejen
	comportamiento o emociones.
	El ejemplo que doy aquí
	normalmente es dolor.
	Sabemos lo que es el dolor. Como hacer
	¿medimos eso? Si vas a un
	hospital y le preguntas a la enfermera,
	¿Cómo se evalúa el dolor?
	te lo diré, tenemos una báscula,
	1 a 10. Es muy
	cualitativo, no muy
	científico, diría yo. Si nosotros
	desea medir el nivel de
	alcohol en conductores en el...en
	el camino, será difícil
	medida. Entonces podríamos medir
	la velocidad como medida sustitutiva.
	Otra parte de
	la operacionalización es la otra
	El final de la historia. En otra
	palabras, la primera parte, la
	construir es lo que medimos,
	que refleja nuestro objetivo. La la
	fin... el resultado final aquí es que
	tenemos hallazgos y queremos
	hacer algo con ellos. Queremos
	para poner en práctica nuestro hallazgo.
	Esto es lo que la acción
	se trata la operacionalización.
	Se trata de lo que haces con el
	hallazgos y luego ser
	presentado aquí en un podio. Nosotros
	solía hacer tres preguntas.
	Estos son muy importantes
	preguntas que hacer. Una vez que tengas
	hecho algunos análisis, tienes
	alguien frente a ti que
	dice, oh, muchas gracias,
	ya terminaste...tú, el estadístico
	o el científico de datos. Así que esto
	esto te lleva un paso más,
	hacer que le preguntes a tu cliente
estas simples preguntas	Qué hacer
	quieres lograr? ¿Cómo será?
	haces eso y como lo harás
	saber si lo has logrado
	¿eso? Podemos ayudar a responder, o
	al menos apoyo, algunos de estos
	preguntas que hemos respondido.
	La octava dimensión es
	comunicación. te estoy dando un
	ejemplo de un viejo muy famoso
	mapa del siglo XIX, que
	está mostrando la marcha del
	Ejército de Napoleón desde Francia hasta
	Moscú a Rusia. ves el
	los números son el ancho de
	la ruta indica el tamaño
	del ejército, y luego en
	negro ves lo que le pasó
	ellos en su camino de regreso.
	Así que básicamente esto fue un
	marcha desastrosa. nosotros nosotros nosotros nosotros
	puedo relacionar este viejo mapa con
	mapas existentes, y hay una
	Complemento JMP, que puede
	encontrar en la comunidad JMP, a a
	mostrarte con diagramas de burbujas,
	La burbuja dinámica traza lo que esto
	parece. Así que he cubierto
	muy rapido la ocho informacion
	Dimensiones de calidad. Mi último
	diapositiva es de eso de lo que he hablado
	acerca de un histórico
	perspectiva, realmente pon algo
	proporciones a lo que estoy diciendo.
	Creo que realmente estamos en la era
	de la calidad de la información. Nosotros usamos
	preocuparse por el producto
	calidad en el siglo XVIII, la
	siglo 17. Luego nos mudamos a
	calidad del proceso y servicio
	calidad. Esta es una breve nota.
	al proponer un cuadro de control,
	1924, creo.
	Luego pasamos a la gestión.
	calidad. este es el juran
	trilogía de diseño, mejora.
	y control. Seis Sigma (definir,
	medir, analizar, mejorar)
	El proceso de control es el
	proceso de mejora de Juran,
	y Juran era el abuelo
	de Six Sigma en ese sentido.
	Luego, en los años 80, llegó Taguchi.
	en. Habla de robusto
	diseño. ¿Cómo podemos manejar
	variabilidad en los insumos mediante
	decisiones de diseño? Y ahora estamos
	en la era de la información
	calidad. Disponemos de sensores. Nosotros
	Disponer de sistemas flexibles. Somos
	dependiendo de la IA y la máquina
	aprendizaje y minería de datos y nosotros
	se están reuniendo en grande, en grande, en grande
	números, pero que llamamos grandes
	datos. El interés por la información.
	la calidad debe ser prima prima
	interés. voy a intentar y
	convencerte de, con la ayuda
	de Chris, eso.
	Estamos aquí y JMP puede
	ayúdanos a lograrlo en un
	manera realmente inusual.
	Lo que verás al final de
	el estudio de caso que Chris
	También se muestra cómo hacerlo.
	evaluación de la calidad de la información y
	en un estudio específico, básicamente
	generar una calidad de información
	puntaje. Entonces, si vamos de arriba hacia abajo, yo
	te puedo contar este estudio, este
	trabajo, este análisis es tal vez del 80% o
	tal vez el 30% o tal vez el 95%.
	Y a través del ejemplo podrás
	mira cómo hacer eso. Hay un
	Complemento JMP para proporcionar esto
	evaluación. es en realidad es
	bastante bastante fácil. hay
	nada realmente sofisticado
	sobre eso. Así que terminé y
	Chris, detrás de ti. Gracias, Ron. Entonces
	ahora voy a pasar por el
	análisis de un conjunto de datos de una manera
	que explícitamente llama la atención
	varios aspectos de la información
	calidad y mostrar cómo JMP puede ser
	Se utiliza para evaluar una mejora.
	para InfoQ. Entonces, primero que nada, estoy
	Voy a revisar el InfoQ
	componentes. El primer InfoQ
	El componente es el objetivo, por lo que en
	este caso el enunciado del problema
	¿Era una empresa química?
	Quería una formulación que
	rendimiento maximizado del producto mientras
	minimizar una impureza molesta
	que resultó de la reacción.
	Así que ese era el objetivo de alto nivel.
	En términos estadísticos, queríamos
	para encontrar un modelo que con precisión
	predijo una respuesta en un dato
	establecido para que podamos encontrar un
	combinación de ingredientes y
	pasos de procesamiento que conducirían
	a un mejor producto.
	Los datos están configurados en 100
	formulaciones experimentales con
	un ingrediente principal, X1, y
	10 aditivos. También hay un
	factor de procesamiento en 13
	respuestas. Los datos son
	completamente fabricado pero fueron
	simulado para ilustrar lo mismo
	fortalezas y debilidades de la
	datos originales. Los datos
	La formulación que se hizo también fue
	grabado. estaremos mirando
	estos datos de cerca, así que quiero
	elaborar más allá de señalar
	que fueron recogidos en un
	manera ad hoc, cambiando uno o dos
	aditivos a la vez en lugar de
	como diseño diseñado o aleatorio
	experimento. Hay un montón de
	formas de analizar estos datos, la
	siendo el más típico el menos
	modelado de cuadrados con avance
	selección de respuestas seleccionadas.
	Esa era mi intención original.
	para esta charla, pero cuando mostré
	los datos a Ron, él inmediatamente
	Reconoció las columnas de respuesta.
	como series de tiempo de análisis
	química. Aunque los datos
	fueron simulados, pudo ver el
	estructura. Él podía ver cosas
	en los datos que no vi
	y leer que no lo era. encontré
	esto es sorprendentemente
	impresionante. Está más allá del
	alcance de esta charla, pero hay
	un enfoque aún mejor basado en
	modelado de conjuntos usando
	ponderado fraccionalmente
	arranque. Phil Ramsey,
	Wayne Levin y yo tenemos otro
	hablar sobre esta metodología en
	el descubrimiento europeo
	Conferencia de este año. El
	enfoque es prometedor porque
	puede ajustar modelos a datos con
	interacciones más activas que
	hay carreras. El cuarto y último
	componente de la calidad de la información
	es la utilidad, que es lo bien que
	somos capaces de evaluar nuestros objetivos. O
	¿Cómo medimos qué tan bien hemos
	¿Evaluamos nuestros objetivos? Hay una
	aspecto de dominio que se encuentra en este
	caso queremos tener un
	formulación que conduce a
	maximizó los rendimientos y minimizó el
	residuos en el postprocesamiento de la
	material. La estadistica
	La utilidad de análisis se refiere a la
	modelo que nos ajustamos. que somos
	yendo por lo menos
	precisión de los cuadrados de nuestro modelo en
	términos de qué tan bien somos capaces de
	predecir lo que... lo que sería
	resultado del candidato
	combinaciones de formulación... de
	factores de mezcla. Ahora me voy
	para pasar por una serie de preguntas
	que componen un InfoQ detallado
	evaluación organizada en
	ocho dimensiones de información
	calidad. quiero señalar
	que no todas las preguntas serán
	igualmente relevante para diferentes
	ciencia de datos y estadistica
	proyectos, y que esto no es
	pretende ser un dogma rígido pero
	más bien un conjunto de cosas que son
	una buena idea preguntarse.
	Estas preguntas representan una especie
	de sabiduría analítica de datos que
	mira más ampliamente que solo el
	aplicación de un determinado
	tecnología estadística. Una copia
	de una hoja de cálculo con estos
	preguntas junto con sugerencias para
	Funciones de JMP que son más
	útil para responder una
	se subirá uno en particular
	a la comunidad JMP junto con
	con esta charla para que la uses. Como
	Sigo con las preguntas,
	Estaré demostrando un análisis de
	los datos en JMP. Entonces la pregunta 1
es	¿Es la escala de datos utilizada?
	¿Está alineado con el objetivo establecido? Entonces
	las X que tenemos consisten en
	una única variable categórica
	procesamiento y los 11 continuos
	entradas. Estos se miden
	como porcentajes y también son
	registrado al medio por ciento. Nosotros
	no tengo las cantidades totales de
	los ingredientes, solo el
	porcentajes. Los totales son
	información que se perdió
	o nunca grabado. Hay
	otros potencialmente importantes
	piezas de información que son
	falta aquí. El tiempo entre
	formular los lotes y
	ya no se toman las medidas
	y podría haber habido otros
	información a nivel de covariables que
	falta aquí que hubiera
	describió las condiciones bajo
	que ocurrió la reacción.
	Sin más información que yo.
	tengo, no puedo decir lo importante
	este tipo de información covariable
	habría sido. Nosotros tenemos
	información del día del
	lote, por lo que podría usarse como
	un sustituto posiblemente. En general nosotros
	tener lo que, con suerte, son los más
	aportes importantes, así como
	mediciones de las respuestas que
	desea optimizar. Nosotros podríamos tener
	Tenía más información, pero esto
	Parece lo suficientemente prometedor como para intentarlo.
	y análisis con. El segundo
	pregunta relacionada con los datos
	La resolución es cuán confiable y
	precisos son los dispositivos de medición
	y fuentes de datos. y el hecho
	es que no tenemos muchos
	información específica aquí. El
	estadístico interno el
	la empresa hubiera tenido más
	información. En este caso nosotros
	No tengo más remedio que confiar en eso.
	Los químicos formularon y
	registró bien las mezclas. El
	tercera pregunta relativa a los datos
la resolución es	son los datos
	análisis adecuado a los datos
	nivel de agregación? Y el
	La respuesta aquí es sí, asumiendo
	que su sistema de medición es
	exactos y que los datos sean
	lo suficientemente limpio. que vamos
	terminar haciendo en realidad es
	vamos a usar el
	Explorador de datos funcional para
	extraer principal funcional
	componentes, que son datos
	tipo de datos derivados
	agregación. Y luego estamos
	voy a modelar esos
	componentes principales funcionales
	utilizando las variables de entrada. Entonces
	ahora pasamos a los datos
	dimensión de la estructura y la
	La primera pregunta que nos hacemos es: ¿es
	datos utilizados alineados con el
	objetivo declarado? Y creo que el
	La respuesta es un claro sí aquí. Eran
	tratando de maximizar
	producir. Tenemos medidas para
	eso, y las entradas son
	registrado como Xs. El segundo dato
	la pregunta de estructura es donde
	las cosas realmente empiezan a ponerse
	interesante para mi. Entonces esto es
	son los detalles de integridad
	(valores atípicos, valores faltantes, datos
	corrupción) cuestiones descritas y
	manejado apropiadamente? Entonces de
	aquí podemos usar JMP para poder
	para entender dónde están los valores atípicos
	son, descubrir estrategias para
	qué hacer con los valores faltantes,
	observar sus patrones y así
	en. Así que aquí es donde
	las cosas se van a poner un poco
	un poco más interesante. La primera
	Lo que vamos a hacer es que estamos
	vamos a determinar si hay
	cualquier valor atípico en los datos que
	hay que preocuparse. Entonces
	para hacer eso vamos a ir
	en la exploración de valores atípicos
	plataforma fuera de la proyección
	menú. vamos a cargar el
	variables de respuesta, y porque
	esta es una configuración multivariada,
	vamos a utilizar una nueva característica
	en JMP Pro 16 llamado Robusto
	Valores atípicos de PCA. Entonces vemos donde
	los grandes residuos están en aquellos
	tipo de diagramas tipo Pareto.
	Hay una instantánea que muestra dónde
	hay algunos potencialmente
	observaciones inusualmente grandes. I
	Realmente no creo que esto parezca
	demasiado inusual o preocupante para mí.
	Podemos salvar los grandes valores atípicos
	a una tabla de datos y luego mirar
	ellos en la distribución
	plataforma y lo que vemos tipo de
	parece una distribución normal
	con el medio quitado. Asique
	Creo que estos son datos que son
	viniendo de algo así como lo mismo
	población y no hay nada
	realmente hay que preocuparse aquí,
	valores atípicos. Así que una vez que hayamos
	cuidado del valor atípico
	situación en la que entramos y exploramos
	valores faltantes. Entonces, ¿qué somos?
	vamos a hacer primero es vamos
	para cargar las Ys como... en el
	plataforma, y ​​luego nos vamos
	para usar el valor faltante
	instantánea para ver qué patrones
	ellos están entre nuestros desaparecidos
	valores. Parece el
	Los valores perdidos tienden a ocurrir en
	grupos horizontales, y hay
	también los mismos valores faltantes
	a través de filas. Entonces puedes ver eso
	con las manchas negras aquí.
	Y luego aplicaremos un
	imputación de datos automatizada,
	que sigue adelante y salva
	columnas de fórmula que imputan
	valores faltantes en el nuevo
	columnas que utilizan un tipo de regresión
	algoritmo desarrollado por
	un estudiante de doctorado mío llamado Milo
	Página en NC State. Entonces podemos jugar
	alrededor un poco y conseguir un
	sensación de cómo el ADI
	El algoritmo está funcionando. Entonces es
	creó estas columnas de fórmula
	que se están despegando elementos de
	la columna de imputación de ADI, que es
	una columna de fórmula vectorial y la
	función de imputación de puntuación
	está calculando lo esperado
	valor de las celdas faltantes dadas
	las celdas que no faltan, siempre que
	le falta un valor. Y es
	simplemente llevando a cabo un no
	valor que falta. Entonces puedes ver 207
	en YO...Y6 allí. es inicialmente
	207 pero luego lo cambio a
	desaparecido y ahora está siendo
	se atribuye a 234.
	Así que haré esto un par de veces.
	puedes ver cómo es
	laboral. Así que aquí pondré un gran
	valor para Y7 y eso es ahora.
	sido reemplazado. Y si bajamos
	y agregamos una fila,
	entonces todos los valores faltantes están ahí
	inicialmente y la columna significa
	son reemplazados por el
	imputaciones. si tuviera que ir
	adelante y agregar valores para algunos de
	esas células faltantes, sería
	empieza a hacer el condicional
	expectativa de los aún desaparecidos
	células usando la información
	eso esta en el que falta....el
	los que no faltan. Así que nuestro próximo
	La pregunta sobre la estructura de datos es.
	son los métodos de análisis
	adecuado para la estructura de datos?
	Entonces tenemos 11 entradas de mezcla.
	y una variable de procesamiento que es
	categórico. esos van
	ser entradas en al menos
	modelo tipo cuadrados. Tenemos
	13 respuestas continuas y
	podemos modelarlos usando...
	individualmente usando menos
	cuadrícula. O podemos modelar
	director funcional
	componentes. El...ahora hay
	problemas. Las X son...las
	las variables de entrada no han sido
	aleatorio en absoluto. Es muy
	claro que se ensuciarían
	alrededor con uno o más de
	los compuestos y luego moverse
	a otro. Entonces el
	orden en que el
	las variables de entrada fueron variadas
	fue algo casual. Es un
	clara falta de aleatorización, y
	eso va a ser negativo
	impacta nuestra... la generalización
	y fuerza de nuestras conclusiones.
	La integración de datos es el tercer
	Dimensión InfoQ. Estos datos
	son notas de laboratorio ingresadas manualmente
	compuesto principalmente de mezcla
	porcentajes y equipamiento
	lecturas. Sólo podemos suponer
	que los datos fueron ingresados
	correctamente y que las X estén
	alineados adecuadamente con las respuestas.
	Si ese no es el caso, entonces el
	el modelo tendrá un sesgo grave
	problemas y tener
	problemas de generalización.
	La integración es más un problema
	con datos observacionales
	problemas científicos en la máquina
	ejercicios de aprendizaje, que laboratorio
	experimentos como este. A pesar de
	no se aplica aquí, lo haré
	señalar que la privacidad y
	preocupaciones de confidencialidad pueden ser
	identificado modelando el
	parte sensible de los datos utilizando
	el componente que se publicará
	en los datos. Si el resultado
	se predice el modelo, entonces uno
	deberíamos preocuparnos de que la privacidad
	Las preocupaciones no se están cumpliendo. Temporal
	relevancia se refiere a la
	secuenciación del tiempo operativo de
	recopilación de datos, análisis y
	implementación y si las brechas
	entre esas etapas conduce a una
	disminución de la utilidad de
	la información en el estudio.
	En este caso, sólo podemos simplemente
	Espero que el material se suministre.
	son razonablemente consistentes y
	que el equipo de prueba esté
	razonablemente precisa, lo cual es una
	suposición no verificable en este
	punto. La resolución temporal que
	tener cuando la recolección de datos es
	a nivel diurno, lo que significa
	que no hay mucha manera de que
	podemos verificar si hay tiempo
	variación dentro de cada día.
	La cronología de los datos y el objetivo es
	sobre la disponibilidad de
	variables relevantes tanto en términos
	de si la variable es
	presente en absoluto en los datos o
	si la información correcta
	Estará disponible cuando el modelo
	está desplegado. Para predictivo
	modelos, esto se relaciona con modelos
	ajustarse a datos similares a
	lo que estará presente en ese momento
	el modelo será evaluado en
	nuevos datos. De esta manera, nuestros datos
	El conjunto está ciertamente bien. Para
	establecer causalidad, sin embargo,
	no estamos en una situación tan buena
	forma porque la falta de
	la aleatorización implica que el tiempo
	Los efectos y los efectos de los factores pueden
	confundirse, lo que lleva a sesgos
	en nuestras estimaciones. endogeneidad,
	o causalidad inversa, podría
	claramente será un problema aquí, ya que
	variables como la temperatura y
	El tiempo de reacción claramente podría ser
	impactando las respuestas, pero tienen
	han quedado sin registrar. En general,
	hay muchas cosas que no sabemos
	sobre esta dimensión en un
	sentido de la calidad de la información.
	El resto de InfoQ
	la evaluación va a ser
	dependiendo del tipo de
	análisis que hacemos. Entonces en esto
	punto voy a seguir adelante y
	realizar un análisis de estos datos
	utilizando los datos funcionales
	Plataforma Explorer en JMP Pro
	que me permite modelar
	todas las columnas simultáneamente
	de una manera que se basa en
	componentes principales funcionales,
	que contienen la cantidad máxima
	de información entre todos aquellos
	columnas como se representa en el
	formato más eficiente posible.
	voy a estar trabajando en el
	versiones imputadas de las columnas
	que calculé anteriormente en el
	presentación. Y yo voy a
	señalar que voy a ser
	trabajando para encontrar combinaciones de
	los factores de mezcla que logran
	lo más cerca posible en un
	sentido de mínimos cuadrados, un ideal
	curva creada por el
	practicante que maximiza la
	cantidad de producto potencial que
	podría estar en un lote mientras
	minimizando la cantidad de
	impurezas que ellos
	Pensé de manera realista en un lote.
	podría contener. Así que comienzo el
	análisis yendo al análisis
	menú, abra el menú Funcional
	Explorador de datos. Esto tiene filas como
	funciones. voy a cargar mi
	filas imputadas, y luego voy
	para poner en mi formulación
	componentes y mi procesamiento
	columna como complementaria
	variable. Tenemos una identificación
	función, esa es la identificación del lote. Aquí yo
	entrar. Puedo ver las funciones,
	tanto la superposición en conjunto, y
	Puedo ver las funciones individuales.
	Entonces puedo cargar el objetivo.
	función, que es la ideal.
	Y eso cambiará el
	análisis que resulta una vez que
	empieza a entrar en el modelaje
	pasos. Así que estos son bonitos
	funciones simples, así que solo estoy
	voy a modelarlos con
	Splines B.
	Y luego voy a entrar en mi
	Análisis funcional DOE.
	Esto se ajustará al modelo.
	que conecta las entradas en
	el director funcional
	componentes y luego conecte todos
	el camino a través del
	funciones propias para que así sea
	somos capaces de recuperar el
	funciones generales como
	cambiado, ya que estamos variando el
	factores de mezcla. El
	componente principal funcional
	El análisis ha indicado que
	hay cuatro dimensiones de
	variación en estas respuestas
	funciones. Para entender lo que
	quieren decir, sigamos adelante y
	explore con el perfilador FPC.
	Así que mire este panel aquí mismo como
	Ajusto FPC 1 y podemos ver
	que este FPC está asociado con
	altura del pico. FPC2, parece
	como si fuera una especie de pico
	estrechez. Es casi como un
	director de resolución
	componente. El tercero es
	relacionado con una especie de rodilla en
	a la izquierda del pico dominante.
	Y el Pico 4 parece que es
	relacionado principalmente con la
	impureza, así que eso es lo que
	significado subyacente es de
	estos cuatro funcionales
	componentes principales.
	Así que hemos caracterizado nuestro objetivo.
	como maximizar el producto y
	minimizando la impureza, y
	lo hemos comunicado al
	análisis a través de este ideal o
	curva dorada que suministramos en
	el comienzo del FDE
	ejercicio que estamos haciendo. para conseguir como
	lo más cerca posible de ese ideal
	curva, activamos la deseabilidad
	funciones. Y luego podemos ir
	y maximizar la conveniencia.
	Y encontramos que lo óptimo
	combinación de entradas es aproximadamente
	4,5% de
	Ingrediente cuatro, 2% de
	Ingrediente 6. 2,2% de
	Ingrediente 8 y 1,24% de
	Ingrediente 9 usando procesamiento
	método dos. Repasemos cómo
	hemos llegado hasta aquí. Nosotros primero
	calculó la respuesta faltante
	columnas. Luego encontramos B-spline
	Modelos que se ajustan a esas funciones.
	bien en la plataforma FDE. A
	componentes principales funcionales
	El análisis determinó que hay
	eran cuatro funciones propias
	caracterizando la variación en
	estos datos. Estos cuatro
	se determinaron funciones propias
	a través del perfilador FPC para cada
	tener un tema razonable
	significado de la materia. El funcional
	El análisis del DOE consistió en
	aplicando poda hacia adelante
	selección a cada uno de los
	puntuaciones FPC individuales utilizando el
	Factores DOE como variables de entrada.
	Y vemos aquí que estos tienen
	combinaciones encontradas de
	Interacciones y efectos principales.
	que fueron más predictivos para
	cada uno de los principales funcionales
	puntuaciones de los componentes individualmente.
	El perfilador funcional DOE
	ha capturado elegantemente todo
	aspectos en una representación
	que nos permite encontrar el
	paso de procesamiento de formulación que
	se prevé que sea deseable
	propiedades medidas por alta
	Rendimiento y baja impureza.
	Ahora podemos hacer un InfoQ
	evaluación de la
	generalizabilidad de los datos en
	el analisis. Entonces en este caso,
	estamos más interesados ​​en
	generalización científica, como
	el experimentador es profundamente
	químico experto trabajando
	con este compuesto. Así que estamos
	voy a depender más de
	su experiencia en la materia
	luego sobre principios estadísticos
	y herramientas como pruebas de hipótesis
	Etcétera. El objetivo es
	principalmente predictivo, pero el
	la generalización es una especie de
	problemático porque el
	El experimento no fue diseñado. Nuestro
	capacidad de estimar interacciones
	está debilitado para técnicas como
	selección adelantada e imposible
	mediante análisis de mínimos cuadrados de
	el modelo completo. Porque el
	el estudio no fue aleatorio, hay
	podría ser tiempo no registrado en
	efectos de orden. no tenemos
	covariable potencialmente importante
	información como temperatura y
	tiempo de reacción. Esto crea
	otro gran signo de interrogación
	en cuanto a la generalización.
	Repetibilidad y
	la reproducibilidad del estudio es
	también un desconocido aquí como tenemos
	ninguna información sobre el
	variabilidad debido a la
	sistema de medida. Afortunadamente,
	tenemos herramientas como las de JMP
	evaluar el diseño para comprender
	el diseño existente, así como
	diseño de aumento que puede en gran medida
	mejorar la generalización
	realización del análisis.
	El aumento puede mejorar la información
	sobre los efectos principales y
	interacciones y una segunda ronda
	de experimentación podría ser
	aleatorizado para mejorar también
	generalizabilidad. Así que ahora estoy
	voy a pasar por un par de
	pasos simples para mostrar cómo
	mejorar la generalización
	realización de nuestro estudio utilizando
	herramientas de diseño en JMP. Antes yo
	haz eso, quiero señalar
	que tuve que tomar los datos y
	convertirlo para que fuera
	proporciones y no en
	porcentajes. De lo contrario el diseño
	las herramientas no estaban realmente de acuerdo
	con los datos muy bien. Así que nosotros
	ir al diseñador de evaluación
	y luego cargamos nuestras Ys y
	nuestras X. Solicité la capacidad de
	Manejar interacciones de segundo orden.
	Entonces... sí, recibí esta alerta.
	diciendo, oye, no puedo hacer eso
	porque no somos capaces de
	estimar todas las interacciones
	dado un factor a la vez
	datos que tenemos. Así que respaldé
	arriba. Vamos al aumento.
	diseñador, carga todo,
	establecer aumento. Nosotros elegiremos y yo-
	diseño óptimo porque estamos
	realmente preocupado por
	rendimiento previsto aquí.
	Y yo
	establezca el número de ejecuciones en 148.
	El diseñador personalizado solicitó
	141 como mínimo, pero fui a
	148 solo para asegurarme
	que tenemos toda la capacidad para
	estimar todas nuestras interacciones
	muy bien. Después de eso,
	tarda unos 20 segundos en
	construir el diseño. Y ahora
	que tenemos el diseño, estoy
	voy a mostrar los dos más
	importantes herramientas de diagnóstico en
	el diseñador de aumentos para
	evaluar un diseño. Sobre el
	a la izquierda tenemos la fracción de
	diseño de trama espacial. Esto es
	mostrando que el 50% del volumen
	del diseño tiene
	una varianza de predicción que es
	menos de 1. Entonces 1 sería
	equivalente al residual
	error. Entonces podemos conseguir
	mejor que el error de medición
	predicciones de calidad sobre el
	la mayoría del diseño. Sobre el
	A la derecha tenemos el mapa de colores.
	correlaciones. esto esta mostrando
	que podemos estimar
	todo bastante bien. hay
	algunos...por la mezcla
	restricción, estamos obteniendo algunos
	fuertes correlaciones entre
	Interacciones y efectos principales.
	En general, los efectos son bastante
	limpio. Y las interacciones son
	bastante bien separado de uno
	otro, y los principales efectos
	están bastante bien separados de
	unos a otros también. Después
	mirando el diseño
	diagnóstico, podemos hacer el
	mesa. Aquí he mostrado el
	primeras 13 de las carreras aumentadas
	y vemos que tenemos...nosotros
	tener más aleatorización. nosotros no
	tener uso del mismo efecto principal
	una y otra vez rayas.
	Esa es evidencia de una mejor
	aleatorización y en general la
	el diseño va a poder
	estimar mucho mejor los principales
	efectos e interacciones que tienen
	recibido mejor, mayor calidad
	información en esta segunda etapa
	de experimentación. Entonces la entrada
	Las variables, las X, son precisas.
	representaciones de la mezcla
	proporción, así que es una clara
	interés objetivo. El
	las respuestas son sustituto cercano
	por la cantidad del producto
	y cantidad de impureza que hay en
	los lotes. Estamos bastante bien en
	7.1. allá. las justificaciones
	están claros. Después del estudio, nosotros
	Por supuesto que puedo ir a preparar un
	lote que es la formulación
	que fue recomendado por el FDOE
	perfilador. Pruébelo y vea si
	estamos obteniendo el tipo de
	rendimiento que estábamos buscando
	para. Está muy claro que eso
	sería la forma en que podemos
	evaluar qué tan bien hemos logrado
	nuestros objetivos de estudio. Así que ahora bajo el
	última dimensión de InfoQ
	Comunicación. Al describir el
	curva ideal como objetivo
	función, el DOE funcional
	Profiler marca el objetivo y el
	resultados del análisis cristal
	claro. Pero esto se puede expresar
	a un nivel que es fácilmente
	interpretado por los químicos y
	responsables de las instalaciones de I+D.
	Y como hemos hecho nuestro detallado
	evaluación de la calidad de la información,
	hemos sido sinceros sobre el
	fortalezas y debilidades de la
	diseño y datos del estudio
	recopilación. Si los resultados no
	No generalizamos, ciertamente
	saber dónde buscar dónde está
	los problemas eran. Una vez que te conviertes
	familiarizado con los conceptos,
	hay un buen complemento escrito
	por Ian Cox que puedes usar para
	hacer un InfoQ cuantitativo rápido
	evaluación. El complemento tiene
	controles deslizantes para la parte superior e inferior
	límites de cada dimensión de InfoQ.
	Estas dimensiones se combinan
	usando una función de deseabilidad
	enfoque para un intervalo general
	para InfoQ a la izquierda.
	He aquí una valoración para el
	datos y análisis que cubrí en
	esta presentación. El complemento es
	también una útil herramienta de pensamiento que
	te hará considerar cada uno de
	las dimensiones de InfoQ. También es un
	forma práctica de comunicarse
	Evaluaciones de InfoQ a su
	clientes o a su dirección, según
	proporciona una visión de alto nivel de
	calidad de la información sin
	usando mucha técnica
	conceptos y jerga. el complemento
	También es útil como base para
	una comparación de InfoQ. Mi
	esperanza original para esto
	la presentación iba a ser un poco
	un poco más ambicioso. yo había esperado
	para cubrir el análisis que tuve
	acaba de pasar, así como
	otro más sencillo, uno donde me salto
	ingresando las respuestas y haciendo
	un lineal multivariado simple
	modelo de regresión de la respuesta
	columnas. Hoy sólo puedo
	ofrecer una valoración final de ello
	acercarse. Como se puede ver,
	varios de los InfoQ
	las dimensiones sufren sustancialmente
	sin los más sofisticados
	análisis. Está muy claro que
	El simple análisis conduce a
	Puntuación InfoQ mucho más baja.
	El límite superior de lo simple.
	El análisis no es mucho más alto.
	que el límite inferior de la más
	uno sofisticado. Con
	experiencia, ganarás
	intuición sobre lo que es un buen InfoQ
	la puntuación es para ciencia de datos
	proyectos en su industria y
	adquiere mejores hábitos a medida que
	ya no estará ciego ante el
	cuellos de botella de información en su
	recopilación de datos, análisis y
	despliegue del modelo. Información
	calidad con un fácil de usar
	interfaz. Esta fue mi primera
	calidad de la información formal
	evaluación. Hablo por mí,
	la calidad de la información
	marco ha dado palabras y
	estructurar muchas cosas que
	Ya lo sabía instintivamente. Él
	ya ha cambiado como yo
	abordar nuevos análisis de datos
	proyectos. te animo a que vayas
	a través de este proceso usted mismo en
	sus propios datos, incluso si esos datos
	y el análisis ya es muy
	familiar para ti. lo aseguro
	que serás más sabio y
	científico de datos más eficiente
	por eso. Gracias.

FugarseGAMAModelado predictivo