349217_es-ES

liliconcom

Maximizar el éxito de la ciencia de datos con la calidad de la información (InfoQ) y JMP® (2021-EU-45MP-750)

https://www.jmp.com/en_us/whitepapers/book-chapters/infoq-support-with-jmp.html

Nivel: intermedio

 

Ron Kenett, presidente, KPA Group y Samuel Neaman Instiute, Technion
Christopher Gotwalt, director de JMP, I + D estadístico, SAS

 

El análisis de datos, desde experimentos diseñados, regresión generalizada hasta aprendizaje automático, se está implementando a un ritmo acelerado. Al mismo tiempo, la preocupación por la reproducibilidad de los resultados y la interpretación errónea del valor p indican que los análisis estadísticos bien intencionados pueden llevar a conclusiones erróneas y malas decisiones. Para que un proyecto de análisis de datos cumpla adecuadamente sus objetivos, se debe evaluar el alcance y la fuerza de las conclusiones derivadas de los datos y herramientas disponibles. Este enfoque en la estrategia estadística requiere un marco que aísle los componentes del proyecto: los objetivos, el procedimiento de recolección de datos, las propiedades de los datos, el análisis proporcionado, etc. InfoQ Framework proporciona procedimientos estructurados para realizar esta evaluación. Además, es fácil poner en funcionamiento InfoQ en JMP. En esta presentación proporcionamos una descripción general de InfoQ junto con estudios de casos de uso, extraídos de la investigación del consumidor y la fabricación farmacéutica, para ilustrar cómo se puede usar JMP para realizar una evaluación de InfoQ, destacando situaciones de InfoQ alta y baja. También ofrecemos consejos que muestran cómo se puede utilizar JMP para aumentar la calidad de la información mediante un diseño de estudio mejorado, sin necesidad de adquirir más datos. Esta charla está dirigida a estadísticos, expertos en aprendizaje automático y científicos de datos cuyo trabajo es convertir números en información.

 

 

Transcripción generada automáticamente ...

 

Vocero	Transcripción
	Hola.
	Mi nombre es Ron Kenett. Esta
	es una charla conjunta con Chris
	Gotwalt y nosotros básicamente
	tener dos mensajes
	que debería salir de la
	hablar. Uno es que deberíamos
	estar realmente preocupado por
	informacion e informacion
	calidad. La gente tiende a hablar
	sobre los datos y la calidad de los datos, pero
	los datos no son realmente el problema.
	Somos estadísticos. Estamos
	científicos de datos. Damos vuelta a los números,
	datos en información para que
	nuestro objetivo debería ser asegurarnos
	que generamos alta calidad
	información. El otro mensaje
	es que JMP puede ayudarte
	lograr eso, y esto es
	realmente resulta estar en
	formas sorprendentes. Entonces al combinar
	la experiencia de Chris y un
	introducción a la información
	calidad, esperamos que estos dos
	los mensajes llegarán
	claramente. Así que si tuviera que hacerlo
	resumir qué es lo que
	quiero hablar de, después de todo,
	se trata de información
	calidad. Di una charla en
	en la Cumbre de Praga cuatro años
	Hace y esa charla era genérica.
	Hablaba de mover el
	viaje desde la calidad por el diseño.
	Mi viaje haciendo información
	calidad. En esta charla nos enfocamos
	sobre cómo se puede hacer esto con
	JMP. Este es un
	y charla técnica que la
	charla general que di en Praga.
	Puedes ver esa charla.
	Hay un enlace listado aquí. Usted puede
	encuéntrelo en la comunidad JMP.
	Entonces vamos a hablar de
	calidad de la información, que es
	el potencial del conjunto de datos, un
	conjunto de datos específicos, para lograr un
	un objetivo particular, un objetivo específico,
	con el método empírico dado.
	Entonces en esa definición tenemos
	tres componentes que son
	enumerados. Uno es un dato determinado
	colocar. Aquí están los datos. los
	el segundo es el objetivo,
	el objetivo del análisis, qué
	es lo que queremos lograr.
	Y el tercero es cómo lo haremos
	haz eso, que es, con qué
	métodos que vamos a generar
	información, y ese potencial
	va a ser evaluado con el
	función de utilidad. Y lo haré
	comenzar con una introducción a
	calidad de la información, y luego
	Chris se hará cargo
	discutir el estudio de caso y
	mostrarle cómo realizar una
	evaluación de la calidad de la información.
	Eventualmente esto debería
	responde a la pregunta de cómo JMP
	admite InfoQ, que
	serían las viñetas
	que puedes ... los puntos para llevar
	de la charla. La configuración para
	esto es lo que animamos
	lo que llamé una vista del ciclo de vida
	de estadísticas. En otras palabras,
	no solo análisis de datos.
	Deberíamos saber ... deberíamos ser parte
	de la provocación del problema
	fase. Además, el objetivo
	fase de formulación, que merece
	una discusión. Deberíamos
	obviamente estar involucrado en el
	esquema de recopilación de datos si es
	a través de experimentos o mediante
	encuestas o mediante observaciones
	datos. Entonces también deberíamos tomar
	tiempo para la formulación del
	hallazgos y no solo sacar
	informes impresos sobre el
	coeficientes de regresión
	estimaciones y sus
	importancia, pero deberíamos
	también discutir cuáles son los
	¿recomendaciones? Operacionalización de
	hallazgos que significan, OK, ¿qué podemos
	hacer con estos hallazgos? Qué son
	las implicaciones de la
	¿recomendaciones? Esto debería ...
	necesita ser comunicado al
	las personas adecuadas de la manera correcta,
	y eventualmente deberíamos hacer un
	evaluación de impacto para averiguar,
	OK, hicimos todo esto; que tiene
	sido el valor agregado de nuestra
	¿trabaja? Hablé de la vida
	ciclo de tus estadísticas unos años
	atrás. Este es el requisito previo,
	la perspectiva de lo que
	Voy a hablar de. Así como yo
	mencionado, la información
	la calidad es el potencial de una
	conjunto de datos en particular para lograr un
	objetivo particular usando dado
	métodos de análisis empírico. Esta
	se identifica a través de cuatro
componentes	el objetivo, los datos,
	el método de análisis, y el
	medida de utilidad. Entonces en un en un
	expresión matemática, la
	utilidad de aplicar f ax,
	condición en la meta, es cómo
	identificar InfoQ, información
	calidad. Esto fue publicado en
	la Real Sociedad de Estadística
	Serie A en 2013 con ocho
	comentaristas, por lo que fue ampliamente
	discutido. Algunas personas pensaron
	esto fue fantástico y algo
	la gente tenía muchas críticas sobre
	esa idea, así que esta es una
	consideración del alcance de lo que
	se trata de las estadísticas. Nosotros también
	escribió en 2006, nos encontramos conmigo mismo
	y Galit Shmueli, un libro llamado
	Calidad de la información. Y en
	el contexto de la información
	calidad hicimos lo que se llama
	deconstrucción. David Hand tiene
	un artículo llamado Deconstrucción
	de Estadística. Este es el
	deconstrucción de información
	calidad en ocho dimensiones. I
	cubrirá estas ocho dimensiones.
	Esa es mi parte en la charla y
	entonces Chris mostrará cómo esto
	se implementa en un específico
	caso de estudio.
	Otro aspecto que se relaciona con
	este es otro libro que tengo.
	Esto es reciente, hace un año
	titulado El verdadero trabajo de los datos
	Ciencia y hablamos de lo que
	es el papel de los datos
	científicos en organizaciones y
	en ese contexto, enfatizamos
	la necesidad del científico de datos
	estar involucrado en la generación
	de información como ... información
	calidad como el cumplimiento de los objetivos de
	la organización. Así que permítanme
	cubrir las ocho dimensiones. Ese es
	esa es mi introducción. los
	el primero es la resolución de datos. Nosotros
	tener una meta. OK, lo haríamos
	me gustaría saber el nivel de gripe
	porque en el pais o en el
	zona donde vivimos, porque eso
	afectará nuestra decisión sobre
	si ir al parque donde
	podríamos conocer gente o ir a
	a ... a un concierto de jazz. Y eso
	El concierto es mañana.
	Si buscamos los datos de los CDC en
	el nivel de gripe, esos datos son
	actualizado semanalmente, para que podamos obtener
	la línea roja en el gráfico que
	tener frente a ti, entonces nosotros
	podría obtener datos de unos días
	hace, tal vez bueno, tal vez no bueno
	suficiente para nuestro oro. Google Flu,
	que se basa en búsquedas
	relacionado con la gripe, se actualiza
	momentáneamente, por lo que se actualiza
	en línea, probablemente le dará
	nosotros mejor información. Así que para
	nuestro objetivo, la línea azul, el
	Tendencia de Google ... la gripe de Google
	Indicador de tendencias, probablemente
	más apropiado. El segundo
	dimensión es la estructura de datos.
	Para alcanzar nuestro objetivo, vamos a
	mirar los datos. Deberíamos ... nosotros
	debe identificar las fuentes de datos
	y la estructura en estos datos
	fuentes. Entonces, algunos datos podrían ser
	texto, algunos podrían ser videos, algunos
	podría ser, por ejemplo, el
	red de recomendaciones. Esta
	es una imagen de Amazon sobre cómo si
	miras el libro, estás
	voy a conseguir algo
	otros libros recomendados. Y si
	vas a estos otros libros,
	vas a tener mas datos
	recomendado. Entonces los datos
	la estructura puede venir en todo tipo
	de formas y formas y esto puede
	ser texto. Esto puede ser funcional
	datos. Pueden ser imágenes. Estamos
	no limitado ahora a lo que usamos
	para llamar datos, que es lo que
	encontrar en una hoja de cálculo de Excel.
	Los datos podrían estar corruptos,
	podría tener valores perdidos, podría
	tienen patrones inusuales que
	cuál podría ser
	algo para mirar. Algunos
	patrones, donde están las cosas
	repetido. Quizás algunos de los datos
	es simplemente copiar y pegar y nosotros
	quisiera ser advertido sobre
	tales opciones. El tercero
	dimensión es la integración de datos.
	Cuando consideramos los datos de
	estas diferentes fuentes, somos
	vamos a integrarlos para que
	puede hacer algún enlace de análisis
	a través de una identificación. Por ejemplo, nosotros
	haría eso, pero al hacerlo,
	podríamos crear algunos problemas, por
	ejemplo, en la divulgación de datos
	que normalmente debería ser
	anonimizado. Datos
	integración, sí, eso será
	permítanos hacer cosas fantásticas,
	pero si se percibe que los datos
	tener algo de exposición a la privacidad
	problemas, entonces tal vez la calidad
	de la información del
	análisis que vamos a hacer
	va a ser
	afectado. Entonces, integración de datos
	debe ser examinado en muy, muy
	con cuidado. Esto es lo que la gente
	probablemente utilizado para llamar a ETL
	extraer, transformar y cargar. Nosotros
	ahora tengo métodos mucho mejores para
	haciendo eso. La opción de unirse, para
	ejemplo, en JMP ofrecerá
	opciones para hacer eso.
	Relevancia temporal. OK eso es
	bastante claro. Tenemos datos. Es
	estampado de alguna manera. Si vamos
	para hacer el análisis más tarde, más tarde
	después de la recopilación de datos, y
	si el despliegue que nosotros
	considerar es incluso posterior, entonces el
	los datos pueden no ser temporalmente
	pertinente. En un comun
	situación, si queremos comparar
	lo que está pasando ahora, lo haríamos
	me gusta poder hacer esto
	comparación con datos recientes o
	datos antes de la pandemia
	comenzó, pero no 10 años
	más temprano. Las estadísticas oficiales
	en los registros de salud solía ser dos
	o tres años atrás en términos
	de sincronización, lo que lo hizo muy
	dificultar el uso de oficial
	estadísticas en la evaluación
	que esta pasando con el
	pandemia. Cronología de datos y
	el objetivo está relacionado con la decisión
	que hacemos como resultado de nuestra
	objetivo. Entonces, si, por ejemplo, nuestro
	el objetivo es pronosticar la calidad del aire,
	vamos a usar algunos
	modelos predictivos en el aire
	Índice de calidad informado sobre un
	Diariamente. Esto nos da uno
	a seis escala de peligroso a
	bueno. Hay algunos valores
	que representan niveles de
	preocupación por la salud. Cero-50 es bueno;
	300-500 es peligroso y el
	cronología de datos y meta
	significa que deberíamos poder
	hacer un pronóstico a diario
	base. Entonces los métodos que usamos
	debe actualizarse a diario
	base. Si, por otro lado,
	nuestro objetivo es averiguar cómo es
	calculado este índice AQI, entonces
	no están realmente atados por el
	la puntualidad del análisis.
	Sabes, podríamos tomar nuestro
	hora. No hay urgencia en
	hacer el análisis en un
	Diariamente. Generalizabilidad,
	la sexta dimensión, se trata de
	tomando nuestros hallazgos y
	considerando donde esto podría
	aplicar en términos más generales,
	otras poblaciones, todas
	situaciones. Esto puede hacerse
	intuitivamente. Gerentes de marketing que
	he visto un estudio sobre el
	mercado, llamémoslo A, podría
	ya entiendo cuales son los
	implicaciones para el mercado B
	sin datos. Personas que son
	los físicos podrán
	hacer predicciones basadas en
	Mecánica sobre primeros principios.
	sin sin datos.
	Entonces, algo de la generalización
	se hace con datos. Este es el
	base de estadística
	generalización, de dónde vamos
	la muestra a la población.
	Las inferencias estadísticas se tratan
	generalización. Generalizamos
	de la muestra al
	población. Y algunos pueden ser
	basado en dominio, en otras palabras,
	utilizando conocimiento experto, dominio
	experiencia, no necesariamente con
	datos. Tenemos que reconocer que
	la generalización no es solo
	hecho con estadísticas.
	La séptima dimensión es
	operacionalización del constructo,
	que se trata realmente de lo que es
	que medimos. Queremos
	evaluar el comportamiento, las emociones, lo que
	es que podemos medir, que
	nos dará datos que reflejen
	comportamiento o emociones.
	El ejemplo que doy aquí
	típicamente es dolor.
	Sabemos qué es el dolor. Como hacer
	medimos eso? Si vas a un
	hospital y le preguntas a la enfermera,
	¿Cómo evalúas el dolor?
	te lo diré, tenemos una balanza,
	1 a 10. Es muy
	cualitativo, no muy
	científico, diría yo. Si nosotros
	quiero medir el nivel de
	alcohol en los conductores en el ... en
	el camino, será difícil
	la medida. Entonces podríamos medir
	la velocidad como medida sustituta.
	Otra parte de
	la operacionalización es la otra
	El final de la historia. En otra
	palabras, la primera parte, la
	construir es lo que medimos,
	que refleja nuestro objetivo. La la
	fin ... el resultado final aquí es que
	tenemos hallazgos y queremos
	haz algo con ellos. Queremos
	para operacionalizar nuestro hallazgo.
	Esto es lo que la acción
	la operacionalización se trata.
	Se trata de lo que haces con el
	hallazgos y luego ser
	presentado aquí en un podio. Nosotros
	Solía hacer tres preguntas.
	Estos son muy importantes
	preguntas que hacer. Una vez que tengas
	hecho un análisis, tienes
	alguien frente a ti que
	dice, oh, muchas gracias,
	ya terminaste ... tú, el estadístico
	o el científico de datos. Así que esto
	esto te da un paso más,
	conseguir que le pregunte a su cliente
estas simples preguntas	Qué hacer
	quieres lograr? Como sera
	haces eso y como vas a
	saber si has logrado
	¿ese? Podemos ayudar a responder, o
	al menos apoyo, algunos de estos
	preguntas que hemos respondido.
	La octava dimensión es
	comunicación. Te estoy dando un
	ejemplo de un viejo muy famoso
	mapa del siglo XIX, que
	está mostrando la marcha de la
	Ejército de Napoleón de Francia a
	Moscú a Rusia. Ves el
	los números son el ancho de
	el camino indica el tamaño
	del ejército, y luego en
	negro ves lo que le paso
	ellos en su camino de regreso.
	Básicamente, esto fue un
	marcha desastrosa. Nosotros nosotros nosotros nosotros
	puede relacionar este viejo mapa con
	mapas existentes, y hay una
	Complemento JMP, que puede
	encontrar en la comunidad JMP, para
	mostrarte con diagramas de burbujas,
	la burbuja dinámica traza lo que esto
	parece. Así que he cubierto
	muy rápidamente la ocho información
	dimensiones de calidad. Mi último
	diapositiva es de lo que he hablado
	sobre de un histórico
	perspectiva, realmente pon algo
	proporciones a lo que estoy diciendo.
	Creo que realmente estamos en la era
	de la calidad de la información. Nosotros usamos
	estar preocupado por el producto
	calidad en el siglo XVIII, la
	siglo 17. Luego nos mudamos a
	calidad de proceso y servicio
	calidad. Esta es una breve nota
	al proponer un gráfico de control,
	1924, creo.
	Luego pasamos a la gestión
	calidad. Este es el Juran
	trilogía de diseño, mejora
	y control. Six Sigma (definir,
	medir, analizar, mejorar)
	El proceso de control es el
	proceso de mejora de Juran,
	y Juran era el abuelo
	de Six Sigma en ese sentido.
	Luego, en los 80, llegó Taguchi
	en. Habla de robusto
	diseño. Como podemos manejar
	variabilidad en los insumos por
	decisiones de diseño? Y ahora estamos
	en la era de la información
	calidad. Tenemos sensores. Nosotros
	tener sistemas flexibles. Estamos
	dependiendo de la IA y la máquina
	aprendizaje y minería de datos y nosotros
	se están reuniendo grande, grande, grande
	números, pero que llamamos grandes
	datos. El interés por la información
	la calidad debe ser primordial
	interesar. Voy a intentar y
	convencerte de, con la ayuda
	de Chris, eso.
	Estamos aquí y JMP puede
	ayúdanos a lograrlo en un
	forma realmente inusual.
	Lo que verá al final de
	el caso de estudio que Chris
	mostrar también cómo hacerlo y
	evaluación de la calidad de la información y
	en un estudio específico, básicamente
	generar una calidad de información
	puntaje. Entonces, si vamos de arriba hacia abajo, yo
	puedo decirte este estudio, este
	funciona, este análisis es quizás el 80% o
	quizás el 30% o quizás el 95%.
	Y a través del ejemplo lo harás
	vea cómo hacer eso. Hay un
	Complemento JMP para proporcionar este
	evaluación. Es en realidad
	bastante fácil. Hay
	nada realmente sofisticado
	sobre eso. Así que he terminado y
	Chris, después de ti. Gracias, Ron. Asi que
	ahora voy a pasar por el
	análisis de un conjunto de datos de una manera
	que explícitamente llama a la
	varios aspectos de la información
	calidad y mostrar cómo JMP puede ser
	utilizado para evaluar una mejora
	para InfoQ. Así que primero que nada, estoy
	va a pasar por la InfoQ
	componentes. La primera InfoQ
	componente es el objetivo, por lo que en
	este caso el enunciado del problema
	era que una empresa quimica
	quería una formulación que
	rendimiento de producto maximizado mientras
	minimizando una impureza molesta
	que resultó de la reacción.
	Entonces ese era el objetivo de alto nivel.
	En términos estadísticos, queríamos
	para encontrar un modelo que con precisión
	predijo una respuesta en un dato
	configurado para que podamos encontrar un
	combinación de ingredientes y
	pasos de procesamiento que llevarían
	a un mejor producto.
	Los datos se configuran en 100
	formulaciones experimentales con
	un ingrediente principal, X1, y
	10 aditivos. También hay un
	factor de procesamiento en 13
	respuestas. Los datos son
	completamente fabricado pero fueron
	simulado para ilustrar el mismo
	fortalezas y debilidades del
	datos originales. Los datos
	Se hizo la formulación también
	grabado. Estaremos mirando
	estos datos de cerca, así que quiero
	elaborar más allá de señalar
	que fueron recogidos en un
	forma ad hoc, cambiando uno o dos
	aditivos a la vez en lugar de
	como diseñado o aleatorio
	experimentar. Hay un montón de
	formas de analizar estos datos, la
	más típico siendo el menos
	modelado de cuadrados con avance
	selección en respuestas seleccionadas.
	Esa era mi intencion original
	para esta charla, pero cuando mostré
	los datos a Ron, inmediatamente
	reconoció las columnas de respuesta
	como series de tiempo de analíticas
	química. Aunque los datos
	fueron simulados, pudo ver el
	estructura. Podía ver cosas
	en los datos que no vi
	y leí que no lo era. encontré
	esto es sorprendentemente
	impresionante. Está más allá del
	alcance de esta charla, pero hay
	un enfoque aún mejor basado en
	modelado de conjuntos usando
	ponderado fraccionalmente
	bootstrapping. Phil Ramsey,
	Wayne Levin y yo tenemos otro
	hablar sobre esta metodología en
	el descubrimiento europeo
	Conferencia de este año. los
	El enfoque es prometedor porque
	puede ajustar modelos a datos con
	interacciones más activas que
	hay carreras. El cuarto y último
	componente de la calidad de la información
	es la utilidad, que es lo bien que
	somos capaces de evaluar nuestros objetivos. O
	¿Cómo medimos lo bien que hemos
	evaluado nuestras metas? Hay una
	aspecto de dominio que se encuentra en este
	caso queremos tener un
	formulación que conduce a
	maximizó los rendimientos y minimizó el
	residuos en el posprocesamiento del
	material. La estadística
	La utilidad de análisis se refiere a la
	modelo que encajamos. Que somos
	yendo por lo menos
	cuadrados de precisión de nuestro modelo en
	en términos de qué tan bien podemos
	predecir lo que ... lo que haría
	resultado del candidato
	combinaciones de formulación ... de
	factores de mezcla. Ahora me voy
	para pasar por una serie de preguntas
	que componen una InfoQ detallada
	evaluación organizada en el
	ocho dimensiones de la información
	calidad. Quiero señalar
	que no todas las preguntas serán
	igualmente relevante para diferentes
	ciencia de datos y estadística
	proyectos, y que esto no es
	pretende ser un dogma rígido pero
	más bien un conjunto de cosas que son
	buena idea preguntarse uno mismo.
	Estas preguntas representan un tipo
	de sabiduría analítica de datos que
	parece más amplio que solo el
	aplicación de un particular
	tecnología estadística. Una copia
	de una hoja de cálculo con estos
	preguntas junto con sugerencias para
	Funciones de JMP que son las más
	útil para responder a una
	se subirá uno en particular
	a la comunidad JMP junto
	con esta charla para que la uses. Como
	Procedo con las preguntas,
	Estaré demostrando un análisis de
	los datos en JMP. Entonces pregunta 1
es	es la escala de datos utilizada
	alineado con el objetivo establecido? Asi que
	las X que tenemos consisten en
	una sola variable categórica
	procesamiento y los 11 continuos
	entradas. Estos se miden
	como porcentajes y también
	registrado al medio por ciento. Nosotros
	no tengo las cantidades totales de
	los ingredientes, solo los
	porcentajes. Los totales son
	información que se perdió
	o nunca grabado. Existen
	otros potencialmente importantes
	piezas de información que son
	falta aquí. El tiempo entre
	formular los lotes y
	tomando las medidas se ha ido
	y pudo haber otro
	información de nivel covariable que
	falta aqui que habria
	describió las condiciones bajo
	cuál ocurrió la reacción.
	Sin mas informacion que yo
	tengo, no puedo decir cuan importante
	este tipo de información covariable
	habría sido. Nosotros tenemos
	información sobre el día del
	lote, de modo que pueda utilizarse como
	posiblemente un sustituto. En general nosotros
	tener lo que es, con suerte, lo más
	insumos importantes, así como
	mediciones de las respuestas que
	desea optimizar. Nosotros podríamos tener
	tenía más información, pero esto
	parece lo suficientemente prometedor como para intentarlo
	y análisis con. El segundo
	pregunta relacionada con los datos
	resolución es lo confiable y
	precisos son los dispositivos de medición
	y fuentes de datos. Y el hecho
	es, no tenemos muchos
	información específica aquí. los
	estadístico interno el
	la empresa hubiera tenido más
	información. En este caso nosotros
	no tengo más remedio que confiar en eso
	los químicos formularon y
	registró bien las mezclas. los
	tercera pregunta relativa a los datos
la resolución es	son los datos
	análisis adecuado para los datos
	nivel de agregación? Y el
	la respuesta aquí es sí, asumiendo
	que su sistema de medición es
	exactos y que los datos sean
	lo suficientemente limpio. Que vamos
	terminar haciendo en realidad es
	vamos a usar el
	Explorador de datos funcional para
	extraer principio funcional
	componentes, que son datos
	tipo de datos derivados
	agregación. Y luego estamos
	va a estar modelando esos
	componentes principales funcionales
	utilizando las variables de entrada. Asi que
	ahora pasamos a los datos
	dimensión de la estructura y la
	La primera pregunta que hacemos es, ¿es el
	datos utilizados alineados con el
	objetivo declarado? Y creo que el
	La respuesta es un claro sí aquí. Fueron
	tratando de maximizar
	producir. Tenemos medidas para
	eso, y las entradas son
	registrado como Xs. El segundo dato
	La pregunta de estructura es dónde
	las cosas realmente empiezan a ponerse
	interesante para mi. Entonces esto es
	son los detalles de integridad
	(valores atípicos, valores perdidos, datos
	corrupción) problemas descritos y
	manejado apropiadamente? Entonces de
	aquí podemos usar JMP para poder
	para entender dónde están los valores atípicos
	son, descubrir estrategias para
	qué hacer con los valores perdidos,
	observar sus patrones y así
	en. Así que aquí es donde
	las cosas se van a poner un poco
	un poco más interesante. El primero
	lo que vamos a hacer es
	va a determinar si hay
	cualquier valor atípico en los datos que
	necesidad de preocuparse. Asi que
	para hacer eso, vamos a ir
	en los valores atípicos de explorar
	plataforma fuera de la proyección
	menú. Vamos a cargar el
	variables de respuesta, y porque
	esta es una configuración multivariante,
	vamos a usar una nueva función
	en JMP Pro 16 llamado Robust
	Valores atípicos de PCA. Entonces vemos donde
	los grandes residuos están en esos
	tipo de parcelas de tipo Pareto.
	Hay una instantánea que muestra dónde
	hay algunos potencialmente
	observaciones inusualmente grandes. I
	realmente no creo que esto se vea
	demasiado inusual o preocupante para mí.
	Podemos salvar los grandes valores atípicos
	a una tabla de datos y luego mire
	ellos en la distribución
	plataforma y lo que vemos una especie de
	parece una distribución normal
	con el medio sacado. Asique
	creo que estos son datos que son
	viniendo de una especie de lo mismo
	población y no hay nada
	realmente de qué preocuparse aquí,
	valores atípicos. Así que una vez que tenemos
	cuidado del valor atípico
	Situación entramos y exploramos
	valores faltantes. Entonces que somos
	lo primero que vamos a hacer es ir
	para cargar las Ys como ... en el
	plataforma, y luego vamos
	para usar el valor faltante
	instantánea para ver qué patrones
	están entre nuestros desaparecidos
	valores. Parece el
	los valores perdidos tienden a ocurrir en
	clústeres horizontales, y hay
	también los mismos valores perdidos
	a través de filas. Para que puedas ver eso
	con las manchas negras aquí.
	Y luego aplicaremos un
	imputación automatizada de datos,
	que sigue adelante y salva
	columnas de fórmula que imputan
	valores perdidos en el nuevo
	columnas usando un tipo de regresión
	algoritmo que fue desarrollado por
	un estudiante de doctorado mío llamado Milo
	Página en el estado de Carolina del Norte. Para que podamos jugar
	alrededor un poco y obtener un
	sentido de cómo el ADI
	el algoritmo está funcionando. Entonces es
	creó estas columnas de fórmula
	que están despegando elementos de
	la columna de imputación de ADI, que es
	una columna de fórmula vectorial, y el
	función de imputación de puntuación
	está calculando el esperado
	valor de las celdas faltantes dado
	las celdas que no faltan, siempre que
	tiene un valor faltante. Y es
	simplemente llevando a cabo un no
	valor que falta. Entonces puedes ver 207
	en YO ... Y6 allí. Es inicialmente
	207 pero luego lo cambio a
	falta y ahora está siendo
	imputado 234.
	Así que haré esto un par de veces
	puedes ver como es
	trabajando. Así que aquí pondré un gran
	valor para Y7 y eso es ahora.
	ha sido reemplazado. Y si bajamos
	y agregamos una fila,
	entonces todos los valores faltantes están ahí
	inicialmente y la columna significa
	son reemplazados por el
	imputaciones. Si fuera a ir
	adelante y agregue valores para algunos de
	esas celdas faltantes, sería
	empezar a hacer el condicional
	expectativa de los aún desaparecidos
	celdas usando la información
	eso está en el que falta ... el
	los que no faltan. Entonces nuestro próximo
	pregunta sobre la estructura de datos es
	son los métodos de análisis
	adecuado para la estructura de datos?
	Entonces tenemos 11 entradas de mezcla
	y una variable de procesamiento que es
	categórico. Esos se van
	ser entradas en al menos
	modelo tipo cuadrados. Tenemos
	13 respuestas continuas y
	podemos modelarlos usando ...
	individualmente usando menos
	cuadrícula. O podemos modelar
	principal funcional
	componentes. El ... ahora hay
	problemas. Las X son ... las
	las variables de entrada no han sido
	aleatorizado en absoluto. Es muy
	claro que ellos ensuciarían
	alrededor con uno o más de
	los compuestos y luego mover
	a otro. Entonces el
	orden en que el
	las variables de entrada fueron variadas
	fue un poco fortuito. Es un
	clara falta de aleatorización, y
	eso va a ser negativo
	impactar nuestra ... la generalización
	y fuerza de nuestras conclusiones.
	La integración de datos es la tercera
	Dimensión InfoQ. Estos datos
	son notas de laboratorio ingresadas manualmente
	que consiste principalmente en mezcla
	porcentajes y equipamiento
	lecturas. Solo podemos asumir
	que los datos fueron ingresados
	correctamente y que las X son
	alineado correctamente con las respuestas.
	Si ese no es el caso, entonces el
	el modelo tendrá un sesgo grave
	problemas y tener
	problemas con la generalización.
	La integración es más un problema
	con datos de observación
	problemas científicos en la máquina
	ejercicios de aprendizaje, que laboratorio
	experimentos como este. Aunque
	no se aplica aquí, yo
	señalar que la privacidad y
	preocupaciones de confidencialidad pueden ser
	identificado modelando el
	parte sensible de los datos utilizando
	el componente que se publicará
	en los datos. Si el resultado
	se predice el modelo, entonces uno
	debería preocuparse de que la privacidad
	las preocupaciones no se están cumpliendo. Temporal
	relevancia se refiere a la
	secuenciación del tiempo operativo de
	recopilación, análisis y
	implementación y si las brechas
	entre esas etapas conduce a una
	disminución en la utilidad de
	la información en el estudio.
	En este caso, simplemente podemos
	Espero que el material suministre
	son razonablemente consistentes y
	que el equipo de prueba es
	razonablemente exacto, que es un
	suposición no verificable en este
	punto. La resolución de tiempo que
	tener cuando la recopilación de datos es
	a nivel de día, lo que significa
	que no hay mucha manera de que
	podemos verificar si hay tiempo
	variación dentro de cada día.
	La cronología de los datos y el objetivo es
	sobre la disponibilidad de
	variables relevantes tanto en términos
	de si la variable es
	presente en absoluto en los datos o
	si la información correcta
	estará disponible cuando el modelo
	está desplegado. Para predictivo
	modelos, esto se relaciona con modelos
	ajustarse a datos similares a
	lo que estará presente en ese momento
	el modelo será evaluado en
	nuevos datos. De esta forma, nuestros datos
	El conjunto está ciertamente bien. Para
	estableciendo la causalidad, sin embargo,
	no estamos en tan buena
	forma porque la falta de
	la aleatorización implica que el tiempo
	los efectos y los efectos de los factores pueden
	ser confundido, lo que lleva a sesgos
	en nuestras estimaciones. Endogeneidad
	o causalidad inversa, podría
	claramente ser un problema aquí, ya que
	variables como temperatura y
	el tiempo de reacción claramente podría ser
	impactando las respuestas, pero han
	no se ha registrado. En general,
	hay mucho que no sabemos
	sobre esta dimensión en un
	sentido de la calidad de la información.
	El resto de la InfoQ
	la evaluación va a ser
	Dependiendo del tipo de
	análisis que hacemos. Entonces en esto
	punto voy a seguir adelante y
	realizar un análisis de estos datos
	usando los datos funcionales
	Plataforma Explorer en JMP Pro
	que me permite modelar a través
	todas las columnas simultáneamente
	de una manera que se basa en
	componentes principales funcionales,
	que contienen la cantidad máxima
	de información en todos esos
	columnas como se representa en el
	formato más eficiente posible.
	Voy a estar trabajando en el
	versiones imputadas de las columnas
	que calculé antes en el
	presentación. Y yo voy a
	señalar que voy a ser
	trabajando para encontrar combinaciones de
	los factores de mezcla que logran
	tan cerca como sea posible en un
	sentido mínimo cuadrado, un ideal
	curva que fue creada por el
	practicante que maximiza la
	cantidad de producto potencial que
	podría estar en un lote mientras
	minimizando la cantidad de
	impurezas que ellos
	Pensé de manera realista un lote
	podría contener. Entonces empiezo el
	análisis yendo al análisis
	menú, abre el menú Funcional
	Explorador de datos. Esto tiene filas como
	funciones. Voy a cargar mi
	filas imputadas, y luego voy
	poner en mi formulacion
	componentes y mi procesamiento
	columna como complemento
	variable. Tenemos una identificación
	función, eso es ID de lote. Aquí yo
	Entra. Puedo ver las funciones,
	tanto la superposición por completo, y
	Puedo ver las funciones individuales.
	Entonces puedo cargar el objetivo
	función, que es la ideal.
	Y eso cambiará el
	análisis que resulta una vez que yo
	empezar a entrar en el modelaje
	pasos. Entonces estos son bonitos
	funciones simples, así que solo estoy
	voy a modelarlos con
	B splines.
	Y luego voy a entrar en mi
	análisis DOE funcional.
	Esto se ajustará al modelo.
	que conecta las entradas en
	el principal funcional
	componentes y luego conecte todos
	el camino a través del
	funciones propias para que así sea
	podemos recuperar el
	funciones generales como ellos
	cambiado, ya que estamos variando el
	factores de mezcla. los
	componente principal funcional
	El análisis ha indicado que
	hay cuatro dimensiones de
	variación en estas respuestas
	funciones. Para entender que
	quieren decir, sigamos adelante y
	explorar con el generador de perfiles FPC.
	Así que mira este panel aquí como
	Ajusté el FPC 1 y podemos ver
	que este FPC está asociado con
	altura del pico. FPC2, parece
	como si fuera una especie de pico
	estrechez. Es casi como un
	principal de resolución
	componente. El tercero es
	relacionado con una especie de rodilla en
	la izquierda del pico dominante.
	Y Peak 4 parece que es
	principalmente relacionado con el
	impureza, así que eso es lo que
	el significado subyacente es de
	estos cuatro funcionales
	componentes principales.
	Entonces hemos caracterizado nuestro objetivo
	como maximizar el producto y
	minimizando la impureza, y
	lo hemos comunicado en el
	análisis a través de este ideal o
	curva dorada que suministramos en
	el comienzo de la FDE
	ejercicio que estamos haciendo. Para conseguir como
	lo más cerca posible de ese ideal
	curva, activamos la deseabilidad
	funciones. Y luego podemos irnos
	y maximizar la conveniencia.
	Y encontramos que el óptimo
	combinación de entradas se trata de
	4.5% de
	Ingrediente cuatro, 2% de
	Ingrediente 6. 2,2% de
	Ingrediente 8 y 1,24% de
	Ingrediente 9 usando procesamiento
	método dos. Repasemos cómo
	hemos llegado aquí. Nosotros primero
	calculó la respuesta faltante
	columnas. Entonces encontramos B-spline
	modelos que se ajustan a esas funciones
	bien en la plataforma FDE. A
	componentes principales funcionales
	El análisis determinó que no
	eran cuatro funciones propias
	caracterizando la variación en
	estos datos. Estos cuatro
	se determinaron las funciones propias
	a través del perfilador FPC a cada
	tener un tema razonable
	significado de la materia. El funcional
	El análisis DOE consistió en
	aplicando podado hacia adelante
	selección a cada uno de los
	puntuaciones de FPC individuales utilizando el
	Factores DOE como variables de entrada.
	Y vemos aquí que estos tienen
	combinaciones encontradas de
	interacciones y efectos principales
	que fueron más predictivos para
	cada uno de los principales funcionales
	puntajes de componentes individualmente.
	El perfilador funcional del DOE
	ha capturado elegantemente todo
	aspectos en una representación
	que nos permite encontrar el
	paso de procesamiento de formulación que
	se predice que tiene deseable
	propiedades medidas por alto
	rendimiento y baja impureza.
	Entonces ahora podemos hacer una InfoQ
	evaluación de la
	generalizabilidad de los datos en
	el analisis. Entonces, en este caso,
	estamos más interesados en
	generalizabilidad científica, como
	el experimentador es un profundo
	químico experto trabajando
	con este compuesto. Entonces estamos
	va a depender más de
	su experiencia en la materia
	luego en principios estadísticos
	y herramientas como pruebas de hipótesis
	Etcétera. El objetivo es
	principalmente predictivo, pero el
	la generalización es una especie de
	problemático porque el
	el experimento no fue diseñado. Nuestra
	capacidad para estimar interacciones
	está debilitado por técnicas como
	selección directa e imposible
	a través del análisis de mínimos cuadrados de
	el modelo completo. Porque el
	el estudio no fue aleatorio, no
	podría ser un tiempo sin registrar en
	efectos de orden. No tenemos
	covariable potencialmente importante
	información como temperatura y
	tiempo de reacción. Esto crea
	otro gran signo de interrogación
	con respecto a la generalización.
	Repetibilidad y
	la reproducibilidad del estudio es
	también un desconocido aquí como tenemos
	no hay información sobre el
	variabilidad debido a la
	sistema de medida. Por suerte,
	tenemos herramientas como las de JMP
	evaluar el diseño para comprender
	el diseño existente, así como
	aumentar el diseño que puede
	mejorar la generalización
	realización del análisis.
	El aumento puede mejorar la información
	sobre los efectos principales y
	interacciones, y una segunda ronda
	de experimentación podría ser
	aleatorizado para mejorar también
	generalizabilidad. Así que ahora estoy
	voy a pasar por un par de
	pasos sencillos para mostrar cómo
	mejorar la generalización
	realización de nuestro estudio utilizando
	herramientas de diseño en JMP. Antes yo
	haz eso, quiero señalar
	que tuve que tomar los datos y
	convertirlo para que fuera
	proporciones en lugar de en
	porcentajes. De lo contrario, el diseño
	las herramientas no estaban realmente de acuerdo
	con los datos muy bien. Así que nosotros
	entrar en el diseñador de evaluación
	y luego cargamos nuestras Ys y
	nuestras Xs. Solicité la capacidad de
	manejar interacciones de segundo orden.
	Entonces ... sí, recibí esta alerta
	diciendo, oye, no puedo hacer eso
	porque no podemos
	estimar todas las interacciones
	dado un factor a la vez
	datos que tenemos. Así que retrocedí
	hasta. Vamos al aumento
	diseñador, carga todo,
	establecer aumento. Elegiremos y yo ...
	diseño óptimo porque estamos
	realmente preocupado por
	rendimiento previsto aquí.
	Y yo
	establezca el número de carreras en 148.
	El diseñador personalizado solicitó
	141 como mínimo, pero fui a
	148 solo para estar seguro
	que tenemos toda la capacidad de
	estimar todas nuestras interacciones
	muy bien. Después de eso,
	tarda unos 20 segundos en
	construir el diseño. Y ahora
	que tenemos el diseño, soy
	voy a mostrar los dos mas
	importantes herramientas de diagnóstico en
	el diseñador de aumento para
	evaluar un diseño. Sobre el
	a la izquierda, tenemos la fracción de
	Diseño de parcela espacial. Este es
	mostrando que el 50% del volumen
	del diseño tiene
	una varianza de predicción que es
	menos que 1. Entonces 1 sería
	equivalente al residual
	error. Entonces podemos conseguir
	mejor que el error de medición
	predicciones de calidad sobre el
	la mayoría del diseño. Sobre el
	a la derecha tenemos el mapa de colores en
	correlaciones. Esto esta mostrando
	que podemos estimar
	todo bastante bien. Hay
	algunos ... por la mezcla
	restricción, estamos obteniendo algunos
	fuertes correlaciones entre
	interacciones y efectos principales.
	En general, los efectos son bastante
	limpio. Y las interacciones son
	bastante bien separado de uno
	otro, y los efectos principales
	están bastante bien separados de
	unos a otros también. Después
	mirando el diseño
	diagnósticos, podemos hacer el
	mesa. Aquí, he mostrado el
	primeras 13 carreras aumentadas
	y vemos que tenemos ... nosotros
	tener más aleatorización. Nosotros no
	tener uso del mismo efecto principal
	una y otra vez rayas.
	Eso es evidencia de mejor
	aleatorización y, en general,
	el diseño va a poder
	mucho mejor estimar el principal
	efectos e interacciones que tienen
	recibido mejor, de mayor calidad
	información en esta segunda etapa
	de experimentación. Entonces la entrada
	las variables, las X, son precisas
	representaciones de la mezcla
	proporción, por lo que es una clara
	interés objetivo. los
	las respuestas son un sustituto cercano
	por la cantidad del producto
	y la cantidad de impureza que hay en
	los lotes. Estamos bastante bien en
	7.1. allí. Las justificaciones
	están claros. Después del estudio,
	por supuesto, puede ir a preparar un
	lote que es la formulación
	que fue recomendado por el FDOE
	perfilador. Pruébelo y vea si
	estamos recibiendo el tipo de
	rendimiento que buscábamos
	por. Es muy claro que eso
	sería la forma en que podemos
	evaluar qué tan bien lo hemos logrado
	nuestros objetivos de estudio. Así que ahora bajo el
	última dimensión de InfoQ
	Comunicación. Al describir el
	curva ideal como objetivo
	función, el DOE funcional
	Profiler hace que el objetivo y el
	resultados del cristal de análisis
	claro. Pero esto se puede expresar
	a un nivel que sea fácil
	interpretado por los químicos y
	gerentes de la instalación de I + D.
	Y como hemos hecho nuestro detallado
	evaluación de la calidad de la información,
	hemos sido sinceros sobre el
	fortalezas y debilidades del
	diseño y datos del estudio
	colección. Si los resultados lo hacen
	no generalizar, ciertamente
	saber donde buscar donde el
	los problemas eran. Una vez que te conviertes
	familiarizado con los conceptos,
	hay un buen complemento escrito
	de Ian Cox que puedes usar para
	hacer una InfoQ cuantitativa rápida
	evaluación. El complemento tiene
	deslizadores para la parte superior e inferior
	límites de cada dimensión de InfoQ.
	Estas dimensiones se combinan
	usando una función de deseabilidad
	enfoque para un intervalo general
	para la InfoQ a la izquierda.
	Aquí hay una evaluación para el
	datos y análisis que cubrí en
	esta presentación. El complemento es
	también una herramienta de pensamiento útil que
	te hará considerar cada uno de
	las dimensiones de InfoQ. También es un
	forma práctica de comunicarse
	Evaluaciones de InfoQ a su
	clientes o su dirección, como
	proporciona una vista de alto nivel de
	calidad de la información sin
	usando mucha técnica
	conceptos y jerga. El complemento
	también es útil como base para
	una comparación de InfoQ. Mi
	esperanza original para esto
	la presentación iba a ser un poco
	un poco más ambicioso. Yo había esperado
	para cubrir el análisis que tuve
	acaba de pasar, así como
	otro más simple, uno donde me salto
	ingresando las respuestas y haciendo
	un simple lineal multivariante
	modelo de regresión de la respuesta
	columnas. Hoy solo puedo
	ofrecer una evaluación final de eso
	Acercarse. Como se puede ver,
	varias de las InfoQ
	las dimensiones sufren sustancialmente
	sin el mas sofisticado
	análisis. Es muy claro que
	el simple análisis conduce a
	puntuación InfoQ mucho más baja.
	El límite superior de lo simple
	el análisis no es mucho más alto
	que el límite inferior de la más
	sofisticado. Con
	experiencia, ganarás
	intuición sobre lo que es un buen InfoQ
	la puntuación es para ciencia de datos
	proyectos en su industria y
	adquiere mejores hábitos como tú
	ya no será ciego a la
	cuellos de botella de información en su
	recopilación, análisis y
	Despliegue del modelo. Información
	calidad con una facilidad de uso
	interfaz. Esta fue mi primera
	calidad de la información formal
	evaluación. Hablo por mí,
	la calidad de la información
	marco ha dado palabras y
	estructura a muchas cosas que
	ya lo sabía instintivamente. Eso
	ya ha cambiado como yo
	abordar el análisis de nuevos datos
	proyectos. Te animo a que vayas
	a través de este proceso usted mismo en
	sus propios datos, incluso si esos datos
	y el análisis ya es muy
	familiar para ti. lo aseguro
	que serás más sabio y
	científico de datos más eficiente
	por eso. Gracias.

FugarseGAMAModelado predictivo