349217_it-IT

liliconcom

Massimizzare il successo della scienza dei dati con Information Quality (InfoQ) e JMP® (2021-EU-45MP-750)

https://www.jmp.com/en_us/whitepapers/book-chapters/infoq-support-with-jmp.html

Livello: intermedio

 

Ron Kenett, Presidente, KPA Group e Samuel Neaman Instiute, Technion
Christopher Gotwalt, direttore di JMP, ricerca e sviluppo statistico, SAS

 

L'analisi dei dati, dagli esperimenti progettati, alla regressione generalizzata all'apprendimento automatico, viene implementata a un ritmo accelerato. Allo stesso tempo, le preoccupazioni per la riproducibilità dei risultati e l'interpretazione errata del valore p indicano che analisi statistiche ben intenzionate possono portare a conclusioni errate e decisioni sbagliate. Affinché un progetto di analisi dei dati soddisfi adeguatamente i suoi obiettivi, è necessario valutare la portata e la forza delle conclusioni derivate dai dati e dagli strumenti disponibili. Questa focalizzazione sulla strategia statistica richiede un quadro che isola le componenti del progetto: gli obiettivi, la procedura di raccolta dei dati, le proprietà dei dati, l'analisi fornita, ecc. InfoQ Framework fornisce procedure strutturate per effettuare questa valutazione. Inoltre, è facile rendere operativo InfoQ in JMP. In questa presentazione forniamo una panoramica di InfoQ insieme a studi di casi d'uso, attingendo alla ricerca sui consumatori e alla produzione farmaceutica, per illustrare come JMP può essere utilizzato per effettuare una valutazione InfoQ, evidenziando situazioni di InfoQ sia alto che basso. Forniamo anche suggerimenti che mostrano come JMP può essere utilizzato per aumentare la qualità delle informazioni mediante una progettazione avanzata dello studio, senza necessariamente acquisire più dati. Questo discorso è rivolto a statistici, esperti di machine learning e data scientist il cui compito è trasformare i numeri in informazioni.

 

 

Trascrizione generata automaticamente ...

 

Altoparlante	Trascrizione
	Ciao.
	Il mio nome è Ron Kenett. Questo
	è un colloquio con Chris
	Gotwalt e noi fondamentalmente
	avere due messaggi
	che dovrebbe uscire dal file
	parlare. Uno è che dovremmo
	essere davvero preoccupato
	informazione e informazione
	qualità. Le persone tendono a parlare
	sui dati e sulla qualità dei dati, ma
	i dati non sono davvero il problema.
	Siamo statistici. Noi siamo
	scienziati dei dati. Trasformiamo i numeri,
	dati in informazioni in modo che
	il nostro obiettivo dovrebbe essere quello di essere sicuri
	che generiamo alta qualità
	informazione. L'altro messaggio
	è che JMP può aiutarti
	raggiungere quello, e questo è
	in realtà si sta rivelando dentro
	modi sorprendenti. Quindi combinando
	l'esperienza di Chris e di un
	introduzione alle informazioni
	qualità, speriamo che questi due
	i messaggi arriveranno
	chiaramente. Quindi se dovessi
	riassumiamo quello che siamo
	voglio parlare, dopotutto,
	è tutta una questione di informazioni
	qualità. Ho tenuto un discorso a
	al Vertice di Praga quattro anni
	fa e quel discorso era generico.
	Ha parlato di spostare il file
	viaggio dalla qualità alla progettazione.
	Il mio viaggio facendo informazione
	qualità. In questo discorso ci concentriamo
	su come farlo
	JMP. Questa è una più dettagliata
	e discorso tecnico rispetto al
	discorso generale che ho tenuto a Praga.
	Puoi guardare quel discorso.
	C'è un collegamento elencato qui. Puoi
	trovalo nella community di JMP.
	Quindi ne parleremo
	qualità delle informazioni, che è
	il potenziale del set di dati, a
	set di dati specifici, per ottenere un
	obiettivo particolare, obiettivo specifico,
	con il metodo empirico dato.
	Quindi in quella definizione abbiamo
	tre componenti che sono
	elencati. Uno è un dato dato
	impostato. Ecco i dati. Il
	il secondo è l'obiettivo,
	l'obiettivo dell'analisi, cosa
	è quello che vogliamo ottenere.
	E il terzo è come lo faremo
	fare quello, cioè, con cosa
	metodi che stiamo per generare
	informazioni e quel potenziale
	sarà valutato con il
	funzione utile. E lo farò
	iniziare con un'introduzione a
	qualità delle informazioni, e poi
	Chris prenderà il sopravvento,
	discutere il caso di studio e e
	mostrarti come condurre un
	valutazione della qualità delle informazioni.
	Alla fine questo dovrebbe
	rispondi alla domanda come JMP
	supporta InfoQ, quello
	sarebbero i punti elenco
	che puoi ... i punti da asporto
	dal discorso. La configurazione per
	questo è quello che incoraggiamo
	quella che ho chiamato una visualizzazione del ciclo di vita
	delle statistiche. In altre parole,
	non solo analisi dei dati.
	Dovremmo sapere ... dovremmo farne parte
	dell'elicitazione del problema
	fase. Inoltre, l'obiettivo
	fase di formulazione, che merita
	una discussione. Dovremmo
	ovviamente essere coinvolto nel
	schema di raccolta dati, se lo è
	attraverso esperimenti o attraverso
	sondaggi o attraverso osservazioni
	dati. Allora dovremmo anche prendere
	tempo per la formulazione del
	risultati e non solo tirare fuori
	rapporti stampati in data
	coefficienti di regressione
	stime e loro
	significato, ma dovremmo
	discutere anche di cosa sono i file
	risultati? Operazionalizzazione di
	risultati che significano, OK, cosa possiamo
	fare con questi risultati? Cosa sono
	le implicazioni di
	risultati? Questo dovrebbe ...
	deve essere comunicato a
	persone giuste nel modo giusto,
	e alla fine dovremmo fare un file
	valutazione dell'impatto per capire,
	OK, abbiamo fatto tutto questo; cos'ha
	stato il valore aggiunto del ns
	opera? Ho parlato della vita
	ciclo delle tue statistiche di pochi anni
	fa. Questo è il prerequisito,
	la prospettiva di cosa
	Parlerò di. Così come io
	menzionato, le informazioni
	la qualità è il potenziale di un
	particolare set di dati per ottenere a
	obiettivo particolare utilizzando dato
	metodi di analisi empirica. Questo
	è identificato da quattro
componenti	l'obiettivo, i dati,
	il metodo di analisi e il
	misura di utilità. Quindi in a in a
	espressione matematica, il
	utilità di applicare f a x,
	condizione sull'obiettivo, è come noi
	identificare InfoQ, informazioni
	qualità. Questo è stato pubblicato in
	la Royal Statistical Society
	Serie A nel 2013 con otto
	interlocutori, così è stato ampiamente
	discusso. Alcune persone hanno pensato
	questo è stato fantastico e alcuni
	la gente ha avuto molte critiche
	quell'idea, quindi questa è più ampia
	considerazione dell'ambito di cosa
	le statistiche riguardano. Anche noi
	ha scritto nel 2006, ci siamo incontrati
	e Galit Shmueli, un libro intitolato
	Qualità delle informazioni. E in
	il contesto delle informazioni
	qualità abbiamo fatto quello che viene chiamato
	decostruzione. David Hand ha
	un documento chiamato Decostruzione
	di statistica. Questo è il
	decostruzione delle informazioni
	qualità in otto dimensioni. io
	coprirà queste otto dimensioni.
	Questa è la mia parte nel discorso e
	poi Chris mostrerà come questo
	è implementato in uno specifico
	argomento di studio.
	Un altro aspetto che riguarda
	questo è un altro libro che ho.
	Questo è recente, un anno fa
	intitolato The Real Work of Data
	Scienza e parliamo di cosa
	è il ruolo dei dati
	scienziati nelle organizzazioni e
	in quel contesto, abbiamo sottolineato
	la necessità del data scientist
	essere coinvolti nella generazione
	di informazione come ... informazione
	qualità come raggiungimento degli obiettivi di
	l'organizzazione. Quindi lasciami
	coprire le otto dimensioni. Quello è
	questa è la mia introduzione. Il
	il primo è la risoluzione dei dati. Noi
	avere un obiettivo. OK, lo faremmo
	piace conoscere il livello di influenza
	perché in campagna o in
	area in cui viviamo, perché quello
	influenzerà la nostra decisione su
	se andare al parco dove
	potremmo incontrare persone o andare a
	a ... a un concerto jazz. E quello
	il concerto è domani.
	Se cerchiamo i dati CDC su
	il livello di influenza, questo dato è
	aggiornato settimanalmente, così potremmo ottenere
	la linea rossa nel grafico tu
	abbiamo di fronte a te, quindi noi
	potrebbe ottenere dati di pochi giorni
	fa, forse buono, forse non buono
	abbastanza per il nostro oro. Google Flu,
	che si basa sulle ricerche
	relativo all'influenza, viene aggiornato
	momentaneamente, quindi viene aggiornato
	online, probabilmente darà
	noi una migliore informazione. Quindi per
	il nostro obiettivo, la linea blu, il
	Tendenza di Google ... l'influenza di Google
	Indicatore di tendenze, probabilmente
	più appropriato. Il secondo
	la dimensione è la struttura dei dati.
	Per raggiungere il nostro obiettivo, lo faremo
	guarda i dati. Dovremmo ... noi
	dovrebbe identificare le fonti di dati
	e la struttura in questi dati
	fonti. Quindi alcuni dati potrebbero essere
	testo, alcuni potrebbero essere video, altri
	potrebbe essere, ad esempio, il file
	rete di raccomandazioni. Questo
	è un'immagine di Amazon su come se
	guardi il libro, sei
	andando a prenderne un po '
	altri libri consigliati. E se
	vai a questi altri libri,
	avrai più dati
	consigliato. Quindi i dati
	la struttura può venire in tutti i tipi
	di forme e forme e questo può
	essere testo. Questo può essere funzionale
	dati. Queste possono essere immagini. Noi siamo
	non si limita ora a ciò che abbiamo usato
	per chiamare dati, che è ciò che tu
	trova in un foglio di calcolo Excel.
	I dati potrebbero essere danneggiati,
	potrebbe avere valori mancanti, potrebbe
	hanno modelli insoliti che
	quale sarebbe
	qualcosa da esaminare. Alcuni
	schemi, dove sono le cose
	ripetuto. Forse alcuni dati
	è solo copia e incolla e noi
	vorrebbe essere avvertito
	tali opzioni. Il terzo
	dimensione è l'integrazione dei dati.
	Quando consideriamo i dati di
	queste diverse fonti, siamo
	andando a integrarli così noi
	può fare un collegamento di analisi
	tramite un ID. Ad esempio, noi
	lo farebbe, ma così facendo,
	potremmo creare alcuni problemi, per
	esempio, nella divulgazione dei dati
	che normalmente dovrebbe essere
	anonimizzato. Dati
	integrazione, sì, lo farà
	permettici di fare cose fantastiche,
	ma se i dati vengono percepiti
	avere una certa esposizione alla privacy
	problemi, quindi forse la qualità
	delle informazioni dal
	analisi che faremo
	sta per essere
	colpiti. Quindi integrazione dei dati
	dovrebbe essere esaminato molto, molto
	accuratamente. Questo è ciò che le persone
	probabilmente usato per chiamare ETL
	estrarre, trasformare e caricare. Noi
	ora hanno metodi molto migliori per
	facendo questo. L'opzione di partecipazione, per
	esempio, in JMP offrirà
	opzioni per farlo.
	Rilevanza temporale. OK, questo è
	abbastanza chiaro. Abbiamo dati. È
	timbrato in qualche modo. Se stiamo andando
	per fare l'analisi più tardi, più tardi
	dopo la raccolta dei dati, e
	se il dispiegamento che noi
	considerare è anche più tardi, quindi il
	i dati potrebbero non essere temporali
	pertinente. In un comune
	situazione, se vogliamo confrontare
	quello che sta succedendo ora, lo faremmo
	piace essere in grado di farlo
	confronto con dati recenti o
	dati prima della pandemia
	iniziato, ma non 10 anni
	prima. Le statistiche ufficiali
	sulle cartelle cliniche erano due
	o tre anni indietro in termini
	di tempismo, che lo ha reso molto
	difficile l'uso del funzionario
	statistiche nella valutazione
	cosa sta succedendo con il
	pandemia. Cronologia dei dati e
	l'obiettivo è legato alla decisione
	che realizziamo come risultato del nostro
	obbiettivo. Quindi se, ad esempio, il nostro
	l'obiettivo è prevedere la qualità dell'aria,
	ne useremo alcuni
	modelli predittivi in onda
	Indice di qualità riportato su a
	quotidianamente. Questo ce ne dà uno
	a sei scale da pericoloso a
	bene. Ci sono dei valori
	che rappresentano i livelli di
	preoccupazione per la salute. Zero-50 è buono;
	300-500 è pericoloso e il file
	cronologia dei dati e obiettivo
	significa che dovremmo essere in grado di farlo
	fare una previsione su base giornaliera
	base. Quindi i metodi che usiamo
	dovrebbe essere aggiornato quotidianamente
	base. Se invece
	il nostro obiettivo è capire com'è
	questo indice AQI calcolato, poi noi
	non sono realmente vincolati da
	la tempestività dell'analisi.
	Sai, potremmo prendere il nostro
	tempo. Non c'è urgenza
	ottenere l'analisi eseguita su un file
	quotidianamente. Generalizzabilità,
	la sesta dimensione, riguarda
	prendendo i nostri risultati e
	considerando dove questo potrebbe
	si applicano in termini più generali,
	altre popolazioni, tutte
	situazioni. Questo può essere fatto
	intuitivamente. Responsabili del marketing che
	ho visto uno studio sul su
	mercato, chiamiamolo A, potrebbe
	capisco già cosa sono i file
	implicazioni per il mercato B
	senza dati. Persone che lo sono
	i fisici saranno in grado di farlo
	fare previsioni basate su
	meccanica su principi primi
	senza senza dati.
	Quindi alcune delle generalizzabilità
	è fatto con i dati. Questo è il
	base statistica
	generalizzazione, da dove andiamo
	il campione alla popolazione.
	Si tratta di inferenze statistiche
	generalizzazione. Generalizziamo
	dal campione al
	popolazione. E alcuni possono esserlo
	basato sul dominio, in altre parole,
	utilizzando conoscenze specialistiche, dominio
	competenza, non necessariamente con
	dati. Dobbiamo riconoscerlo
	la generalizzabilità non è solo
	fatto con le statistiche.
	La settima dimensione è
	costruire operazionalizzazione,
	che è davvero su quello che è
	che misuriamo. Noi vogliamo
	valutare il comportamento, le emozioni, cosa
	è quello che possiamo misurare, quello
	ci darà dati che riflettono
	comportamento o emozioni.
	L'esempio che fornisco qui
	tipicamente è dolore.
	Sappiamo cos'è il dolore. Come faccio
	lo misuriamo? Se vai a un file
	ospedale e chiedi all'infermiera,
	come valuti il dolore, loro
	ti dirò, abbiamo una scala,
	Da 1 a 10. È molto
	qualitativo, non molto
	scientifico, direi. Se noi
	desidera misurare il livello di
	alcol nei conducenti sul ... via
	la strada, sarà difficile
	misurare. Quindi potremmo misurare
	velocità come misura sostitutiva.
	Un'altra parte di
	l'operazionalizzazione è l'altra
	fine della storia. In altro
	parole, la prima parte, il
	costruire è ciò che misuriamo,
	che riflette il nostro obiettivo. La la
	fine ... il risultato finale qui è quello
	abbiamo scoperte e vogliamo
	fare qualcosa con loro. Vogliamo
	per rendere operativa la nostra scoperta.
	Questo è ciò che l'azione
	si tratta di operazionalizzazione.
	Riguarda ciò che fai con il file
	scoperte e poi essere
	presentato qui su un podio. Noi
	faceva tre domande.
	Questi sono molto importanti
	domande da porre. Una volta che hai
	fatto qualche analisi, l'hai fatto
	qualcuno di fronte a te che
	dice, oh, grazie mille,
	hai finito ... tu, lo statistico
	o il data scientist. Così questo
	questo ti porta un passo in più,
	farti chiedere al tuo cliente
queste semplici domande	Cosa fare
	vuoi realizzare? Come sarà
	lo fai e come lo farai
	sapere se hai realizzato
	quello? Possiamo aiutare a rispondere, o
	almeno il supporto, alcuni di questi
	domande a cui abbiamo risposto.
	L'ottava dimensione è
	comunicazione. Ti sto dando un
	esempio da un vecchio molto famoso
	mappa del XIX secolo, che
	sta mostrando la marcia del
	Napoleone Army dalla Francia al
	Mosca alla Russia. Vedi il file
	i numeri sono la larghezza di
	il percorso indica la dimensione
	dell'esercito, e poi avanti
	nero vedi cosa è successo
	loro sulla via del ritorno.
	Quindi fondamentalmente questo era un file
	marcia disastrosa. We we we we
	può mettere in relazione questa vecchia mappa con
	mappe esistenti e c'è un file
	Componente aggiuntivo JMP, che puoi
	trovare nella community JMP, a
	mostrarti con grafici a bolle,
	bolla dinamica traccia cosa questo
	sembra. Quindi ho coperto
	molto rapidamente le otto informazioni
	dimensioni di qualità. La mia ultima
	diapositiva è quello di cui ho parlato
	circa da uno storico
	prospettiva, davvero metterne un po '
	proporzioni a quello che sto dicendo.
	Penso che siamo davvero nell'era
	della qualità delle informazioni. Abbiamo usato
	preoccuparsi del prodotto
	qualità nel 18 ° secolo, il
	XVII secolo. Ci siamo quindi trasferiti a
	qualità del processo e servizio
	qualità. Questo è un breve promemoria
	sulla proposta di una carta di controllo,
	1924, credo.
	Quindi passiamo alla gestione
	qualità. Questo è il Juran
	trilogia di design, miglioramento
	e controllo. Six Sigma (definire,
	misurare, analizzare, migliorare)
	processo di controllo è il
	processo di miglioramento di Juran,
	e Juran era il nonno
	di Six Sigma in questo senso.
	Poi negli anni '80 è arrivato Taguchi
	nel. Parla di robusto
	design. Come possiamo gestirlo
	variabilità degli input da propria
	decisioni di progettazione? E adesso lo siamo
	nell'era dell'informazione
	qualità. Abbiamo sensori. Noi
	disporre di sistemi flessibili. Noi siamo
	a seconda dell'IA e della macchina
	apprendimento e data mining e noi
	stanno raccogliendo grandi grandi grandi
	numeri, ma che chiamiamo grandi
	dati. L'interesse per l'informazione
	la qualità dovrebbe essere il primo
	interesse. Proverò e
	convincerti, con l'aiuto
	di Chris, quello.
	Noi siamo qui e JMP può
	aiutaci a raggiungere questo obiettivo in a
	modo davvero insolito.
	Quello che vedrai alla fine di
	il caso di studio che Chris farà
	show è anche come farlo un
	valutazione della qualità delle informazioni e
	su uno studio specifico, fondamentalmente
	generare una qualità delle informazioni
	Punto. Quindi se andiamo dall'alto in basso, io
	posso dirti questo studio, questo
	lavoro, questa analisi è forse dell'80% o
	forse il 30% o forse il 95%.
	E attraverso l'esempio lo farai
	vedere come farlo. C'è un
	Componente aggiuntivo JMP per fornire questo
	valutazione. In realtà lo è
	abbastanza abbastanza facile. C'è
	niente di veramente sofisticato
	riguardo a questo. Quindi ho finito e
	Chris, dopo di te. Grazie, Ron. Così
	ora passerò attraverso il file
	analisi di un set di dati in un modo
	che chiama esplicitamente il
	vari aspetti dell'informazione
	qualità e mostra come può essere JMP
	utilizzato per valutare un miglioramento
	per InfoQ. Quindi prima di tutto, io sono
	andando attraverso l'InfoQ
	componenti. Il primo InfoQ
	il componente è l'obiettivo, quindi in
	in questo caso la dichiarazione del problema
	era un'azienda chimica
	voleva una formulazione che
	resa massima del prodotto mentre
	minimizzando un'impurità fastidiosa
	che è il risultato della reazione.
	Quindi questo era l'obiettivo di alto livello.
	In termini statistici, volevamo
	per trovare un modello che sia accurato
	prevedeva una risposta su un dato
	impostato in modo da poter trovare un file
	combinazione di ingredienti e
	fasi di elaborazione che porterebbero
	a un prodotto migliore.
	I dati sono impostati in 100
	formulazioni sperimentali con
	un ingrediente principale, X1 e
	10 additivi. C'è anche un file
	fattore di elaborazione in 13
	risposte. I dati sono
	completamente fabbricato ma lo erano
	simulato per illustrare lo stesso
	punti di forza e di debolezza di
	dati originali. I dati
	è stata fatta anche la formulazione
	registrato. Stiamo guardando
	questi dati da vicino, quindi voglio
	elaborare oltre a sottolineare
	che sono stati raccolti in un file
	modo ad hoc, cambiandone uno o due
	additivi alla volta anziché
	come progettato o randomizzato
	sperimentare. Ce ne sono molti
	modi per analizzare questi dati, il
	il più tipico è il minimo
	quadrati modellanti con avanti
	selezione su risposte selezionate.
	Questa era la mia intenzione originale
	per questo discorso, ma quando ho mostrato
	i dati a Ron, lui immediatamente
	riconosciuto le colonne di risposta
	come serie storica da analitica
	chimica. Anche se i dati
	sono stati simulati, poteva vedere il file
	struttura. Poteva vedere le cose
	nei dati che non ho visto
	e leggere in esso non lo era. ho trovato
	questo per essere sorprendentemente
	degno di nota. È oltre il
	scopo di questo discorso, ma c'è
	un approccio ancora migliore basato su
	modellazione di ensemble utilizzando
	ponderato in modo frazionario
	bootstrap. Phil Ramsey,
	Wayne Levin e io ne abbiamo un altro
	parlare di questa metodologia a
	la scoperta europea
	Conferenza quest'anno. Il
	approccio è promettente perché
	può adattare i modelli ai dati con
	interazioni più attive di
	ci sono piste. Il quarto e ultimo
	componente della qualità dell'informazione
	è l'utilità, che è quanto bene noi
	sono in grado di valutare i nostri obiettivi. O
	come misuriamo quanto bene abbiamo
	valutato i nostri obiettivi? C'è un
	aspetto del dominio che è in questo
	caso vogliamo avere un file
	formulazione che porta a
	rendimenti massimizzati e minimizzato il
	rifiuti in post elaborazione del
	Materiale. La statistica
	L'utilità di analisi si riferisce al file
	modello che ci adattiamo. Quali sono stati
	andando per c'è meno
	precisione ai quadrati del nostro modello in
	termini di quanto siamo in grado di farlo
	predire cosa ... cosa sarebbe
	risultato del candidato
	combinazioni di formulazione ... di
	fattori di miscela. Adesso vado
	per passare attraverso una serie di domande
	che compongono un InfoQ dettagliato
	valutazione organizzata nel
	otto dimensioni dell'informazione
	qualità. Voglio sottolineare
	che non tutte le domande lo saranno
	ugualmente rilevante per diversi
	scienza dei dati e statistica
	progetti, e questo non lo è
	destinato ad essere un dogma rigido ma
	piuttosto un insieme di cose che sono
	una buona idea chiedersi.
	Queste domande rappresentano una specie
	di saggezza analitica dei dati che
	sembra più in generale del semplice
	applicazione di un particolare
	tecnologia statistica. Una copia
	di un foglio di calcolo con questi
	domande insieme a suggerimenti a
	Funzionalità di JMP che sono le più importanti
	utile per rispondere a
	ne verrà caricato uno in particolare
	alla comunità JMP insieme
	con questo discorso da usare. Come
	Procedo attraverso le domande,
	Mostrerò un'analisi di
	i dati in JMP. Quindi domanda 1
è	è la scala dati utilizzata
	allineato con l'obiettivo dichiarato? Così
	le X di cui disponiamo
	una singola variabile categoriale
	l'elaborazione e l'11 continuo
	ingressi. Questi sono misurati
	come percentuali e sono anche
	registrato a mezzo punto percentuale. Noi
	non hanno gli importi totali di
	gli ingredienti, solo il
	percentuali. I totali sono
	informazioni che sono state perse
	o mai registrato. Ci sono
	altri potenzialmente importanti
	pezzi di informazioni che sono
	manca qui. Il tempo tra
	formulazione dei lotti e
	prendere le misure è andato
	e ce ne sarebbero potute essere altre
	informazioni a livello di covariate che
	manca qui che avrebbe
	ha descritto le condizioni sotto
	quale è avvenuta la reazione.
	Senza più informazioni di me
	avere, non posso dire quanto sia importante
	questo tipo di informazioni covariate
	sarebbe stato. Noi abbiamo
	informazioni il giorno del
	batch, in modo che possa essere utilizzato come
	forse un surrogato. Nel complesso noi
	avere ciò che, si spera, è di più
	input importanti, nonché
	misurazioni delle risposte che noi
	desidera ottimizzare. Potremmo avere
	aveva più informazioni, ma questo
	sembra abbastanza promettente da provare
	e analisi con. Il secondo
	domanda relativa ai dati
	la risoluzione è quanto sia affidabile e
	precisi sono i dispositivi di misurazione
	e fonti di dati. E il fatto
	è che non ne abbiamo molti
	informazioni specifiche qui. Il
	statistico interno il
	la compagnia avrebbe avuto di più
	informazione. In questo caso noi
	non ho altra scelta che fidarti di questo
	i chimici hanno formulato e
	registrato bene le miscele. Il
	terza domanda relativa ai dati
la risoluzione è	sono i dati
	analisi adatta ai dati
	livello di aggregazione? E il
	la risposta qui è sì, supponendo
	che il loro sistema di misurazione è
	accurati e che i dati lo siano
	abbastanza pulito. Cosa stiamo andando
	finire per fare in realtà è
	useremo il file
	Funzionale Data Explorer a
	estrarre il principio funzionale
	componenti, che sono dati
	tipo di dati derivati
	aggregazione. E poi siamo
	li modelleremo
	componenti funzionali principali
	utilizzando le variabili di input. Così
	ora passiamo ai dati
	dimensione della struttura e il
	la prima domanda che ci poniamo è: è il file
	dati utilizzati allineati con il
	obiettivo dichiarato? E penso che il
	la risposta è un chiaro sì qui. Siamo
	cercando di massimizzare
	dare la precedenza. Abbiamo misurazioni per
	quello, e gli input sono
	registrato come Xs. I secondi dati
	la domanda sulla struttura è dove
	le cose iniziano davvero a farsi
	interessante per me. Quindi questo è
	sono i dettagli di integrità
	(valori anomali, valori mancanti, dati
	corruzione) i problemi descritti e
	gestito in modo appropriato? Quindi da
	qui possiamo usare JMP per essere in grado
	per capire dove sono i valori anomali
	sono, capire strategie per
	cosa fare in caso di valori mancanti,
	osservare i loro schemi e così via
	su. Quindi questo è dove
	le cose andranno un po '
	un po 'più interessante. Il primo
	la cosa che faremo è lo siamo
	andando a determinare se ci sono
	eventuali valori anomali nei dati che noi
	bisogno di essere preoccupato. Così
	per farlo, andremo
	nei valori anomali di esplorazione
	piattaforma fuori dallo screening
	menù. Stiamo per caricare il file
	variabili di risposta e perché
	questa è un'impostazione multivariata,
	useremo una nuova funzionalità
	in JMP Pro 16 chiamato Robust
	Valori anomali PCA. Quindi vediamo dove
	i grandi residui sono in quelli
	tipo di grafici di tipo Pareto.
	C'è un'istantanea che mostra dove
	ce ne sono alcuni potenzialmente
	osservazioni insolitamente grandi. io
	non credo proprio che questo sembri
	troppo insolito o preoccupante per me.
	Possiamo salvare i grandi valori anomali
	a una tabella dati e poi guarda
	loro nella distribuzione
	piattaforma e quello che vediamo tipo
	sembra una distribuzione normale
	con la parte centrale estratta. Così io
	penso che questi siano dati che sono
	provenienti da una specie di uguale
	popolazione e non c'è niente
	davvero di cui preoccuparsi qui,
	valori anomali. Quindi una volta che abbiamo
	preso cura del valore anomalo
	situazione in cui entriamo ed esploriamo
	valori mancanti. Allora cosa siamo
	per prima cosa andiamo
	per caricare le Y come ... nel file
	piattaforma, e poi andiamo
	per utilizzare il valore mancante
	un'istantanea per vedere quali modelli
	sono tra i nostri dispersi
	valori. Sembra il file
	i valori mancanti tendono a comparire in
	cluster orizzontali, e c'è
	anche gli stessi valori mancanti
	attraverso le righe. Quindi puoi vederlo
	con le macchie nere qui.
	E poi applicheremo un
	imputazione automatizzata dei dati,
	che va avanti e salva
	colonne formula che imputano
	valori mancanti nel nuovo
	colonne utilizzando un tipo di regressione
	algoritmo sviluppato da
	un mio dottorando di nome Milo
	Pagina a NC State. Quindi possiamo giocare
	intorno un po 'e ottieni un file
	senso di come l'ADI
	l'algoritmo funziona. Così è
	ha creato queste colonne formula
	che stanno staccando elementi di
	la colonna di imputazione ADI, che è
	una colonna formula vettoriale e il
	funzione di assegnazione del punteggio
	sta calcolando il previsto
	valore delle celle mancanti fornite
	le celle non mancanti, ogni volta
	ha un valore mancante. E la sua
	solo portando avanti un non
	valore mancante. Quindi puoi vedere 207
	in YO ... Y6 lì. È inizialmente
	207 ma poi lo cambio in
	manca e ora è
	imputato per essere 234.
	Quindi lo farò un paio di volte
	puoi vedere com'è
	Lavorando. Quindi qui metto un grande
	valore per Y7 e questo è ora.
	stato sostituito. E se scendiamo
	e aggiungiamo una riga,
	allora tutti i valori mancanti sono lì
	inizialmente e la colonna significa
	vengono sostituiti per il
	imputazioni. Se dovessi andare
	avanti e aggiungere valori per alcuni di
	quelle cellule mancanti, lo farebbe
	inizia a fare il condizionale
	attesa dell'ancora mancante
	cellule utilizzando le informazioni
	quello è in quello mancante .... il
	quelli non mancanti. Quindi il nostro prossimo
	domanda sulla struttura dei dati è
	sono i metodi di analisi
	adatto per la struttura dati?
	Quindi abbiamo 11 input di miscela
	e una variabile di elaborazione che è
	categorico. Quelli stanno andando
	per essere input in almeno
	modello tipo quadrato. Abbiamo
	13 risposte continue e
	possiamo modellarli usando ...
	individualmente usando meno
	piazze. Oppure possiamo modellare
	principio funzionale
	componenti. Il ... ora ci sono
	i problemi. Le X sono ... le
	le variabili di input non sono state
	affatto randomizzato. È molto
	chiaro che avrebbero muck
	in giro con uno o più di
	i composti e poi si spostano
	su un altro. Così la
	ordine in cui il file
	le variabili di input sono state variate
	era un po 'casuale. È un
	chiara mancanza di randomizzazione e
	questo andrà negativamente
	influenzano la nostra ... la generalizzabilità
	e forza delle nostre conclusioni.
	L'integrazione dei dati è la terza
	Dimensione InfoQ. Questi dati
	sono note di laboratorio inserite manualmente
	costituito principalmente da miscela
	percentuali e attrezzature
	letture. Possiamo solo supporre
	che i dati sono stati inseriti
	correttamente e che le X siano
	allineato correttamente con le risposte.
	Se non è così, allora il file
	il modello avrà un serio pregiudizio
	problemi e avere
	problemi di generalizzabilità.
	L'integrazione è più un problema
	con dati osservativi
	problemi scientifici in macchina
	esercizi di apprendimento, di laboratorio
	esperimenti come questo. Sebbene
	non si applica qui, lo farò
	sottolineare che la privacy e
	problemi di riservatezza possono essere
	identificato modellando il
	parte sensibile dei dati utilizzando
	il componente da pubblicare
	ai dati. Se il file
	il modello è previsto, quindi uno
	dovrebbe essere preoccupato per la privacy
	le preoccupazioni non vengono soddisfatte. Temporale
	la rilevanza si riferisce al
	sequenza temporale operativa di
	raccolta dati, analisi e
	distribuzione e se lacune
	tra queste fasi porta a a
	diminuzione dell'utilità di
	le informazioni nello studio.
	In questo caso, possiamo solo semplicemente
	spero che le forniture di materiale
	sono ragionevolmente coerenti e
	che l'apparecchiatura di prova sia
	ragionevolmente accurato, che è un file
	presupposto non verificabile a questo
	punto. La risoluzione del tempo noi
	avere quando la raccolta dei dati è
	a livello di giorno, il che significa
	che non c'è molto modo
	possiamo verificare se c'è tempo
	variazione all'interno di ogni giorno.
	La cronologia dei dati e l'obiettivo è
	sulla disponibilità di
	variabili rilevanti sia in termini
	se la variabile è
	presente nei dati o
	se le informazioni giuste
	sarà disponibile quando il modello
	è distribuito. Per predittivo
	modelli, questo si riferisce ai modelli
	essere adatto a dati simili a
	quello che sarà presente al momento
	il modello verrà valutato su
	nuovi dati. In questo modo, i nostri dati
	il set va sicuramente bene. Per
	stabilire la causalità, tuttavia,
	non siamo quasi altrettanto bravi a
	forma perché la mancanza di
	la randomizzazione implica quel tempo
	gli effetti e gli effetti dei fattori possono
	essere confuso, portando a pregiudizi
	nelle nostre stime. Endogenità,
	o la causalità inversa, potrebbe
	chiaramente essere un problema qui, come
	variabili come temperatura e
	il tempo di reazione potrebbe chiaramente essere
	influenzando le risposte, ma hanno
	stato lasciato non registrato. Complessivamente,
	ci sono molte cose che non sappiamo
	su questa dimensione in un file
	senso della qualità delle informazioni.
	Il resto dell'InfoQ
	la valutazione sarà
	dipendente dal tipo di
	analisi che facciamo. Quindi a questo
	punto vado avanti e
	condurre un'analisi di questi dati
	utilizzando i dati funzionali
	Piattaforma Explorer in JMP Pro
	che mi permette di modellare
	tutte le colonne contemporaneamente
	in un modo basato su
	componenti funzionali principali,
	che contengono l'importo massimo
	di informazioni su tutti questi
	colonne come rappresentato in
	formato più efficiente possibile.
	Lavorerò su
	versioni imputate delle colonne
	che ho calcolato in precedenza in
	presentazione. E lo farò
	fai notare che lo sarò
	lavorando per trovare combinazioni di
	i fattori di miscela che ottengono
	il più vicino possibile in a
	senso meno quadrato, un ideale
	curva che è stata creata da
	professionista che massimizza il
	quantità di potenziale prodotto che
	potrebbe essere in un batch di tempo
	riducendo al minimo la quantità di
	impurità che loro
	realisticamente pensato un lotto
	potrebbe contenere. Quindi inizio il file
	analisi andando all'analisi
	menu, richiamare il Funzionale
	Esplora dati. Questo ha righe come
	funzioni. Caricherò il mio file
	righe imputate, e poi vado
	da mettere nella mia formulazione
	componenti e la mia elaborazione
	colonna come supplemento
	variabile. Abbiamo un documento d'identità
	funzione, questo è l'ID batch. Qui io
	Entra. Posso vedere le funzioni,
	sia l'overlay del tutto, sia
	Posso vedere le singole funzioni.
	Quindi posso caricare il bersaglio
	funzione, che è l'ideale.
	E questo cambierà il file
	analisi che risulta una volta che io
	inizia ad entrare nella modellazione
	passi. Quindi questi sono belli
	funzioni semplici, quindi sono solo
	andando a modellarli con
	B spline.
	E poi vado nel mio
	analisi DOE funzionale.
	Questo si adatterà al modello
	che collega gli ingressi in
	il principio funzionale
	componenti e quindi collegare tutti
	la strada attraverso il
	autofunzioni per renderlo tale
	siamo in grado di recuperare il file
	funzioni complessive come loro
	cambiato, poiché stiamo variando il
	fattori di miscela. Il
	componente principale funzionale
	l'analisi lo ha indicato
	ci sono quattro dimensioni di
	variazione in queste risposte
	funzioni. Per capire cosa
	loro intendono, andiamo avanti e
	esplorare con il profiler FPC.
	Quindi guarda questo riquadro proprio qui come
	Regolo FPC 1 e possiamo vedere
	a cui è associato questo FPC
	altezza del picco. FPC2, sembra
	come se fosse una specie di picco
	ristrettezza. È quasi come un file
	responsabile della risoluzione
	componente. Il terzo è
	relativo a una specie di ginocchio
	la sinistra del picco dominante.
	E il picco 4 sembra che lo sia
	principalmente in relazione con il
	impurità, quindi questo è ciò che il
	il significato sottostante è di
	questi quattro funzionali
	componenti principali.
	Quindi abbiamo caratterizzato il nostro obiettivo
	come massimizzare il prodotto e
	minimizzando l'impurità e
	l'abbiamo comunicato al
	analisi attraverso questo ideale o
	curva d'oro che abbiamo fornito
	l'inizio della FDE
	esercizio che stiamo facendo. Per ottenere come
	vicino a quell'ideale
	curva, accendiamo la desiderabilità
	funzioni. E poi possiamo andare
	e massimizzare la desiderabilità.
	E lo troviamo ottimale
	si tratta di una combinazione di input
	4,5% di
	Ingrediente quattro, 2% di
	Ingrediente 6. 2,2% di
	Ingrediente 8 e 1,24% di
	Ingrediente 9 utilizzando la lavorazione
	metodo due. Rivediamo come
	siamo arrivati qui. Per prima cosa
	ha calcolato la risposta mancante
	colonne. Quindi abbiamo trovato B-spline
	modelli che si adattano a queste funzioni
	bene nella piattaforma FDE. UN
	componenti funzionali principali
	l'analisi ha determinato che lì
	erano quattro autofunzioni
	caratterizzando la variazione in
	questi dati. Questi quattro
	Sono state determinate le autofunzioni
	tramite il profiler FPC a ciascuno
	avere un argomento ragionevole
	significato della materia. Il funzionale
	L'analisi DOE consisteva in
	applicando potatura in avanti
	selezione a ciascuno dei file
	punteggi FPC individuali utilizzando il
	Fattori DOE come variabili di input.
	E vediamo qui che questi hanno
	trovate combinazioni di
	interazioni ed effetti principali
	che erano più predittivi per
	ciascuno dei principali funzionali
	i punteggi dei componenti individualmente.
	Il funzionale DOE Profiler
	ha elegantemente catturato tutto
	aspetti in una rappresentazione
	che ci consente di trovare il file
	fase di elaborazione della formulazione che
	si prevede che abbia desiderabile
	proprietà misurate da alta
	resa e bassa impurità.
	Quindi ora possiamo fare un InfoQ
	valutazione del
	generalizzabilità dei dati in formato
	le analisi. Quindi in questo caso
	ci interessa di più
	generalizzabilità scientifica, come
	lo sperimentatore è un profondo
	chimico esperto che lavora
	con questo composto. Così erano
	ci si affiderà di più
	la loro competenza in materia
	poi su principi statistici
	e strumenti come i test di ipotesi
	e così via. L'obiettivo è
	principalmente predittivo, ma il
	la generalizzabilità è una specie di
	problematico perché il
	esperimento non è stato progettato. Nostro
	capacità di stimare le interazioni
	è indebolito per tecniche come
	selezione in avanti e impossibile
	tramite l'analisi dei minimi quadrati di
	il modello completo. Perché il
	lo studio non è stato randomizzato, lì
	potrebbe essere un tempo non registrato in
	effetti dell'ordine. Non abbiamo
	covariata potenzialmente importante
	informazioni come temperatura e
	tempo di reazione. Questo crea
	un altro grande punto interrogativo
	per quanto riguarda la generalizzabilità.
	Ripetibilità e
	la riproducibilità dello studio è
	anche uno sconosciuto qui come noi
	nessuna informazione su
	variabilità dovuta al
	sistema di misura. Per fortuna,
	abbiamo strumenti come JMP
	valutare il design per capire
	il design esistente così come
	aumentare il design che può notevolmente
	migliorare la generalizzazione
	esecuzione dell'analisi.
	L'aumento può migliorare le informazioni
	sugli effetti principali e
	interazioni e un secondo round
	di sperimentazione potrebbe essere
	randomizzato per migliorare anche
	generalizzabilità. Quindi adesso lo sono
	andando attraverso un paio di
	semplici passaggi per mostrare come
	migliorare la generalizzazione
	prestazioni del nostro studio utilizzando
	strumenti di progettazione in JMP. Prima che io
	fallo, voglio sottolineare
	che ho dovuto prendere i dati e
	convertirlo in modo che fosse
	proporzioni piuttosto che in
	percentuali. Altrimenti il design
	gli strumenti non erano davvero d'accordo
	con i dati molto bene. Quindi noi
	vai nella valutazione del progettista
	e poi cariciamo i nostri Ys e
	la nostra Xs. Ho richiesto la capacità di
	gestire le interazioni del secondo ordine.
	Allora ... sì, ho ricevuto questo avviso
	dicendo, ehi, non posso farlo
	perché non siamo in grado di farlo
	stimare tutte le interazioni
	dato un fattore alla volta
	dati che abbiamo. Quindi ho sostenuto
	su. Andiamo all'aumento
	designer, carica tutto,
	imposta aumento. Sceglieremo e io-
	design ottimale perché siamo
	veramente preoccupato
	prestazioni previste qui.
	E io
	impostare il numero di corse a 148.
	Il designer personalizzato ha richiesto
	141 come minimo, ma sono andato a
	148 solo per essere sicuro
	di cui abbiamo tutte le capacità
	stimare tutte le nostre interazioni
	abbastanza bene. Dopo di che, esso
	impiega circa 20 secondi per
	costruire il design. Così ora
	che abbiamo il design, io
	mostrerò i due di più
	importanti strumenti diagnostici in
	il designer di aumenti per
	valutare un progetto. Sul
	a sinistra, abbiamo la frazione di
	trama dello spazio di progettazione. Questo è
	mostrando quel 50% del volume
	del design ha
	una varianza di previsione che è
	meno di 1. Quindi io lo sarei
	equivalente al residuo
	errore. Quindi siamo in grado di ottenere
	meglio dell'errore di misurazione
	previsioni di qualità sul
	la maggior parte del design. Sul
	a destra abbiamo la mappa dei colori
	correlazioni. Questo sta mostrando
	che siamo in grado di stimare
	tutto abbastanza bene. C'è
	alcuni ... a causa della miscela
	vincolo, ne stiamo ottenendo un po '
	forti correlazioni tra
	interazioni ed effetti principali.
	Nel complesso, gli effetti sono abbastanza
	pulito. E le interazioni sono
	abbastanza ben separati da uno
	un altro e gli effetti principali
	sono abbastanza ben separati da
	anche l'un l'altro. Dopo
	guardando il design
	diagnostica, possiamo fare il file
	tavolo. Qui ho mostrato il file
	prime 13 delle corse aumentate
	e vediamo che abbiamo ... noi
	avere più randomizzazione. Non lo facciamo
	hanno lo stesso effetto principale
	ancora e ancora striature.
	Questa è una prova di meglio
	randomizzazione e nel complesso il
	il design sarà in grado di farlo
	molto meglio stimare il principale
	effetti e interazioni che hanno
	ricevuto una migliore qualità
	informazioni in questa seconda fase
	di sperimentazione. Quindi l'input
	le variabili, le X, sono accurate
	rappresentazioni della miscela
	proporzione, quindi è chiaro
	interesse oggettivo. Il
	le risposte sono vicine surrogate
	per la quantità del prodotto
	e la quantità di impurità contenuta
	i lotti. Stiamo abbastanza bene
	7.1. Là. Le giustificazioni
	sono chiari. Dopo lo studio, noi
	può ovviamente andare a preparare un file
	lotto che è la formulazione
	consigliato dall'FDOE
	profiler. Provalo e vedi se
	stiamo ottenendo il tipo di
	performance che stavamo cercando
	per. È molto chiaro che questo
	sarebbe il modo in cui possiamo
	valutare quanto bene abbiamo ottenuto
	i nostri obiettivi di studio. Quindi ora sotto il
	ultima dimensione InfoQ
	Comunicazione. Descrivendo il
	curva ideale come target
	funzione, il Funzionale DOE
	Profiler crea l'obiettivo e il file
	risultati del cristallo di analisi
	chiaro. Ma questo può essere espresso
	a un livello che è facilmente
	interpretato dai chimici e
	responsabili della struttura di ricerca e sviluppo.
	E come abbiamo fatto il nostro dettagliato
	valutazione della qualità delle informazioni,
	siamo stati in anticipo sul
	punti di forza e di debolezza di
	disegno e dati dello studio
	collezione. Se i risultati lo fanno
	Non generalizziamo, certamente
	sapere dove cercare dove il file
	i problemi erano. Una volta diventato
	familiarità con i concetti,
	c'è un bel add-in scritto
	di Ian Cox che puoi usare per
	fare una rapida InfoQ quantitativa
	valutazione. Il componente aggiuntivo ha
	cursori per la parte superiore e inferiore
	limiti di ogni dimensione InfoQ.
	Queste dimensioni sono combinate
	utilizzando una funzione di desiderabilità
	approccio per un intervallo complessivo
	per l'InfoQ sopra a sinistra.
	Ecco una valutazione per il
	dati e analisi di cui ho parlato
	questa presentazione. Il componente aggiuntivo è
	anche un utile strumento di pensiero che
	ti farà considerare ciascuno di
	le dimensioni di InfoQ. È anche un file
	modo pratico per comunicare
	Valutazioni di InfoQ al tuo
	clienti o alla tua direzione, come
	fornisce una visione di alto livello di
	qualità delle informazioni senza
	usando molto tecnico
	concetti e gergo. Il componente aggiuntivo
	è utile anche come base per
	un confronto InfoQ. Mio
	speranza originale per questo
	la presentazione doveva essere un po '
	un po 'più ambizioso. Avevo sperato
	per coprire l'analisi che ho avuto
	appena passato, così come
	un altro più semplice, quello in cui salto
	inserire le risposte e fare
	un semplice lineare multivariato
	modello di regressione della risposta
	colonne. Oggi posso solo farlo
	offrire una valutazione finale di ciò
	approccio. Come potete vedere,
	molti dei file InfoQ
	le dimensioni ne risentono notevolmente
	senza il più sofisticato
	analisi. Questo è molto chiaro
	la semplice analisi porta a
	punteggio InfoQ molto più basso.
	Il limite superiore del semplice
	l'analisi non è molto più alta
	rispetto al limite inferiore di più
	sofisticato. Con
	esperienza, guadagnerai
	intuizione su ciò che un buon InfoQ
	il punteggio è per la scienza dei dati
	progetti nel tuo settore e
	prendi abitudini migliori come te
	non sarà più cieco al
	colli di bottiglia delle informazioni nel tuo file
	raccolta dati, analisi e
	distribuzione del modello. Informazione
	qualità con un facile da usare
	interfaccia. Questo è stato il mio primo
	qualità delle informazioni formali
	valutazione. Parlando per me
	la qualità delle informazioni
	quadro ha dato parole e
	struttura a molte cose io
	lo sapeva già istintivamente. It
	è già cambiato come io
	approccio alla nuova analisi dei dati
	progetti. Ti incoraggio ad andare
	attraverso questo processo tu stesso
	i tuoi dati, anche se quei dati
	e l'analisi è già molto
	familiare a te. Io garantisco
	che sarai un più saggio e
	data scientist più efficiente
	a causa di ciò. Grazie.

ScoppiareDOEModellazione predittiva