349217_it-IT

liliconcom

Massimizzare il successo della scienza dei dati con Information Quality (InfoQ) e JMP® (2021-EU-45MP-750)

https://www.jmp.com/en_us/whitepapers/book-chapters/infoq-support-with-jmp.html

Livello: intermedio

Ron Kenett, Presidente, Gruppo KPA e Samuel Neaman Institute, Technion
Christopher Gotwalt, Direttore JMP, Ricerca e sviluppo statistico, SAS

L’analisi dei dati – dagli esperimenti progettati, alla regressione generalizzata all’apprendimento automatico – viene implementata a un ritmo crescente. Allo stesso tempo, le preoccupazioni relative alla riproducibilità dei risultati e all’errata interpretazione del valore p indicano che analisi statistiche ben intenzionate possono portare a conclusioni errate e decisioni sbagliate. Affinché un progetto di analisi dei dati possa raggiungere adeguatamente i suoi obiettivi, è necessario valutare la portata e la forza delle conclusioni derivate dai dati e dagli strumenti disponibili. Questa attenzione alla strategia statistica richiede un quadro che isoli le componenti del progetto: gli obiettivi, la procedura di raccolta dei dati, le proprietà dei dati, l'analisi fornita, ecc. Il quadro InfoQ fornisce procedure strutturate per effettuare questa valutazione. Inoltre, è facile rendere operativo InfoQ in JMP. In questa presentazione forniamo una panoramica di InfoQ insieme a casi di studio d'uso, tratti dalla ricerca sui consumatori e dalla produzione farmaceutica, per illustrare come JMP può essere utilizzato per effettuare una valutazione InfoQ, evidenziando situazioni di InfoQ sia alto che basso. Forniamo inoltre suggerimenti che mostrano come utilizzare JMP per aumentare la qualità delle informazioni attraverso una migliore progettazione dello studio, senza necessariamente acquisire più dati. Questo discorso è rivolto a statistici, esperti di machine learning e data scientist il cui compito è trasformare i numeri in informazioni.

Trascrizione generata automaticamente...

Altoparlante	Trascrizione
	Ciao.
	Il mio nome è Ron Kenett. Questo
	è una conversazione congiunta con Chris
	Gotwalt e noi fondamentalmente
	avere due messaggi
	quello dovrebbe uscire da
	parlare. Uno è che dovremmo farlo
	preoccuparsi davvero
	informazioni e informazioni
	qualità. Le persone tendono a parlare
	sui dati e sulla qualità dei dati, ma
	i dati non sono davvero il problema.
	Siamo statistici. Noi siamo
	scienziati dei dati. Trasformiamo i numeri,
	dati in informazioni in modo che
	il nostro obiettivo dovrebbe essere quello di esserne sicuri
	che generiamo alta qualità
	informazione. L'altro messaggio
	è che JMP può aiutarti
	raggiungere questo obiettivo, e questo è
	effettivamente si è rivelato essere presente
	modi sorprendenti. Quindi combinando
	l'esperienza di Chris e un
	introduzione alle informazioni
	qualità, speriamo che questi due
	i messaggi arriveranno
	chiaramente. Quindi, se dovessi
	riassumere ciò che noi
	voglio parlare, dopo tutto,
	è tutta una questione di informazioni
	qualità. Ho tenuto un discorso a
	al vertice di Praga quattro anni
	fa e quel discorso era generico.
	Si parlava di spostare il
	viaggio dalla qualità attraverso il design.
	Il mio viaggio facendo informazione
	qualità. In questo discorso ci concentriamo
	su come ciò può essere fatto
	JMP. Questo è più dettagliato
	e discorsi tecnici rispetto a
	discorso generale che ho tenuto a Praga.
	Puoi guardare quel discorso.
	C'è un collegamento elencato qui. Puoi
	trovalo nella comunità JMP.
	Quindi ne parleremo
	qualità dell'informazione, che è
	il potenziale del set di dati, a
	set di dati specifico, per ottenere a
	obiettivo particolare, un obiettivo specifico,
	con il metodo empirico indicato.
	Quindi in quella definizione abbiamo
	tre componenti che sono
	elencato. Uno è un certo dato
	impostato. Ecco i dati. IL
	il secondo è l'obiettivo
	l'obiettivo dell'analisi, cosa
	è ciò che vogliamo raggiungere.
	E il terzo è come lo faremo
	farlo, cioè, con cosa
	metodi che genereremo
	informazioni e quel potenziale
	verrà valutato con il
	funzione utile. E lo farò
	iniziare con un'introduzione a
	qualità dell'informazione e poi
	Chris prenderà il sopravvento,
	discutere il caso di studio ed e
	mostrarti come condurre un
	valutazione della qualità delle informazioni.
	Alla fine questo dovrebbe
	rispondi alla domanda come JMP
	supporta InfoQ, quello
	sarebbero i punti elenco
	che puoi...i punti da asporto
	dal discorso. La configurazione per
	questo è ciò che incoraggiamo
	quella che ho chiamato visione del ciclo di vita
	delle statistiche. In altre parole,
	non solo analisi dei dati.
	Dovremmo sapere...dovremmo farne parte
	dell’elicitazione del problema
	fase. Inoltre, l'obiettivo
	fase di formulazione, che merita
	una discussione. Dovremmo
	ovviamente essere coinvolti nel
	schema di raccolta dati, se lo è
	attraverso esperimenti o attraverso
	indagini o mediante osservazioni
	dati. Allora dovremmo anche prendere
	momento della formulazione del
	risultati e non semplicemente tirarli fuori
	rapporti stampati su su
	coefficienti di regressione
	stime ee loro
	significato, ma dovremmo
	discutere anche quali sono i
	risultati? Operazionalizzazione di
	risultati che significano, OK, cosa possiamo
	fare con questi risultati? Cosa sono
	le implicazioni del
	risultati? Questo dovrebbe...
	è necessario comunicare al
	le persone giuste nel modo giusto,
	e alla fine dovremmo fare un
	valutazione dell’impatto per capire,
	OK, abbiamo fatto tutto questo; cos'ha
	stato il valore aggiunto del ns
	lavoro? Ho parlato della vita
	ciclo delle vostre statistiche di qualche anno
	fa. Questo è il prerequisito,
	la prospettiva di cosa
	Parlerò di. Quindi, come io
	menzionato, le informazioni
	la qualità è il potenziale di a
	particolare set di dati per raggiungere a
	obiettivo particolare utilizzando dato
	metodi di analisi empirica. Questo
	è identificato attraverso quattro
componenti	l’obiettivo, i dati,
	il metodo di analisi e il
	misura di utilità. Quindi in a in a
	espressione matematica, il
	utilità di applicare f a x,
	condizione sull'obiettivo, è come noi
	identificare InfoQ, informazioni
	qualità. Questo è stato pubblicato in
	la Royal Statistical Society
	Serie A nel 2013 con otto
	partecipanti al dibattito, quindi è stato ampiamente
	discusso. Qualcuno ha pensato
	questo è stato fantastico e alcuni
	la gente ha ricevuto molte critiche
	quell'idea, quindi questa è più ampia
	considerazione dell'ambito di cosa
	la statistica riguarda Anche noi
	ha scritto nel 2006, ci siamo incontrati
	e Galit Shmueli, un libro intitolato
	Qualità dell'informazione. E dentro
	il contesto delle informazioni
	qualità abbiamo fatto quello che viene chiamato
	decostruzione. David Hand ha
	un articolo intitolato Decostruzione
	di Statistica. Questo è il
	decostruzione delle informazioni
	qualità in otto dimensioni. IO
	coprirà queste otto dimensioni.
	Questa è la mia parte nel discorso e
	poi Chris mostrerà come farlo
	è implementato in modo specifico
	argomento di studio.
	Un altro aspetto che riguarda
	questo è un altro libro che ho.
	Questo è recente, un anno fa
	intitolato Il vero lavoro dei dati
	Scienza e parliamo di cosa
	è il ruolo dei dati
	scienziati nelle organizzazioni e
	in quel contesto, abbiamo sottolineato
	la necessità del data scientist
	essere coinvolti nella generazione
	dell'informazione come...informazione
	qualità come raggiungimento degli obiettivi di
	l'organizzazione. Quindi lasciamelo fare
	coprire le otto dimensioni. Quello è
	questa è la mia introduzione. IL
	il primo è la risoluzione dei dati. Noi
	avere un obiettivo. OK, lo faremmo
	vorrei sapere il livello dell'influenza
	perché nel paese o nel
	zona in cui viviamo, perché quello
	influenzerà la nostra decisione in merito
	se andare al parco dove
	potremmo incontrare persone o andare a
	a...ad un concerto jazz. E quello
	il concerto è domani.
	Se cerchiamo i dati del CDC su
	il livello di influenza, questi sono i dati
	aggiornato settimanalmente, in modo da poter ottenere
	la linea rossa nel grafico tu
	hai di fronte a te, quindi noi
	potrebbe ottenere dati di pochi giorni
	fa, forse bene, forse non bene
	abbastanza per il nostro oro. Google influenza,
	che si basa sulle ricerche
	relativo all'influenza, viene aggiornato
	momentaneamente, quindi è aggiornato
	online, probabilmente darà
	noi informazioni migliori. Così per
	il nostro obiettivo, la linea blu, il
	Tendenza di Google...l'influenza di Google
	Indicatore di tendenze, probabilmente
	più appropriato. Il secondo
	la dimensione è la struttura dei dati.
	Per raggiungere il nostro obiettivo, lo faremo
	guarda i dati. Dovremmo...noi
	dovrebbe identificare le fonti dei dati
	e la struttura di questi dati
	fonti. Quindi alcuni dati potrebbero essere
	testo, alcuni potrebbero essere video, altri
	potrebbe essere, ad esempio, il
	rete di raccomandazioni. Questo
	è un'immagine di Amazon su come se
	guardi il libro, sei
	ne prenderò un po'
	altri libri consigliati. E se
	vai a questi altri libri,
	avrai più dati
	consigliato. Quindi i dati
	la struttura può essere di tutti i tipi
	di forme e forme e questo può
	essere testo. Questo può essere funzionale
	dati. Queste possono essere immagini. Noi siamo
	non limitato ora a ciò che usavamo
	per chiamare data, che è ciò che tu
	trovare in un foglio di calcolo Excel.
	I dati potrebbero essere danneggiati
	potrebbe avere valori mancanti, potrebbe
	hanno modelli insoliti che
	quale sarebbe
	qualcosa da esaminare. Alcuni
	modelli, dove sono le cose
	ripetuto. Forse alcuni dati
	è solo copiare e incollare e noi
	vorrei essere avvisato
	tali opzioni. Il terzo
	dimensione è l'integrazione dei dati.
	Quando consideriamo i dati da
	queste diverse fonti, siamo
	li integreremo così noi
	può fare qualche collegamento di analisi
	attraverso un documento d'identità. Noi, per esempio
	lo farei, ma così facendo,
	potremmo creare alcuni problemi, per
	esempio, nella divulgazione dei dati
	normalmente dovrebbe essere così
	anonimizzato. Dati
	integrazione, sì, lo farà
	permetterci di fare cose fantastiche,
	ma se i dati vengono percepiti
	avere una certa esposizione alla privacy
	problemi, quindi forse la qualità
	delle informazioni provenienti da
	analisi che andremo a fare
	sta andando sarà
	ricercato. Quindi integrazione dei dati
	dovrebbe essere esaminato molto, molto
	accuratamente. Questo è ciò che la gente
	probabilmente usato per chiamare ETL
	estrarre, trasformare e caricare. Noi
	ora abbiamo metodi molto migliori per
	facendo questo. L'opzione di partecipazione, per
	ad esempio, in JMP offrirà
	opzioni per farlo.
	Rilevanza temporale. Ok, questo è
	abbastanza chiaro. Abbiamo dati. È
	timbrato in qualche modo. Se stiamo andando
	per fare l'analisi più tardi, più tardi
	dopo la raccolta dei dati, e
	se la distribuzione che noi
	considerare è anche più tardi, allora il
	i dati potrebbero non essere temporalmente
	pertinente. In un comune
	situazione, se vogliamo fare un confronto
	cosa sta succedendo adesso, lo faremmo
	mi piacerebbe poterlo fare
	confronto con dati recenti o
	dati prima della pandemia
	iniziato, ma non 10 anni
	prima. Le statistiche ufficiali
	sulla cartella clinica erano due
	o tre anni indietro in termini
	di tempismo, il che lo ha reso molto
	difficile l'uso del funzionario
	statistiche nella valutazione
	cosa sta succedendo con il
	pandemia. Cronologia dei dati e
	l’obiettivo è legato alla decisione
	che realizziamo come risultato del nostro
	obiettivo. Quindi se, ad esempio, il ns
	l’obiettivo è prevedere la qualità dell’aria,
	ne useremo alcuni
	modelli predittivi in ​​onda
	Indice di qualità riportato su a
	quotidianamente. Questo ce ne dà uno
	a sei scala da pericoloso a
	Bene. Ci sono alcuni valori
	che rappresentano i livelli di
	preoccupazione per la salute. Zero-50 va bene;
	300-500 è pericoloso e il
	cronologia dei dati e obiettivo
	significa che dovremmo essere in grado di farlo
	fare una previsione su base giornaliera
	base. Quindi i metodi che utilizziamo
	dovrebbe essere aggiornato quotidianamente
	base. Se, invece,
	il nostro obiettivo è capire come stanno le cose
	calcolato questo indice AQI, allora noi
	non sono realmente vincolati dal
	la tempestività dell’analisi.
	Sai, potremmo prendere il nostro
	tempo. Non c'è urgenza
	eseguire l'analisi su a
	quotidianamente. Generalizzabilità,
	la sesta dimensione, riguarda
	prendendo i nostri risultati e
	considerando dove ciò potrebbe
	si applicano in termini più generali,
	altre popolazioni, tutte
	situazioni. Questo può essere fatto
	intuitivamente. Responsabili marketing che
	ho visto uno studio sul sul
	mercato, chiamiamolo A, potrebbe
	già capito cosa sono
	implicazioni per il mercato B
	senza dati. Persone che lo sono
	i fisici saranno in grado di farlo
	fare previsioni basate su
	meccanica sui principi primi
	senza senza dati.
	Quindi parte della generalizzabilità
	è fatto con i dati. Questo è il
	base statistica
	generalizzazione, da dove partiamo
	il campione alla popolazione.
	Si tratta di inferenze statistiche
	generalizzazione. Generalizziamo
	dal campione al
	popolazione. E alcuni possono esserlo
	basato su dominio, in altre parole,
	utilizzando la conoscenza degli esperti, dominio
	competenza, non necessariamente con
	dati. Dobbiamo riconoscerlo
	la generalizzabilità non è solo
	fatto con le statistiche.
	La settima dimensione è
	costruire l'operazionalizzazione,
	che è davvero quello che è
	che misuriamo. Noi vogliamo
	valutare il comportamento, le emozioni, cosa
	è quello che possiamo misurare, quello
	ci fornirà dati che riflettono
	comportamento o emozioni.
	L'esempio che faccio qui
	tipicamente è dolore.
	Sappiamo cos'è il dolore. Come faccio
	lo misuriamo? Se vai a a
	ospedale e chiedi all'infermiera,
	come valuti il ​​dolore, loro
	te lo dirò, abbiamo una bilancia,
	Da 1 a 10. È molto
	qualitativo, non molto
	scientifico, direi. Se noi
	desidera misurare il livello di
	alcol nei conducenti sul...su
	la strada, sarà difficile
	misurare. Quindi potremmo misurare
	la velocità come misura surrogata.
	Un'altra parte di
	l'operazionalizzazione è l'altra
	fine della storia. In altro
	parole, la prima parte, il
	il costrutto è ciò che misuriamo,
	che riflette il nostro obiettivo. La la
	fine...il risultato finale è questo
	abbiamo risultati e vogliamo farlo
	fare qualcosa con loro. Vogliamo
	per rendere operativa la nostra scoperta.
	Questo è ciò che l'azione
	riguarda l'operazionalizzazione.
	Riguarda cosa fai con il
	scoperte e poi essere
	presentato qui su un podio. Noi
	faceva tre domande.
	Questi sono molto importanti
	domande da porre. Una volta che hai
	fatto qualche analisi, hai
	qualcuno di fronte a te che
	dice, oh, grazie mille,
	hai finito...tu, lo statistico
	o lo scienziato dei dati. Così questo
	questo ti richiede un passo in più,
	farti chiedere al tuo cliente
queste semplici domande	Cosa fare
	vuoi realizzare? Come sarà
	lo fai e come lo farai
	sapere se hai realizzato
	Quello? Possiamo aiutare a rispondere, o
	almeno supportarne alcuni
	domande a cui abbiamo risposto.
	L'ottava dimensione è
	comunicazione. Ti sto dando un
	esempio da un vecchio molto famoso
	mappa del 19° secolo, che
	sta mostrando la marcia del
	Esercito di Napoleone dalla Francia al
	Mosca alla Russia. Vedi il
	i numeri sono la larghezza di
	il percorso indica la dimensione
	dell'esercito, e poi avanti
	nero vedi cosa è successo
	loro sulla via del ritorno.
	Quindi fondamentalmente questo era un
	marcia disastrosa. Noi noi noi noi
	può mettere in relazione questa vecchia mappa
	mappe esistenti e c'è a
	Componente aggiuntivo JMP, che puoi
	trovare nella community JMP, a a
	mostrartelo con i grafici a bolle,
	la bolla dinamica traccia ciò che questo
	sembra. Quindi ho coperto
	molto rapidamente le otto informazioni
	dimensioni di qualità. Il mio ultimo
	slide è di questo che ho parlato
	circa da uno storico
	prospettiva, mettetene davvero un po'
	proporzioni a quello che sto dicendo.
	Penso che siamo davvero nell'era
	della qualità dell'informazione. Abbiamo usato
	preoccuparsi del prodotto
	qualità nel 18 ° secolo, il
	17 ° secolo. Ci siamo poi spostati a
	qualità del processo e del servizio
	qualità. Questo è un breve promemoria
	sulla proposta di una carta di controllo,
	1924, credo.
	Poi passiamo alla gestione
	qualità. Questo è il Giura
	trilogia di progettazione, miglioramento
	e controllo. Six Sigma (definire,
	misurare, analizzare, migliorare)
	il processo di controllo è il
	processo di miglioramento del Juran,
	e Juran era il nonno
	di Six Sigma in questo senso.
	Poi negli anni '80 arrivò Taguchi
	in. Parla di robusto
	progetto. Come possiamo gestire
	variabilità negli input da parte propria
	decisioni progettuali? E ora lo siamo
	nell’era dell’informazione
	qualità. Abbiamo sensori. Noi
	avere sistemi flessibili. Noi siamo
	a seconda dell'intelligenza artificiale e della macchina
	apprendimento e data mining e noi
	si stanno radunando alla grande
	numeri, ma che chiamiamo grandi
	dati. L'interesse per l'informazione
	la qualità dovrebbe essere una priorità assoluta
	interesse. Ci proverò e
	convincerti, con l'aiuto
	di Chris, quello.
	Noi siamo qui e JMP può farlo
	aiutaci a raggiungere questo obiettivo in a
	modo davvero insolito.
	Cosa vedrai alla fine di
	il caso di studio che Chris farà
	show è anche come farlo
	valutazione della qualità delle informazioni e
	su uno studio specifico, in pratica
	generare una qualità dell’informazione
	punto. Quindi, se andiamo dall'alto verso il basso, io
	posso dirvi questo studio, questo
	lavoro, questa analisi è forse dell'80% o
	forse il 30% o forse il 95%.
	E attraverso l'esempio lo farai
	vedere come farlo. C'è un
	Componente aggiuntivo JMP per fornire questo
	valutazione. È così, in realtà
	abbastanza abbastanza facile. C'è
	niente di veramente sofisticato
	a tale proposito. Quindi ho finito e
	Chris, dopo di te. Grazie, Ron. COSÌ
	ora esaminerò il
	analisi di un set di dati in un certo senso
	che richiama esplicitamente il
	vari aspetti dell’informazione
	qualità e mostrare come può essere JMP
	utilizzato per valutare un miglioramento
	per InfoQ. Quindi, prima di tutto, lo sono
	passerò attraverso l'InfoQ
	componenti. Il primo InfoQ
	componente è l'obiettivo, quindi in
	in questo caso la dichiarazione del problema
	era un'azienda chimica
	voleva una formulazione che
	resa del prodotto massimizzata mentre
	riducendo al minimo un'impurità fastidiosa
	quello risultante dalla reazione.
	Quindi quello era l’obiettivo di alto livello.
	In termini statistici, volevamo
	per trovare un modello così accurato
	previsto una risposta su un dato
	impostato in modo da poter trovare a
	combinazione di ingredienti e
	fasi di elaborazione che porterebbero
	ad un prodotto migliore.
	I dati sono impostati in 100
	formulazioni sperimentali con
	un ingrediente primario, X1, e
	10 additivi. C'è anche un
	fattore di elaborazione in 13
	risposte. I dati sono
	completamente fabbricato ma lo erano
	simulato per illustrare lo stesso
	punti di forza e di debolezza del
	dati originali. I dati
	è stata fatta anche la formulazione
	registrato. Guarderemo
	questi dati da vicino, quindi lo voglio
	elaborare oltre a sottolineare
	che sono stati raccolti in un
	modo ad hoc, cambiandone uno o due
	additivi alla volta piuttosto che
	come progettato o randomizzato
	sperimentare. Ce ne sono molti
	modi per analizzare questi dati, il
	il più tipico è il minimo
	modellazione a quadrati con forward
	selezione sulle risposte selezionate.
	Questa era la mia intenzione originale
	per questo discorso, ma quando ho mostrato
	i dati a Ron, lui immediatamente
	ha riconosciuto le colonne di risposta
	come serie temporali da analitiche
	chimica. Anche se i dati
	erano simulati, poteva vedere il
	struttura. Poteva vedere le cose
	nei dati che non ho visto
	e leggere che non lo era. ho trovato
	questo deve essere sorprendente
	degno di nota. È oltre il
	portata di questo discorso, ma c'è
	un approccio ancora migliore basato su
	modellazione d'insieme utilizzando
	ponderato in modo frazionario
	bootstrap. Phil Ramsey,
	Wayne Levin e io ne abbiamo un altro
	parlare di questa metodologia a
	la scoperta europea
	Conferenza quest'anno. IL
	L'approccio è promettente perché
	può adattare i modelli ai dati con
	interazioni più attive rispetto a
	ci sono delle corse. Il quarto e ultimo
	componente della qualità dell’informazione
	è l'utilità, ovvero quanto bene noi
	sono in grado di valutare i nostri obiettivi. O
	come misuriamo quanto bene abbiamo
	valutato i nostri obiettivi? C'è un
	aspetto del dominio che è in questo
	caso vogliamo avere a
	formulazione che porta a
	massimizzato i rendimenti e minimizzato il
	rifiuti nella post-elaborazione del
	Materiale. La statistica
	l'utilità di analisi si riferisce a
	modello a cui ci adattiamo. Quali sono state
	andare lì è il minimo
	precisione dei quadrati del nostro modello in
	termini di quanto bene siamo in grado di farlo
	prevedere cosa... cosa accadrebbe
	risultato dal candidato
	combinazioni di formulazione...di
	fattori di miscela Adesso vado
	per rispondere a una serie di domande
	che compongono un InfoQ dettagliato
	valutazione come organizzata nel
	otto dimensioni dell’informazione
	qualità. Voglio sottolineare
	che non tutte le domande lo saranno
	ugualmente rilevanti per i diversi
	scienza dei dati e statistica
	progetti, e questo non lo è
	voleva essere un dogma rigido ma
	piuttosto un insieme di cose che sono
	una buona idea chiederselo.
	Queste domande rappresentano un tipo
	di saggezza analitica dei dati che
	sembra più ampio del semplice
	applicazione di un particolare
	tecnologia statistica. Una copia
	di un foglio di calcolo con questi
	domande insieme ai suggerimenti
	Le funzionalità JMP più importanti
	utile per rispondere a
	ne verrà caricato uno in particolare
	alla comunità JMP insieme
	con questo discorso da usare. COME
	Procedo attraverso le domande,
	Farò una dimostrazione di un'analisi di
	i dati in JMP. Quindi domanda 1
È	è la scala dei dati utilizzata
	in linea con l’obiettivo dichiarato? COSÌ
	le X che abbiamo sono costituite
	un'unica variabile categoriale
	elaborazione e l'11 continuo
	input. Questi sono misurati
	come percentuali e sono anche
	registrato al mezzo punto percentuale. Noi
	non hanno gli importi totali di
	gli ingredienti, solo il
	percentuali. I totali sono
	informazioni che sono andate perdute
	o mai registrato. Ci sono
	altri potenzialmente importanti
	pezzi di informazione che sono
	manca qui. Il tempo in mezzo
	formulazione dei lotti e
	prendere le misure è sparito
	e avrebbero potuto essercene altri
	informazioni a livello di covariata che
	manca qui quello che avrebbe
	descritto le condizioni di cui
	cui è avvenuta la reazione.
	Senza più informazioni di me
	avere, non posso dire quanto sia importante
	questo tipo di informazioni sulla covariata
	sarebbe stato. Noi abbiamo
	informazioni il giorno della
	batch, in modo che possa essere utilizzato come
	un surrogato forse. Nel complesso noi
	avere quello che, si spera, è il massimo
	input importanti, nonché
	misurazioni delle risposte noi
	desidera ottimizzare. Potremmo avere
	aveva più informazioni, ma questo
	sembra abbastanza promettente da provare
	e analisi con. Il secondo
	domanda relativa ai dati
	la risoluzione è quanto affidabile e
	precisi sono gli strumenti di misurazione
	e fonti di dati. E il fatto
	è che non ne abbiamo molti
	informazioni specifiche qui. IL
	statistico interno al
	la compagnia avrebbe avuto di più
	informazione. In questo caso noi
	non ho altra scelta che fidarmi di ciò
	i chimici formularono e
	registrato bene le miscele. IL
	terza domanda relativa ai dati
la risoluzione è	sono i dati
	analisi adatta ai dati
	livello di aggregazione? E il
	la risposta qui è sì, supponendo
	che è il loro sistema di misurazione
	accurati e che i dati lo siano
	abbastanza pulito. Cosa stiamo andando
	finire per fare in realtà lo è
	useremo il
	Esplora dati funzionali a
	estrarre il principio funzionale
	componenti, che sono dati
	tipo di dati derivati
	aggregazione. E poi lo siamo
	li modelleremo
	componenti principali funzionali
	utilizzando le variabili di input. COSÌ
	ora passiamo ai dati
	dimensione della struttura e
	la prima domanda che ci poniamo è: è il
	dati utilizzati in linea con il
	obiettivo dichiarato? E penso che
	la risposta è un chiaro sì qui. Erano
	cercando di massimizzare
	prodotto. Abbiamo le misure per
	quello, e gli input lo sono
	registrato come Xs. Il secondo dato
	la domanda sulla struttura è dove
	le cose cominciano davvero a migliorare
	interessante per me. Quindi è questo
	sono i dettagli di integrità
	(valori anomali, valori mancanti, dati
	corruzione) problemi descritti e
	gestito adeguatamente? Quindi da
	qui possiamo usare JMP per poterlo fare
	per capire dove si trovano gli outlier
	sono, capire strategie per
	cosa fare in caso di valori mancanti,
	osservare i loro schemi e così via
	SU. Quindi ecco, ecco dove
	le cose miglioreranno un po'
	po' più interessante. Il primo
	la cosa che faremo è essere
	determineremo se ci sono
	eventuali valori anomali nei dati che noi
	bisogna preoccuparsi. COSÌ
	per farlo, andremo
	nell'esplorazione valori anomali
	piattaforma fuori dalla proiezione
	menù. Stiamo per caricare il
	variabili di risposta e perché
	questa è un'impostazione multivariata,
	utilizzeremo una nuova funzionalità
	in JMP Pro 16 chiamato Robust
	Valori anomali della PCA. Quindi vediamo dove
	i grandi residui sono in quelli
	tipo di grafici di tipo Pareto.
	C'è un'istantanea che mostra dove
	ce n'è qualcuno potenzialmente
	osservazioni insolitamente grandi. IO
	non pensare davvero che sembri
	troppo insolito o preoccupante per me.
	Possiamo salvare i grandi valori anomali
	in una tabella di dati e poi guarda
	loro nella distribuzione
	piattaforma e ciò che vediamo in un certo senso
	sembra una distribuzione normale
	con la parte centrale tolta. Così io
	penso che questi siano i dati che lo sono
	proveniente da una sorta di stesso
	popolazione e non c'è niente
	davvero di cui preoccuparsi qui,
	in termini di valori anomali. Quindi una volta che abbiamo
	preso cura del valore anomalo
	situazione in cui entriamo ed esploriamo
	valori mancanti. Quindi cosa siamo
	la prima cosa da fare è andare
	per caricare Ys come...nel
	piattaforma, e poi andiamo
	per utilizzare il valore mancante
	istantanea per vedere quali modelli
	sono tra i nostri dispersi
	valori. Sembra che
	i valori mancanti tendono a verificarsi in
	cluster orizzontali, e c'è
	anche gli stessi valori mancanti
	attraverso le righe. Quindi puoi vederlo
	con le macchie nere qui.
	E poi andremo ad applicare un
	imputazione automatizzata dei dati,
	che va avanti e salva
	colonne formula che imputano
	valori mancanti nel nuovo
	colonne utilizzando un tipo di regressione
	algoritmo sviluppato da
	un mio dottorando di nome Milo
	Pagina nello stato NC. Quindi possiamo giocare
	giro un po' e prendi un
	senso di come funziona l'ADI
	l'algoritmo funziona. Così è
	ha creato queste colonne formula
	che si stanno staccando elementi di
	la colonna di imputazione ADI, ovvero
	una colonna formula vettoriale e il
	funzione di imputazione del punteggio
	sta calcolando il previsto
	valore delle celle mancanti fornito
	le celle non mancanti, ogni volta
	ha un valore mancante. E il suo
	semplicemente portando avanti un non
	valore mancante. Quindi puoi vedere 207
	in YO...Y6 lì. Inizialmente lo è
	207 ma poi lo cambio in
	mancante e ora è in essere
	imputato a 234.
	Quindi lo farò un paio di volte
	puoi vedere come stanno le cose
	lavorando. Quindi qui lo inserirò in grande
	valore per Y7 e questo è ora.
	stato sostituito. E se andiamo giù
	e aggiungiamo una riga,
	allora ci sono tutti i valori mancanti
	inizialmente e la colonna significa
	vengono sostituiti per il
	imputazioni. Se dovessi andare
	avanti e aggiungere valori per alcuni di
	quelle cellule mancanti, lo farebbe
	inizia a fare il condizionale
	attesa degli ancora dispersi
	celle che utilizzano le informazioni
	quello è in quello mancante....il
	quelli non mancanti. Quindi il nostro prossimo
	la domanda sulla struttura dei dati è
	sono i metodi di analisi
	adatto alla struttura dei dati?
	Quindi abbiamo 11 input di miscele
	e una variabile di elaborazione che è
	categorico. Quelli stanno andando
	essere input in almeno
	modello di tipo quadrato. Abbiamo
	13 risposte continue e
	possiamo modellarli usando...
	individualmente utilizzando meno
	piazze. Oppure possiamo modellare
	principale funzionale
	componenti. Il...ora ci sono
	i problemi. Le X sono...le
	le variabili di input non sono state
	affatto randomizzato. È molto
	chiaro che avrebbero fatto del male
	in giro con uno o più di
	i composti e poi spostarsi
	su un altro. Così il
	ordine in cui il
	le variabili di input erano varie
	era un po' casuale. È un
	chiara mancanza di randomizzazione, e
	sarà negativo
	influiscono sulla nostra... generalizzabilità
	e la forza delle nostre conclusioni.
	L'integrazione dei dati è la terza
	Dimensione InfoQ. Questi dati
	vengono inserite manualmente le note di laboratorio
	costituito principalmente da miscela
	percentuali e attrezzature
	letture. Possiamo solo supporre
	che i dati sono stati inseriti
	correttamente e che le X lo siano
	allineato correttamente con le risposte.
	Se così non fosse, allora il
	il modello avrà gravi bias
	problemi e avere
	problemi di generalizzabilità.
	L’integrazione è più un problema
	con dati osservativi
	problemi scientifici in macchina
	esercitazioni didattiche, poi laboratorio
	esperimenti come questo. Sebbene
	non si applica qui, lo farò
	sottolineare che la privacy e
	possono esserci problemi di riservatezza
	identificato modellando il
	parte sensibile dei dati che utilizzano
	il componente da pubblicare
	ai dati. Se il risultato
	è previsto il modello, quindi uno
	dovrebbe preoccuparsi della privacy
	le preoccupazioni non vengono soddisfatte. Temporale
	la pertinenza si riferisce a
	sequenziamento temporale operativo di
	raccolta dati, analisi e
	distribuzione e eventuali lacune
	tra queste fasi porta a a
	diminuzione dell'utilità di
	le informazioni nello studio.
	In questo caso, possiamo solo semplicemente
	spero che il materiale fornisca
	sono ragionevolmente coerenti e
	che è l'attrezzatura di prova
	ragionevolmente accurato, il che è un
	presupposto non verificabile a questo proposito
	punto. La risoluzione temporale noi
	avere quando avviene la raccolta dei dati
	a livello giornaliero, il che significa
	che non c'è molto modo di farlo
	possiamo verificare se c'è tempo
	variazione all'interno di ogni giorno.
	La cronologia dei dati e dell'obiettivo è
	sulla disponibilità di
	variabili rilevanti sia in termini
	se la variabile lo è
	affatto presente nei dati o
	se le informazioni giuste
	sarà disponibile quando il modello
	è schierato. Per predittivo
	modelli, questo si riferisce ai modelli
	essere adatti a dati simili a
	cosa sarà presente in quel momento
	il modello verrà valutato
	nuovi dati. In questo modo, i nostri dati
	il set va sicuramente bene. Per
	stabilire la causalità, tuttavia,
	non siamo altrettanto buoni a
	forma perché la mancanza di
	la randomizzazione implica quel tempo
	gli effetti e gli effetti dei fattori possono
	essere confusi, portando a pregiudizi
	nelle nostre stime. Endogenità,
	o causalità inversa, potrebbe
	essere chiaramente un problema qui, come
	variabili come la temperatura e
	il tempo di reazione potrebbe chiaramente esserlo
	influiscono sulle risposte, ma hanno
	stato lasciato non registrato. Complessivamente,
	ci sono molte cose che non sappiamo
	su questa dimensione in un
	senso della qualità dell’informazione.
	Il resto dell'InfoQ
	la valutazione sarà
	dipendente dal tipo di
	analisi che facciamo. Quindi a questo
	punto, andrò avanti e
	condurre un’analisi di questi dati
	utilizzando i dati funzionali
	Piattaforma Explorer in JMP Pro
	che mi permette di modellare
	tutte le colonne contemporaneamente
	in un modo basato su
	componenti principali funzionali,
	che contengono l'importo massimo
	di informazioni in tutti questi
	colonne come rappresentate in
	formato più efficiente possibile.
	Lavorerò su
	versioni imputate delle colonne
	che ho calcolato in precedenza nel
	presentazione. E lo farò
	fai notare che lo sarò
	lavorando per trovare combinazioni di
	i fattori di miscela che raggiungono
	il più fedelmente possibile in a
	senso minimo quadrato, un ideale
	curva creata da
	professionista che massimizza il
	quantità di prodotto potenziale che
	potrebbe essere in un batch mentre
	riducendo al minimo l'importo del
	impurità che loro
	realisticamente pensato un lotto
	potrebbe contenere. Quindi inizio il
	analisi andando all'analisi
	menu, richiamare il funzionale
	Esploratore dati. Questo ha righe come
	funzioni. Vado a caricare il mio
	righe imputate, e poi vado
	inserire nella mia formulazione
	componenti e la mia elaborazione
	colonna come supplementare
	variabile. Abbiamo un documento d'identità
	funzione, questo è l'ID batch. Qui io
	entra. Posso vedere le funzioni,
	sia la sovrapposizione del tutto, e
	Posso vedere le singole funzioni.
	Poi posso caricare il bersaglio
	funzione, che è l'ideale.
	E questo cambierà il
	analisi che risulta una volta I
	inizia ad addentrarti nella modellistica
	passi. Quindi questi sono carini
	funzioni semplici, quindi sono solo
	li modelleremo con
	Spline B.
	E poi entrerò nel mio
	analisi DOE funzionale.
	Questo si adatterà al modello
	che collega gli ingressi in
	il principio funzionale
	componenti e quindi collegare tutti
	il percorso attraverso il
	autofunzioni per renderlo tale
	siamo in grado di recuperare il
	funzioni generali come loro
	cambiato, poiché stiamo variando il
	fattori di miscela IL
	componente principale funzionale
	l'analisi lo ha indicato
	ci sono quattro dimensioni di
	variazione in queste risposte
	funzioni. Per capire cosa
	significano, andiamo avanti e
	esplorare con il profiler FPC.
	Quindi guarda questo riquadro proprio qui come
	Regolo FPC 1 e possiamo vedere
	a cui è associato questo FPC
	altezza di picco. FPC2, sembra
	come se fosse una specie di picco
	ristrettezza. È quasi come a
	principale di risoluzione
	componente. Il terzo lo è
	legato a una specie di ginocchio
	a sinistra del picco dominante.
	E Peak 4 sembra che lo sia
	legato principalmente al
	impurità, ecco cosa
	il significato sottostante è di
	questi quattro funzionali
	componenti principali.
	Quindi abbiamo caratterizzato il nostro obiettivo
	come massimizzazione del prodotto e
	minimizzando l'impurità, e
	lo abbiamo comunicato nel
	analisi attraverso questo ideale o
	curva dorata che abbiamo fornito a
	l'inizio della FDE
	esercizio che stiamo facendo. Per ottenere come
	avvicinarsi il più possibile a quell'ideale
	curva, attiviamo la desiderabilità
	funzioni. E poi possiamo andare
	e massimizzare la desiderabilità.
	E troviamo che sia ottimale
	riguarda la combinazione di input
	4,5% di
	Ingrediente quattro, 2% di
	Ingrediente 6. 2,2% di
	Ingrediente 8 e 1,24% di
	Ingrediente 9 utilizzando l'elaborazione
	metodo due. Rivediamo come
	siamo arrivati ​​qui. Noi per primi
	calcolato la risposta mancante
	colonne. Poi abbiamo trovato la B-spline
	modelli adatti a quelle funzioni
	bene nella piattaforma FDE. UN
	componenti principali funzionali
	l'analisi ha determinato che lì
	erano quattro autofunzioni
	che caratterizza la variazione di
	questi dati. Questi quattro
	sono state determinate le autofunzioni
	tramite il profiler FPC a ciascuno
	avere un argomento ragionevole
	significato della materia. Il funzionale
	L'analisi DOE consisteva in
	applicando sfoltito in avanti
	selezione a ciascuno dei
	punteggi FPC individuali utilizzando il
	Fattori DOE come variabili di input.
	E qui vediamo che questi hanno
	trovato combinazioni di
	Interazioni ed effetti principali
	che erano più predittivi per
	ciascuno dei principali funzionali
	punteggi dei componenti individualmente.
	Il profilatore DOE funzionale
	ha elegantemente catturato tutto
	aspetti in un'unica rappresentazione
	che ci permette di trovare il
	fase di elaborazione della formulazione
	si prevede che sia desiderabile
	proprietà misurate da high
	resa e bassa impurità.
	Quindi ora possiamo fare un InfoQ
	valutazione del
	generalizzabilità dei dati
	le analisi. Quindi, in questo caso,
	ci interessa di più
	generalizzabilità scientifica, come
	lo sperimentatore è profondamente
	chimico esperto che lavora
	con questo composto. Così erano
	farà più affidamento su
	la loro competenza in materia
	poi sui principi statistici
	e strumenti come i test di ipotesi
	e così via. L'obiettivo è
	principalmente predittivo, ma il
	la generalizzabilità è una specie di
	problematico perché il
	l'esperimento non è stato progettato. Nostro
	capacità di stimare le interazioni
	è indebolito per tecniche come
	selezione in avanti e impossibile
	tramite l'analisi dei minimi quadrati di
	il modello completo. Perché il
	lo studio non era randomizzato, lì
	potrebbe essere un tempo non registrato
	effetti dell'ordine. Non ne abbiamo
	covariata potenzialmente importante
	informazioni come temperatura e
	tempo di reazione. Questo crea
	un altro grande punto interrogativo
	riguardo alla generalizzabilità.
	Ripetibilità e
	la riproducibilità dello studio è
	anche uno sconosciuto qui come abbiamo noi
	nessuna informazione su
	variabilità dovuta alla
	sistema di misura. Fortunatamente,
	abbiamo strumenti come JMP
	valutare il design per comprendere
	il design esistente così come
	aumentare il design che può notevolmente
	potenziare la generalizzazione
	svolgimento dell'analisi.
	L'aumento può migliorare le informazioni
	sugli effetti principali e
	interazioni e un secondo round
	di sperimentazione potrebbe essere
	randomizzato per migliorare anche
	generalizzabilità. Quindi ora lo sono
	ne passerò un paio
	semplici passaggi per mostrare come fare
	migliorare la generalizzazione
	prestazioni del nostro studio utilizzando
	strumenti di progettazione in JMP. Prima che io
	farlo, voglio sottolinearlo
	che dovevo prendere i dati e
	convertilo in modo che fosse
	proporzioni anziché in
	percentuali. Altrimenti il ​​disegno
	gli strumenti non erano realmente d'accordo
	con i dati molto bene. Quindi noi
	vai nella finestra di valutazione del designer
	e poi carichiamo le nostre Y e
	le nostre X. Ho richiesto la possibilità di farlo
	gestire le interazioni del secondo ordine.
	Poi... sì, ho ricevuto questo avviso
	dicendo: ehi, non posso farlo
	perché non ne siamo in grado
	stimare tutte le interazioni
	dato un fattore alla volta
	dati che abbiamo. Quindi ho sostenuto
	su. Andiamo all'aumento
	designer, carica tutto,
	impostare l'aumento. Sceglieremo e io-
	design ottimale perché siamo
	veramente preoccupato
	prestazioni previste qui.
	E io
	impostare il numero di esecuzioni su 148.
	Il designer personalizzato ha richiesto
	141 come minimo, ma sono andato a
	148 solo per essere sicuro
	di cui abbiamo tutte le capacità
	stimare tutte le nostre interazioni
	abbastanza bene. Dopodiché, esso
	ci vogliono circa 20 secondi per
	costruire il disegno. Così ora
	che abbiamo il design, lo sono
	mostrerò i due di più
	importanti strumenti diagnostici in
	il progettista di potenziamenti per
	valutare un progetto. Sul
	a sinistra abbiamo la frazione di
	trama dello spazio di progettazione. Questo è
	mostrando che il 50% del volume
	del design ha
	una varianza di previsione che è
	meno di 1. Quindi 1 sarebbe
	equivalente al residuo
	errore. Quindi siamo in grado di ottenere
	meglio dell'errore di misura
	previsioni di qualità nel corso del
	gran parte del disegno. Sul
	a destra abbiamo la mappa dei colori attiva
	correlazioni. Questo sta dimostrando
	che siamo in grado di stimare
	tutto abbastanza bene. C'è
	alcuni...a causa della miscela
	vincolo, ne stiamo ottenendo alcuni
	forti correlazioni tra
	Interazioni ed effetti principali.
	Nel complesso, gli effetti sono discreti
	pulito. E le interazioni lo sono
	abbastanza ben separato da uno
	un altro e gli effetti principali
	sono abbastanza ben separati da
	anche l'un l'altro. Dopo
	guardando il disegno
	diagnostica, possiamo fare il
	tavolo. Qui, ho mostrato il
	prime 13 delle corse aumentate
	e vediamo che abbiamo...noi
	avere una maggiore randomizzazione. Noi no
	utilizzare lo stesso effetto principale
	più e più volte strisce.
	Questa è la prova che c'è di meglio
	randomizzazione e nel complesso il
	il design sarà in grado di farlo
	molto meglio stimare il principale
	effetti e interazioni aventi
	ricevuto una qualità migliore e più elevata
	informazioni in questa seconda fase
	di sperimentazione. Quindi l'input
	le variabili, le X, sono accurate
	rappresentazioni della miscela
	proporzione, quindi è chiaro
	interesse oggettivo. IL
	le risposte sono surrogati stretti
	per l'importo del prodotto
	e la quantità di impurità contenuta
	i lotti. Siamo abbastanza bravi
	7.1. Là. Le giustificazioni
	sono chiari. Dopo lo studio, noi
	ovviamente puoi andare a preparare a
	batch che è la formulazione
	quanto raccomandato dal FDOE
	profilatore. Provalo e vedi se
	stiamo ottenendo il tipo di
	prestazione che stavamo cercando
	per. E' molto chiaro
	sarebbe il modo in cui possiamo
	valutare quanto bene abbiamo ottenuto
	i nostri obiettivi di studio. Quindi ora sotto il
	ultima dimensione InfoQ
	Comunicazione. Descrivendo il
	curva ideale come obiettivo
	funzione, il DOE funzionale
	Profiler fa l'obiettivo e il
	risultati del cristallo di analisi
	chiaro. Ma questo può essere espresso
	ad un livello facile
	interpretato dai chimici e
	responsabili della struttura di ricerca e sviluppo.
	E come abbiamo fatto nel nostro dettaglio
	valutazione della qualità delle informazioni,
	siamo stati sinceri riguardo a
	punti di forza e di debolezza del
	disegno e dati dello studio
	collezione. Se i risultati lo fanno
	Non generalizziamo, certamente
	sapere dove cercare dove il
	i problemi erano. Una volta diventato
	familiarità con i concetti
	c'è un bel componente aggiuntivo scritto
	di Ian Cox a cui puoi usare
	fare un rapido InfoQ quantitativo
	valutazione. Il componente aggiuntivo ha
	cursori per la parte superiore e inferiore
	limiti di ciascuna dimensione InfoQ.
	Queste dimensioni sono combinate
	utilizzando una funzione di desiderabilità
	approccio per un intervallo complessivo
	per l'InfoQ a sinistra.
	Ecco una valutazione per il
	dati e analisi di cui ho parlato
	questa presentazione. Il componente aggiuntivo è
	anche un utile strumento di pensiero che
	ti farà considerare ciascuno di
	le dimensioni di InfoQ. È anche un
	modo pratico di comunicare
	Valutazioni InfoQ al tuo
	clienti o al vostro management, come
	fornisce una visione di alto livello
	qualità dell'informazione senza
	utilizzando molta tecnica
	concetti e gergo. Il componente aggiuntivo
	è utile anche come base per
	un confronto su InfoQ. Mio
	speranza originaria per questo
	la presentazione doveva essere un po'
	po' più ambizioso. avevo sperato
	per coprire l'analisi che ho avuto
	appena passato, così come
	un altro più semplice, quello in cui salto
	inserendo le risposte e facendo
	una lineare multivariata semplice
	modello di regressione della risposta
	colonne. Oggi posso solo farlo
	offrire una valutazione finale di ciò
	approccio. Come potete vedere,
	molti degli InfoQ
	le dimensioni ne risentono notevolmente
	senza il più sofisticato
	analisi. Questo è molto chiaro
	la semplice analisi porta a
	Punteggio InfoQ molto più basso.
	Il limite superiore del semplice
	l'analisi non è molto più elevata
	rispetto al limite inferiore del more
	sofisticato. Con
	esperienza, ne guadagnerai
	intuizione su cosa sia un buon InfoQ
	il punteggio è per la scienza dei dati
	progetti nel tuo settore e
	acquisire abitudini migliori come te
	non sarà più cieco al
	colli di bottiglia delle informazioni nel tuo
	raccolta dati, analisi e
	distribuzione del modello. Informazione
	qualità con un facile da usare
	interfaccia. Questo è stato il mio primo
	qualità formale dell’informazione
	valutazione. Parlando per me,
	la qualità dell'informazione
	quadro ha dato parole e
	struttura a molte cose I
	già lo sapevo istintivamente. Esso
	è già cambiato come I
	avvicinarsi alla nuova analisi dei dati
	progetti. Ti incoraggio ad andare
	attraverso questo processo tu stesso
	i tuoi dati, anche se tali dati
	e l'analisi è già molto
	familiare a te. Io garantisco
	che sarai più saggio e
	data scientist più efficiente
	per questo motivo. Grazie.

ScoppiareDOEModellazione predittiva