Ciao tutti. Io sono Caroll Co.
Io sono UN statistico A DLH.
Oggi, IO Volere parlare Di UN progetto su cui ho lavorato
In creando UN tempo- efficiente strategia per selezionando UN test impostato
In IL convalida Di UN Immagine rilevamento algoritmo.
Questo lavoro era Fatto In collaborazione con gli scienziati
da IL Nazionale Istituto di Scienze della Salute Ambientale,
patologi da sperimentale laboratori di patologia,
E Mio compagno colleghi A DLH.
In roditore tossicologia, avanzamenti nel digitale analisi delle immagini
offerta opportunità per quantitativo istopatologia valutazioni.
UN esempio Di Dove digitale Immagine analisi Potevo Essere utile
è nella valutazione di test articolo- effetti immunotossici indotti
In roditore milze.
Tipicamente, patologi utilizzo UN microscopio
A valutare se Là È immunotossicità nella milza
E Fare sentenze SU se milze da animali che ricevono un trattamento
Sono diverso da IL controllo gruppo.
Questo flusso di lavoro È incline A Inter- E intra-valutatore variabilità
In caratterizzante differenze entro IL studio
E Anche attraverso diverso studi.
Ecco UN esempio Di UN ingrandito- In sezione trasversale visualizzazione Di UN roditore milza.
Qui, Io sono Appena puntando fuori
caratteristiche specifiche Di interesse A Nostro collaboratori Quello Noi Volere A catturare.
Nostro problema.
Quando Noi avuto coinvolto In Questo progetto,
i nostri collaboratori patologi si erano già formati UN algoritmo
Quello misurare questi caratteristiche Di interesse.
IL domanda Quello era posto A noi era Come Fare Noi convalidare Questo algoritmo?
Validazione È UN molto ampio termine.
A stretto Nostro messa a fuoco,
Noi Pensiero Di Che cosa Sono Alcuni Di IL principale domande Quello Noi ricercato A indirizzo.
Primo, IL algoritmo era addestrato da poche persone selezionate,
COSÌ Noi ricercato A Vedere se diversi patologi provenienti da diversi laboratori
volevo Essere d'accordo con IL algoritmo produzione.
Secondo, Là erano multiplo caratteristiche
Dove IL algoritmo era allenato A misurare.
Noi ricercato A Vedere Se Là Sono eventuali caratteristiche specifiche
Dove prestazione È Meglio O peggio.
Poi, Noi Anche ricercato A Vedere
se questo algoritmo Potere Presa su A contro UN Largo allineare Di casi.
Se Là Sono Qualunque cieco macchie, Potere Noi Trovare loro?
Malato Anche citare Quello da Qui in poi,
Lo farò fare riferimento A IL Immagine algoritmo COME IL AI.
Uno soluzione Quello Noi Pensiero Di doveva avere sia esseri umani che intelligenza artificiale
annotare IL Stesso immagini E confrontare IL produzione.
Questo È Come Esso volevo lavoro.
UN tessuto campione prende scansionato COSÌ Esso giri in UN digitale Immagine
o un'intera diapositiva immagine WSI,
E Quello Immagine prende alimentato in IL AI per in lavorazione.
Poi per umani, Essi visualizzazione IL Immagine utilizzando UN software per immagini
Dove Essi Potere manualmente annotare caratteristiche Di interesse.
Uno Di IL domande Noi avuto chiesto era Come molti immagini Fare Noi Bisogno A convalidare?
Come statistici,
Nostro risposta È Sempre COME molti COME Voi Potere O Fare Voi Avere centinaia?
Fai Avere migliaia?
Ma Dopo parlando A loro,
ti rendi conto che ce ne sono diversi operativo vincoli A strumento Questo.
IL Primo vincolo era Quello
c'era un Bisogno per ogni Immagine A Essere valutato di tre diverso persone.
Avendo tre persone era utile
affinché Noi Potere Anche stima IL variabilità fra valutatori.
Esso Anche giri fuori Quello Questo processi Di annotazione È molto tempo- consumando.
Dopo parlando A IL patologi, IL massimo numero Di immagini
erano disposti A annotare era Di 24 per persona.
Poi, da ultimo, uno Di IL obiettivo Di questo progetto
È A Ottenere acquistare- In O supporto da patologi da altro laboratori.
Esso significava Noi necessario partecipazione da più laboratori
E multiplo persone da ogni laboratorio.
In Questo studio, Noi avuto partecipazione di tre centri
E Noi avevo tre patologi che rappresentano ogni centro.
In totale, Noi avevo nove patologi reclutato In IL studio.
Basato SU Tutto Di questi vincoli,
noi abbiamo determinato Quello Noi Potere convalidare soltanto 72 immagini.
IL campionamento piano.
Ora Noi Sapere Nostro campione misurare.
Come Fare Noi Selezionare IL 72?
Casuale selezione È Va bene, Ma Potere Noi Fare Meglio?
Che cosa Noi venni su con era
Da IL costo per Immagine per IL AI è relativamente basso,
Noi avuto IL AI A processi UN più grandi impostato Di immagini
e poi da lì,
utilizzo informazione da IL Uscita dell'IA A Meglio Selezionare Nostro 72 campioni.
Noi utilizzo UN risposta servizio modello A Selezionare Nostro punti
e un RSM selezionerà i punti
in direzione IL confini E centro Di IL ingresso spazio.
Suo UN modello contenente tuo principale due- modo interazione effetti E quadratico effetti.
Questo modello era in particolar modo utile A Nostro convalida problema
perché volevamo A Aspetto per le zone Dove accordo non riesce fra umani E AI.
Generalmente, bug tendere A verificarsi SU IL confine E bordi Di Questo spazio.
Questo tipo Di modello si adatta IL problema Quello Noi avevo.
Ora, Noi Avere UN piano A Selezionare IL immagini.
IL domanda Ora È Come Fare Noi allocare questi 72 immagini attraverso nove valutatori?
Noi aspettarsi IL campioni A Avere UN Largo allineare Di complessità.
Noi ricercato A Fare Sicuro Quello tutti avuto UN equilibrato mescolare Di diapositive.
IL complessità O Questo caso mescolare
è determinato di IL produzione Quello Noi avuto da IL AI.
Noi Anche necessario A soddisfare il vincolo
Di fabbricazione Sicuro Quello ogni Immagine È visto di tre diverso persone.
Qui È Mio flusso di lavoro.
IO Volere spettacolo Voi Come IO creato IL piano di campionamento che ha soddisfatto
Tutto Di Nostro operativo vincoli nel JMP.
IO Avere tre passi In Questo flusso di lavoro.
Primo, Io sono andando A spettacolo Voi Come Noi selezionato IL 72 immagini
da UN più grandi impostato.
Secondo È Come Noi replicato IL 72 immagini tre volte,
quindi noi Avere 216 corre.
Avevamo bisogno di farlo
perché volevamo che ogni immagine lo facesse Essere visto di tre valutatori.
IL scorso fare un passo,
Malato spettacolo Voi Come abbiamo assegnato le 216 corse a nove valutatori
COSÌ Quello ogni persona ha esattamente 24 immagini.
In ogni Di questi passi, IO Volere In realtà Essere utilizzando IL DOE piattaforma.
Ora, Io sono Appena andando A mossa Sopra A JMP.
IO Avere Mio JMP file In Là.
Mio Giornale JMP.
IO Sono andando A aprire UN campione dati impostato,
E IO Dire campione Perché Nostro dati ha non stato pubblicato Ancora.
Per IL scopi Di Questo dimostrazione, IO Volere Essere utilizzando UN impostore dati impostato.
Questo dati impostato ha IL Stesso caratteristiche A IL originale dati Quello Noi raccolto.
Questo È Che cosa IL dati sembra Piace.
IO Avere Mio diapositiva ID, Quale È Appena UN numerico variabile andando da 1 A 100.
Andando da 1 A 100 Giusto Qui.
IO Avere quattro variabili Quello Io sono guardare per.
Quello è stato raccolto di IL AI.
Caratteristiche 1, 2, 3 e 4.
Tre Di loro Sono continuo E uno È account variabile.
Se Voi Aspetto A Sotto Analizzare, Multivariato Metodi, multivariati,
Se Noi Appena spettacolo IL grafico a dispersione matrice di tutte le variabili che vedrai,
Tutto Di loro Sono non correlato.
Questo È IL diffusione Di IL allineare Di Nostro variabili.
Fare un passo uno.
Sotto DOE, c'è UN Costume Design, ecco quello su cui sto cliccando.
Noi Potere Partire IL risposte Y Qui. Appena Partire Esso solo.
IL fattori Qui, c'è In realtà due modi A Fare Questo.
Uno modo È A clic SU Questo pulsante Qui Quello dice Aggiungere Fattore.
IO pensare Di quinto Di IL modo E c'è UN Covariata selezione.
Se Voi clic Quello,
sara chiedere Voi Quale colonne di covariate Voi Volere A includere In IL progetto.
In Mio caso, suo questi quattro caratteristiche.
Io sono Appena selezionando loro E Voi clic Va bene.
JMP Volere automaticamente compilare i valori minimo e massimo
per ogni Di questi variabili.
Lo farai Vedere Qui Quello Loro sono Tutto trattato COME covariate.
Quello sembra Bene.
Malato Appena velocemente vicino Questo
E Poi spettacolo Voi un altro modo Di facendo IL Stesso cosa.
Ancora, In DOE Costume Progetto.
Che cosa IO ha mostrato Voi era aggiungendo Esso utilizzando Questo modo Qui.
Un altro modo A Fare Esso È A Appena utilizzo Questo pulsante Giusto Qui
che dice Seleziona covariata Fattori
E sara Dare Voi IL esatto Stesso cosa.
Ancora, Io sono raccolta IL fattori Quello Io sono interessato In
e automaticamente popolato Questo Fattori finestra.
Io sono Appena scorrimento giù A IL metter il fondo a E clic Continua.
Questo È Dove Noi Potere Mettere In IL modello Quello Noi Volere.
Per noi, Noi ricercato UN RSM O risposta servizio modello.
Là È Ancora UN scorciatoia pulsante Giusto Qui.
Io sono Appena andando A clic Quello.
Che cosa Quello fatto È Esso aggiunto...
Noi Già Avere Nostro principale fattori In Là,
Ma Esso aggiunto Nostro quadratica E due- modo interazione effetti.
Poi, da ultimo, A IL fondo dentro Qui Dove Esso dice numero Di corre,
Noi non Volere 100 Perché Noi In realtà Appena Volere A Selezionare 72 fuori Di 100.
Io sono Appena andando A modifica Questo A 72.
Questo Tutto sembra Bene A Me.
Malato clic Fare Progetto.
Andiamo Appena Dare JMP UN pochi secondi A creare IL progetto per noi.
Qui Noi andare.
Questo È IL progetto Quello Esso creato per noi.
COME Voi Potere Vedere, Se Voi scorrere giù,
Esso soltanto ha dato noi 72 righe, Quale È Che cosa Noi avevo chiesto per.
Io sono Appena andando A Dire, giro Questo in UN dati tavolo.
Io sono Appena andando A colpo Fare Tavolo Giusto Qui SU IL metter il fondo a Sinistra.
Io sono andando A vicino Questo per Ora.
Ora, Prima IO spettacolo Voi Che cosa Questo progetto sembra Piace,
IO In realtà Volere A andare Indietro A IL originale tavolo,
Appena COSÌ Voi Potevo Vedere...
Noi Potere confrontare Che cosa è successo alle osservazioni che sono state scelte
contro osservazioni Quello erano non scelto.
Se Voi andare Indietro A IL originale dati tavolo, IL quelli Quello erano scelto,
Quello 72 Sono In realtà evidenziato.
Che cosa Id Piace A Fare A Questo punto È Id Piace A creare UN nuovo colonna
Quello volevo identificare Quale righe erano selezionato E Quale quelli non lo erano.
A Fare Quello, Voi andare Sotto Righe.
Sotto Riga Selezione,
Là È IL scorso opzione In Qui dice Nome Selezione In Colonna.
Che cosa sara Fare lo sarà etichetta IL righe attualmente selezionate
E salva Qualunque cosa valori Voi assegnare per Quello colonna.
Io sono andando A clic Quello.
IL colonna nome.
Y tu Ottenere A creare UN nome per quella colonna.
T Lui righe Quello Sono evidenziato, Io sono darò loro il valore 1.
IL quelli Quello erano non selezionato, IO Volere A Dare loro UN valore Di zero.
Io sono andando A premere O ok, E Quello creato Questo colonna Giusto Qui.
Tutto Di Mio vuole, c'è 72...
C'è 72 righe per IL quelli Quello sono stati selezionati
E Poi 28 per IL quelli Quello erano non selezionato.
IO Volere A andare Indietro A Mio grafico a dispersione matrice A Vedere le risposte
O A Vedere Quale osservazioni erano scelto E Quale quelli non lo erano.
Ma Prima Noi Fare quello, voglio codificarli a colori
COSÌ Quello Quando Voi Aspetto A IL grafico,
IO Potere subito macchiare Quale quelli erano scelto E Quale quelli non lo erano.
Un veloce modo Di facendo Quello È A Fare righe, Colore O Segno di Colonna.
Poi, Qui, IO Volere A utilizzo Questo colonna denominata Selezionato
COSÌ Quello Tutto IL zeri Volere Essere identificato da un cerchio arancione
E Tutto IL quelli Volere Essere identificato di UN blu cerchio.
Noi utilizzo UN marcatore COME BENE.
Quello Potrebbe Fare Esso Più facile A identificare IL osservazioni.
Malato Appena fare clic su O sì.
Ora, Tutto Di Mio righe Sono segnato di IL più O IL cerchi.
Se torno a casa mia...
Se IO andare Indietro A Mio grafico a dispersione matrice,
Ancora, suo Sotto Multivariato Metodi, multivariato, E IO Appena colpo Richiamare.
Io sono facendo IL Stesso cosa COME IO fatto inizialmente.
Permettere Me fare clic su OK.
Io sono Appena andando A Fare Questo UN poco morso più grande.
Lo farai Ora Vedere Quello IL blu vantaggi Sono IL osservazioni Quello erano selezionato,
e il arancia cerchi Sono IL quelli Quello non lo erano.
IL quelli Quello erano selezionato
tendere a verificarsi Di più SU IL confine E bordi Di Nostro spazio.
Questo È esattamente Che cosa Noi ricercato.
Questo sembra Grande A Me.
Chiudiamo questo.
Appena A convincere te stesso
Quello IL modello È facendo Che cosa suo ipotetico A Essere facendo,
IO In realtà fatto Questo Stesso impostare,
Ma Questo tempo, Invece Di raccolta 72, Io sono soltanto raccolta 24.
Andiamo Fare Esso UN poco morso Di più estremo.
Appena A spettacolo Voi UN esempio Di Che cosa Quello sembra Piace.
Ancora, Ora Mio selezione.
Ora, c'è soltanto 24 righe Quello Sono selezionato In Qui.
Andiamo Fare IL Stesso cosa.
Fabbricazione Questo UN poco morso più grande.
Ora, Voi Vedere meno blu vantaggi Perché Là Dovrebbe soltanto Essere 24.
Ma Poi lo farai Vedere Come quelli le osservazioni vengono selezionate
contro IL quelli Quello erano non scelto.
Essi Fare tendere A verificarsi Di più SU i confini esterni,
Ma Ancora Alcuni In IL centro.
Andiamo andare Indietro A Nostro originale problema. BENE Appena vicino Questo.
Questo era Nostro originale dati tavolo.
Quello che è stato creato da IL progetto È Questo uno.
Che cosa Fare Noi Avere Qui?
Erano Ancora mantenendo IL Stesso variabili Quello Noi chiesto JMP a includere.
Noi Avere Nostro caratteristiche 1 2, 3 e 4.
Perché Nostro risposta È Ancora mancante?
Noi Ora Avere Questo nuovo colonna Quello dice Covariata Riga Indice.
Fondamentalmente, Questo Appena collegamenti Voi Indietro A tuo originale tavolo.
Se Questo dice 88, Esso volevo Essere riga 88 SU tuo originale tavolo Quello avuto catturato.
Questo uno.
Questo riga Qui Dovrebbe Essere IL Stesso COME Questo riga Giusto Qui.
Prima Noi mossa, Io sono In realtà Appena andando A rinominare Questo A Mio diapositiva ID.
In Mio caso, IL diapositiva ID, Quale È Appena UN numero da 1 A 100,
suo In realtà Appena IL Stesso COME IL Riga covariata Indice.
Quello era Tutto per fare un passo uno.
Fare un passo due È Ora replicando IL 72 immagini.
Come Fare Noi Fare Quello?
UN presto modo Di facendo Quello È A andare A DOE.
IL secondo selezione È aumentare progetto.
Poi Questo finestra Volere pop su chiedendo Voi Che cosa Sono tuo risposte E fattori?
IO Sapere Perché Noi non Veramente avere una risposta,
Ma IO pensare Voi Ancora Bisogno A Mettere In qualcosa In Qui.
Quello è Va bene.
Voi Appena Mettere Esso In Là Anche Anche se suo Tutto mancante valori.
Poi, per IL fattori, erano andando A Selezionare Nostro caratteristiche 1 A 4.
Questo tempo, Noi volevo Anche Bisogno A Selezionare Nostro Diapositiva ID.
Clic Va bene.
Questo nuovo finestra pop su con Tutto Di Nostro fattori .
Ancora una volta, JMP auto- popola IL intervalli Di Tutto Di Nostro variabili.
SU IL metter il fondo a Qui, Sotto Aumento Scelte,
c'è UN replicare pulsante, E quello è esattamente Che cosa Noi Bisogno.
Clic Quello E Poi lo faranno chiedere Voi,
Come molti numero Di volte Fare Voi Volere A eseguire ogni correre?
IL predefinito È due, Ma Noi In realtà Volere Esso A Essere tre
Perché Noi necessario ogni Immagine A spettacolo su tre volte In Nostro progetto.
Poi Noi clic Va bene.
Ora, Che cosa lo farai Vedere È Quello In il nostro disegno,
Invece Di Appena 72, Noi Ora Avere 72 volte tre.
BENE Appena scorrere Tutto IL modo A IL metter il fondo a.
Noi Ora Avere 216 righe.
Malato Appena clic Fare Tavolo A giro Quello in UN dati tavolo.
BENE vicino Questo.
UN pochi Di più cose Quello IO Volere A controllo.
UN coppia Di più cose IO Volere A controllo Prima Noi mossa SU A fare un passo tre.
Quello È, ogni tempo tu sei facendo questi passi,
Voi Volere A Fare Sicuro Quello suo In realtà facendo Che cosa Voi pensare Esso Dovrebbe Essere facendo.
In Questo caso,
IO ricercato A controllo Quello ogni diapositiva ID In realtà si verifica tre volte.
Erano andando A utilizzo tabulare A Fare Quello.
Tabulare, S coperchio ID, E IO Dovrebbe Avere UN contare Di tre per ogni ID.
Quello è Che cosa Noi Avere.
Quello sembra Grande.
Quello è Esso per fare un passo due.
Andiamo mossa SU A IL scorso fare un passo, Quale È IL maggior parte emozionante fare un passo.
Ora, Noi Avere 216 righe E Noi Avere IL diapositiva ID.
Ora, Noi Volere A distribuire Questo A nove diverso persone.
Come volevo Noi Fare Quello In UN modo Quello ogni persona prende UN equilibrato mescolare?
UN Freddo modo A Fare Esso È usare DOE Ancora.
DOE, clicca SU DOE personalizzato Progetto.
Come Che cosa Noi fatto Prima,
erano Ancora andando A utilizzo Nostro covariata COME fattori.
Appena Selezionare caratteristiche 1 A 4 E Nostro diapositiva ID.
JMP Volere auto- popolare IL min E massimo
Ora, Tutto Di IL riga Qui È Loro sono Tutto elencato COME covariata.
Ma A Questo punto, IO In realtà Volere A aggiungere due Di più fattori.
Uno fattore È UN categorico fattore con tre livelli,
E Quello È IL centro O IL laboratorio perché tu Avere nove patologi,
Ma Loro sono Tutto in arrivo da tre diverso centri.
Io sono Appena andando A rinominare loro UN, B E C.
Poi IO Volere A Fare...
In ogni centro, noi Anche Avere tre diverso persone partecipando.
IO Volere A aggiungere un altro categorico fattore Ancora con tre livelli.
Questo È andando A Essere Nostro valutatore.
Questi Sono Piace IL persone.
Andiamo nome loro 1, 2 e 3.
Fondamentalmente, Che cosa Io sono detto È Quello Centro UN Volere Avere Valutatori 1, 2 e 3,
Centro B ha Valutatori 1, 2 e 3 e COSÌ SU.
In totale, Noi Avere nove diverso persone,
nove diverso combinazioni Di centro E valutatore In Qui.
Io sono andando A minimizzare Questo.
Questo In realtà Appena Spettacoli IL dati tavolo Dove Noi tirato Nostro covariate da.
Poi colpo Continua Qui.
Ora, Noi Ottenere A raccontare JMP cosa Tipo Di modello Fare Noi Volere.
C'è UN coppia Di cose In Qui.
Primo, IO In realtà ricercato A aggiungere In.
JMP Volere automaticamente Mettere In tuo principale effetti.
Questi Sono Tutto IL fattori Quello Sono In Mio modello.
IO ricercato A Mettere In UN interazione termine fra centro E valutatore,
E quello è Perché IO ricercato A Fare Sicuro Quello
tutte le combinazioni Di centro E valutatore apparire In Nostro progetto.
Quello garanzie Quello.
IL altro cosa A Sapere È Quello
noi in realtà non Avere Abbastanza corre A stima diapositiva ID.
Ricordare, diapositiva ID va da...
C'è 72 distinto diapositiva ID In Qui,
Ma Noi In realtà non Volere UN effetto, UN diapositiva ID effetto.
Noi Appena voglio JMP A Prendere Quello in account Quando suo costruendo IL progetto.
Noi non Veramente Volere A stima diapositiva ID.
Sotto Stima bilità Qui, Voi Potere modifica...
IL stimabilità per diapositiva ID,
da Necessario, tu Potere modifica Esso A Se Possibile.
Poi, da ultimo, IL numero Di corre.
IO pensare T Lui numero Di corre Essi calcolato per Me era 18.
Ma Noi In realtà ricercato A utilizzo su Tutto Di Nostro corre
Perché Noi Avere 216 corre E Ora erano Appena guardare A Vedere...
Volevamo A Ottenere JMP a raccontare noi Come Fare Noi allocare questi 216.
Fare Progetto.
Esso Appena Potrebbe Prendere UN poco morso più a lungo.
Malato andare in ad esempio, come controlliamo il design
E Poi parlare UN poco morso Di IL correre ordine.
Questo È Che cosa IL progetto sembra Piace.
Noi Avere Nostro originale caratteristiche, caratteristiche 1 A 4 In Qui, IL diapositiva ID,
e ora ha aggiunto centro E valutatore assegnato per ogni diapositiva ID.
Che cosa Questo È detto È Quello valutatore B1 dovrebbe annotare la diapositiva numero 27,
A1 Volere annotare diapositiva 96, E COSÌ SU.
Là Dovrebbe Essere 216 corre In Qui.
Quello sembra Va bene.
IL scorso parte Qui Sotto Dati Tavolo Opzioni,
Là È UN controllo segno per Includi colonna ordine di esecuzione.
Io sono andando A clic SÌ Perché In il nostro caso,
per annotazione, Se Voi aspettarsi Là A Essere Alcuni tipo Di tempo effetto
In Qualunque cosa processi Quello tu sei facendo.
In Nostro caso, Noi erano Forse preoccupato Di
Volere Là Essere UN apprendimento curva, Volere Là Essere UN fatica effetto?
Noi Volere A Fare Sicuro Quello non tutti iniziano con un ID diapositiva
quello è Piace l'ID della diapositiva con il numero più basso
E fine con IL più alto- numerato diapositiva ID.
Io sono Appena andando A fare clic su Crea Tavolo.
Io sono andando A vicino Questo finestra per Ora.
Questo È Che cosa Ora Nostro progetto sembra Piace.
Prima Noi Fare Nostro controlli, Io sono Appena andando A creare UN nuovo colonna
Dove IO Potere concatenare IL centro E valutatore.
Io sono Appena evidenziando questi due colonne, fare clic con il pulsante destro del mouse.
Sotto Nuova F formula Carattere,
IO Appena Volere A concatenare loro con UN virgola.
Questo È andando A Essere Nostro Centro, Valutatore variabile.
Là Voi andare.
Tre cose Quello erano controllo Qui.
Primo È andiamo Fare tabulare.
Noi Volere A Fare Sicuro Quello ogni persona ha esattamente 24 immagini.
Quello è Mio Centro, R dopo, e qui ce ne sono 24.
Quello è Grande.
IL altro cosa Quello Noi Volere A controllo per È Quello Là Sono NO ripete.
Noi non Volere...
Per esempio, Noi non Volere diapositiva ID 1 essendo assegnato A IL Stesso persona due volte
Perché Quello volevo non Essere divertimento per Quello persona.
Se IO Fare UN tabella incrociata Di diapositiva ID per centro, valutatore,
IO Dovrebbe Vedere Appena UN colonna Di 1 secondo
Quello significa ogni diapositiva ID era assegnato A tre diverso persone.
Io sono Appena scorrimento Attraverso Qui
E guardare A Questo tavolo A Vedere Quello Là Sono NO 2 o 3 In Qui.
Quello sembra Grande.
Poi, da ultimo, IO Fare Volere A controllo,
Come fa IL caso mescolare Aspetto Piace attraverso questi nove valutatori?
Uno modo Di Pensiero Di A almeno controllandolo visivamente
È A Appena Fare UN parallelo complotto utilizzando Grafico Costruttore.
Ho intenzione di estendere Questo.
Io sono andando A evidenziare caratteristiche 1, 2, 3 e 4
Perché quelli Sono Mio originale variabili.
Poi, Mio centro E valutatore, IO Sono trascinando Esso A Qui SU Mio X- asse.
Io sono andando A colpo Questo parallelo complotto opzione Giusto Qui SU IL superiore Giusto icona.
IO Ottenere Quello.
UN in realtà, Voi non Volere Centro, Valutatore In Là.
Io sono Appena andando A giro Quello spento.
Forse Che cosa IO Volere È Centro, Ratto ehm E suo Proprio pannello.
Che cosa Questo Spettacoli noi È Noi Avere IL Compiti da IL nove persone,
COSÌ A1 Tutto IL modo A C3.
Questo È IL caso mescolare Di IL immagini Quello Essi avuto assegnato A.
UN guadagno, erano Appena facendo Questo visivamente.
Che cosa Io sono guardare per è che non ci sono...
Quando Voi Aspetto A loro in totale Quello Essi Tutto Aspetto piu 'o meno lo stesso,
Quello Loro sono un po' miscelato E non ci sono aggregazioni che stanno accadendo
E Essi Aspetto A Essere Va bene.
Un altro modo A Fare Esso È A, IO Indovinare Voi Potere sovrapposizione.
Esso prende UN poco morso difficile Perché IO Fare Avere nove diverso colori In Qui.
Ma Ancora, tu sei Appena guardare per...
Voi non Volere Là A Essere Qualunque modelli In Qui.
Voi non Volere Là A Essere grumi Di verde quassù o quaggiù
O dovunque In Questo spazio.
Voi Potevo Anche controllo Esso di centro.
Suppongo Mio colori Sono non IL migliore.
Voi Avere giallo, blues, E verdi.
Essi Tutto Aspetto A Essere BENE- misto.
Poi, IO fatto citare Di IL correre ordine.
Che cosa Esso È, È Quello Voi Appena voglio essere sicuro
Quello Quando tu sei raccontando persone Come A Fare loro annotazione,
Voi Volere A Fare Sicuro Quello Quello È Anche randomizzato
in modo che se c'è un effetto temporale, quello è preso in account Già.
Che cosa Io sono complottando Qui È IL diapositiva ID.
UN guadagno, Questo È sequenziale. Va da 1 a 100.
Poi Questo È IL correre ordine,
IL sequenza Di Quando IL patologo volevo valutare questi immagini.
Questo sembra casuale.
Noi Potevo Anche complotto Esso di centro E valutatore.
Questo È per ogni individuale persona.
Essi Aspetto Bene.
Sono solo andando A vicino Quello.
Ora, Malato Appena andare torniamo alla mia diapositiva di PowerPoint
E Appena FINE con Alcuni conclusioni Qui.
Noi Potere utilizzo DOE In selezionando campioni O test casi
Dove Voi Avere informazioni preventive.
Se Voi Avere dati O covariate Quello è possibile utilizzare per informare la selezione,
Perché non utilizzo loro?
Una risposta superficie modello è vantaggioso
Se tu sei interessato In IL confine O bordo casi.
Secondo punto È Quello Voi Potere utilizzo aumentare Replica DOE
Se Voi Avere UN situazione Dove Voi necessitano di più valutatori per campione.
IL lavoro O IL progetto Già ti dà un'opportunità
A fattore correre ordine In tuo piano.
Quello Potevo Essere Veramente utile Se ti aspetti che ci sia un effetto temporale
come COME UN apprendimento curva O fatica.
Io ho UN coppia Di collegamenti Qui A UN blog
Quello parlare Di più O discutere Di più Di Che cosa È UN covariata In progetto Di esperimenti.
Per favore controllo Quello fuori Se Voi Volere A Imparare Di più Di Questo tecnica.
Poi, da ultimo, IO Appena ricercato A Dire
Grazie Voi A Tutto Mio collaboratori Chi aiutato Fare Questo progetto possibile.
Grazie.
