Ciao
tutti.
Io sono
Caroll
Società
Io sono a statistico A DEBITO.
Oggi, I Volere parlare Di a progetto Ho lavorato su
In creazione a tempo- efficiente strategia per selezione a test impostato
In IL convalida Di UN immagine rilevamento algoritmo.
Questo lavoro era Fatto In collaborazione con gli scienziati
da IL Nazionale Istituto di Scienze della Salute Ambientale,
patologi da sperimentale laboratori di patologia,
E Mio compagno colleghi A DEBITO.
In roditore tossicologia, progressi in digitale analisi delle immagini
offerta opportunità per quantitativo istopatologia valutazioni.
UN esempio Di Dove digitale immagine analisi Potevo Essere utile
è nella valutazione di test articolo- effetti immunotossici indotti
In roditore milze.
In genere, patologi utilizzo a microscopio
A valutare se Là È immunotossicità nella milza
E Fare giudizi SU se milze da animali che ricevono un trattamento
Sono diverso da IL controllare gruppo.
Questo flusso di lavoro È incline A inter- E intra-valutatore variabilità
In caratterizzante differenze entro IL studio
E Anche attraverso diverso studi.
Ecco qui UN esempio Di a ingrandito- In sezione trasversale visualizzazione Di a roditore milza.
Qui, Io sono Appena puntando fuori
caratteristiche specifiche Di interesse A Nostro collaboratori Quello Noi Volere A catturare.
Nostro problema.
Quando Noi avuto coinvolto In Questo progetto,
i nostri collaboratori patologi si erano già formati UN algoritmo
Quello misura questi caratteristiche Di interesse.
IL domanda Quello era posto A noi era Come Fare Noi convalidare Questo algoritmo?
Validazione È a molto ampio termine.
A stretto Nostro messa a fuoco,
Noi Pensiero Di Che cosa Sono Alcuni Di IL principale domande Quello Noi ricercato A indirizzo.
Primo, IL algoritmo era addestrato da poche persone selezionate,
COSÌ Noi ricercato A Vedere se diversi patologi provenienti da laboratori diversi
volevo Essere d'accordo con IL algoritmo produzione.
Secondo, Là erano multiplo caratteristiche
Dove IL algoritmo era addestrato A misura.
Noi ricercato A Vedere Se Là Sono eventuali caratteristiche specifiche
Dove prestazione È Meglio O peggio.
Poi, Noi Anche ricercato A Vedere
se questo algoritmo Potere Presa su A contro a Largo allineare Di casi.
Se Là Sono Qualunque cieco macchie, Potere Noi Trovare loro?
Malato Anche menzione Quello da Qui in poi,
Lo farò fare riferimento A IL immagine algoritmo COME IL IA.
Uno soluzione Quello Noi Pensiero Di avrebbe dovuto avere sia umani che intelligenza artificiale
annotare IL Stesso immagini E confrontare IL produzione.
Questo È Come Esso volevo lavoro.
A tessuto campione ottiene scansionato COSÌ Esso si gira in a digitale immagine
o un'intera diapositiva immagine di WSI,
E Quello immagine ottiene alimentato in IL intelligenza artificiale per elaborazione.
Poi per umani, Essi visualizzazione IL immagine usando UN software di immagine
Dove Essi Potere manualmente annotare caratteristiche Di interesse.
Uno Di IL domande Noi avuto è stato chiesto Come molti immagini Fare Noi Bisogno A convalidare?
Come statistici,
Nostro risposta È Sempre COME molti COME Voi Potere O Fare Voi Avere centinaia?
Fai Avere migliaia?
Ma Dopo parlando A loro,
ti rendi conto che ci sono un certo numero di operativo vincoli A attrezzo Questo.
IL Primo vincolo era Quello
c'era un Bisogno per ogni immagine A Essere valutato di tre diverso persone.
Avendo tre persone era utile
affinché Noi Potere Anche stima IL variabilità fra valutatori.
Esso Anche si gira fuori Quello Questo processo Di annotazione È molto tempo- consumante.
Dopo parlando A IL patologi, IL massimo numero Di immagini
erano disposti A annotare era Di 24 per persona.
Poi, infine, uno Di IL obiettivo Di questo progetto
È A Ottenere acquistare- In O supporto da patologi da altro laboratori.
Esso significava Noi necessario partecipazione di più laboratori
E multiplo persone da ogni laboratorio.
In Questo studio, Noi avuto partecipazione di tre centri
E Noi avevo tre patologi rappresentando ogni centro.
In totale, Noi avevo nove patologi reclutato In IL studio.
Basato SU Tutto Di questi vincoli,
noi abbiamo determinato Quello Noi Potere convalidare soltanto 72 immagini.
IL campionamento piano.
Ora Noi Sapere Nostro campione misurare.
Come Fare Noi selezionare IL 72?
Casuale selezione È Va bene, Ma Potere Noi Fare Meglio?
Che cosa Noi venni su con era
Da IL costo per immagine per IL intelligenza artificiale è relativamente basso,
Noi avuto IL intelligenza artificiale A processo a più grande impostato Di immagini
e poi da lì,
utilizzo informazioni da IL Output di intelligenza artificiale A Meglio selezionare Nostro 72 campioni.
Noi utilizzo a risposta servizio modello A selezionare Nostro punti
e un RSM selezionerà i punti
in direzione IL confini E centro Di IL ingresso spazio.
Suo a modello contenente tuo principale due- modo interazione effetti E quadratico effetti.
Questo modello era particolarmente utile A Nostro convalida problema
perché volevamo A Aspetto per aree Dove accordo fallisce fra umani E IA.
Generalmente, insetti tendere A verificarsi SU IL confine E bordi Di Questo spazio.
Questo tipo Di modello si adatta IL problema Quello Noi avevo.
Ora, Noi Avere a piano A selezionare IL immagini.
IL domanda Ora È Come Fare Noi allocare questi 72 immagini attraverso nove valutatori?
Noi aspettarsi IL campioni A Avere a Largo allineare Di complessità.
Noi ricercato A Fare Sicuro Quello tutti avuto a equilibrato mescolare Di diapositive.
IL complessità O Questo caso mescolare
è determinato di IL produzione Quello Noi avuto da IL IA.
Noi Anche necessario A soddisfare il vincolo
Di fabbricazione Sicuro Quello ogni immagine È visto di tre diverso persone.
Qui È Mio flusso di lavoro.
I Volere spettacolo Voi Come I creato IL piano di campionamento che soddisfacesse
Tutto Di Nostro operativo vincoli in JMP.
I Avere tre passi In Questo flusso di lavoro.
Primo, Io sono andando A spettacolo Voi Come Noi selezionato IL 72 immagini
da a più grande impostato.
Secondo È Come Noi replicato IL 72 immagini tre volte,
quindi noi Avere 216 corre.
Avevamo bisogno di fare questo
perché volevamo che ogni immagine Essere visto di tre valutatori.
IL scorso fare un passo,
Malato spettacolo Voi Come abbiamo assegnato le 216 corse a nove valutatori
COSÌ Quello ogni persona ha esattamente 24 immagini.
In ogni Di questi passi, I Volere In realtà Essere usando IL Dipartimento dell'Energia piattaforma.
Ora, Io sono Appena andando A mossa Sopra A JMP.
I Avere Mio JMP file In Là.
Mio Rivista JMP.
I Sono andando A aprire a campione dati impostato,
E I Dire campione Perché Nostro dati ha non stato pubblicato Ancora.
Per IL scopi Di Questo dimostrazione, I Volere Essere usando a impostore dati impostato.
Questo dati impostato ha IL Stesso caratteristiche A IL originale dati Quello Noi raccolto.
Questo È Che cosa IL dati sembra Piace.
I Avere Mio diapositiva ID, Quale È Appena a numerico variabile andando da 1 A 100.
Andando da 1 A 100 Giusto Qui.
I Avere quattro variabili Quello Io sono guardare per.
Questo è stato raccolto di IL IA.
Caratteristiche 1, 2, 3, e 4.
Tre Di loro Sono continuo E uno È account variabile.
Se Voi Aspetto A Sotto Analizzare, Multivariato Metodi, Multivariati,
Se Noi Appena spettacolo IL diagramma di dispersione matrice di tutte le variabili che vedrai,
Tutto Di loro Sono non correlato.
Questo È IL diffusione Di IL allineare Di Nostro variabili.
Fare un passo uno.
Sotto Dipartimento dell'Energia, c'è a Costume Il design, ecco cosa mi interessa.
Noi Potere Partire IL risposte Y Qui. Appena Partire Esso solo.
IL fattori Qui, c'è In realtà due modi A Fare Questo.
Uno modo È A clic SU Questo pulsante Qui Quello dice Aggiungere Fattore.
I pensare Di quinto Di IL modo E c'è a Covariata selezione.
Se Voi clic Quello,
lo farà chiedere Voi Quale colonne di covariate Voi Volere A includere In IL progetto.
In Mio caso, suo questi quattro caratteristiche.
Io sono Appena selezione loro E Voi clic Va bene.
JMP Volere automaticamente popolare il minimo e il massimo
per ogni Di questi variabili.
Tu lo farai Vedere Qui Quello loro sono Tutto trattato COME covariate.
Quello sembra Bene.
Malato Appena velocemente vicino Questo
E Poi spettacolo Voi un altro modo Di facendo IL Stesso cosa.
Ancora, In Dipartimento dell'Energia Costume Progetto.
Che cosa I ha mostrato Voi era aggiungendo Esso usando Questo modo Qui.
Un altro modo A Fare Esso È A Appena utilizzo Questo pulsante Giusto Qui
che dice Seleziona covariata Fattori
E lo farà Dare Voi IL esatto Stesso cosa.
Ancora, Io sono raccolta IL fattori Quello Io sono interessato In
e automaticamente popolato Questo Fattori finestra.
Io sono Appena scorrimento giù A IL metter il fondo a E clic Continuare.
Questo È Dove Noi Potere Mettere In IL modello Quello Noi Volere.
Per noi, Noi ricercato UN RSM O risposta servizio modello.
Là È Ancora a scorciatoia pulsante Giusto Qui.
Io sono Appena andando A clic Quello.
Che cosa Quello fatto È Esso aggiunto...
Noi Già Avere Nostro principale fattori In Là,
Ma Esso aggiunto Nostro quadratiche E due- modo interazione effetti.
Poi, infine, A IL fondo in Qui Dove Esso dice numero Di corre,
Noi non Volere 100 Perché Noi In realtà Appena Volere A selezionare 72 fuori Di 100.
Io sono Appena andando A modifica Questo A 72.
Questo Tutto sembra Bene A Me.
Malato clic Fare Progetto.
Andiamo Appena Dare JMP a pochi secondi A creare IL progetto per noi.
Qui Noi andare.
Questo È IL progetto Quello Esso creato per noi.
COME Voi Potere Vedere, Se Voi scorrere giù,
Esso soltanto ha dato noi 72 righe, Quale È Che cosa Noi avevo chiesto per.
Io sono Appena andando A Dire, giro Questo in a dati tavolo.
Io sono Appena andando A colpo Fare Tavolo Giusto Qui SU IL metter il fondo a Sinistra.
Io sono andando A vicino Questo per Ora.
Ora, Prima I spettacolo Voi Che cosa Questo progetto sembra Piace,
I In realtà Volere A andare Indietro A IL originale tavolo,
Appena COSÌ Voi Potevo Vedere...
Noi Potere confrontare Che cosa è successo alle osservazioni che sono state raccolte
contro osservazioni Quello erano non scelto.
Se Voi andare Indietro A IL originale dati tavolo, IL quelli Quello erano scelto,
Quello 72 Sono In realtà evidenziato.
Che cosa Id Piace A Fare A Questo punto È Id Piace A creare a nuovo colonna
Quello volevo identificare Quale righe erano selezionato E Quale quelli non lo erano.
A Fare Quello, Voi andare Sotto Righe.
Sotto Riga Selezione,
Là È IL scorso opzione In Qui dice Nome Selezione In Colonna.
Che cosa lo farà Fare è lo farà etichetta IL righe attualmente selezionate
E salva Qualunque cosa valori Voi assegnare per Quello colonna.
Io sono andando A clic Quello.
IL colonna nome.
Y O Ottenere A creare a nome per quella colonna.
T Lui righe Quello Sono evidenziato, Io sono darò loro il valore 1.
IL quelli Quello erano non selezionato, I Volere A Dare loro a valore Di zero.
Io sono andando A premere O Perché, E Quello creato Questo colonna Giusto Qui.
Tutto Di Mio vuole, c'è 72...
C'è 72 righe per IL quelli Quello sono stati selezionati
E Poi 28 per IL quelli Quello erano non selezionati.
I Volere A andare Indietro A Mio diagramma di dispersione matrice A Vedere le risposte
O A Vedere Quale osservazioni erano scelto E Quale quelli non lo erano.
Ma Prima Noi Fare quello, voglio codificarli a colori
COSÌ Quello Quando Voi Aspetto A IL grafico,
I Potere immediatamente macchiare Quale quelli erano scelto E Quale quelli non lo erano.
Un rapido modo Di facendo Quello È A Fare Righe, Colore O Segno di Colonna.
Poi, Qui, I Volere A utilizzo Questo colonna denominata Selezionato
COSÌ Quello Tutto IL zeri Volere Essere identificato da un cerchio arancione
E Tutto IL quelli Volere Essere identificato di a blu cerchio.
Noi utilizzo a marcatore COME BENE.
Quello Potrebbe Fare Esso Più facile A identificare IL osservazioni.
Malato Appena clicca O Perché.
Ora, Tutto Di Mio righe Sono segnato di IL più O IL cerchi.
Se torno al mio...
Se I andare Indietro A Mio diagramma di dispersione matrice,
Ancora, suo Sotto Multivariato Metodi, Multivariato, E I Appena colpo Richiamo.
Io sono facendo IL Stesso cosa COME I fatto inizialmente.
Permettere Me fare clic su OK.
Io sono Appena andando A Fare Questo a poco morso più grande.
Tu lo farai Ora Vedere Quello IL blu vantaggi Sono IL osservazioni Quello erano selezionato,
e il arancia cerchi Sono IL quelli Quello non lo erano.
IL quelli Quello erano selezionato
tendono a verificarsi Di più SU IL confine E bordi Di Nostro spazio.
Questo È esattamente Che cosa Noi ricercato.
Questo sembra Grande A Me.
Chiudiamo qui.
Appena A convincere te stesso
Quello IL modello È facendo Che cosa suo presunto A Essere facendo,
I In realtà fatto Questo Stesso impostare,
Ma Questo tempo, Invece Di raccolta 72, Io sono soltanto raccolta 24.
Andiamo Fare Esso a poco morso Di più estremo.
Appena A spettacolo Voi UN esempio Di Che cosa Quello sembra Piace.
Ancora, Ora Mio selezione.
Ora, c'è soltanto 24 righe Quello Sono selezionato In Qui.
Andiamo Fare IL Stesso cosa.
Fabbricazione Questo a poco morso più grande.
Ora, Voi Vedere meno blu vantaggi Perché Là Dovrebbe soltanto Essere 24.
Ma Poi tu sarai Vedere Come quelli le osservazioni vengono raccolte
contro IL quelli Quello erano non scelto.
Essi Fare tendere A verificarsi Di più SU i confini esterni,
Ma Ancora Alcuni In IL centro.
Andiamo andare Indietro A Nostro originale problema. BENE Appena vicino Questo.
Questo era Nostro originale dati tavolo.
Quello che è stato creato da IL progetto È Questo uno.
Che cosa Fare Noi Avere Qui?
Erano Ancora mantenendo IL Stesso variabili Quello Noi chiesto JMP a includere.
Noi Avere Nostro caratteristiche 1 2, 3, e 4.
Perché Nostro risposta È Ancora mancante?
Noi Ora Avere Questo nuovo colonna Quello dice Covariata Riga Indice.
Fondamentalmente, Questo Appena collegamenti Voi Indietro A tuo originale tavolo.
Se Questo dice 88, Esso volevo Essere riga 88 SU tuo originale tavolo Quello avuto catturato.
Questo uno.
Questo riga Qui Dovrebbe Essere IL Stesso COME Questo riga Giusto Qui.
Prima Noi mossa, Io sono In realtà Appena andando A rinominare Questo A Mio diapositiva ID.
In Mio caso, IL diapositiva ID, Quale È Appena a numero da 1 A 100,
suo In realtà Appena IL Stesso COME IL Riga di covariate Indice.
Quello era Tutto per fare un passo uno.
Fare un passo due È Ora replicando IL 72 immagini.
Come Fare Noi Fare Quello?
A presto modo Di facendo Quello È A andare A DOE.
IL secondo selezione È aumentare progetto.
Poi Questo finestra Volere pop su chiedendo Voi Che cosa Sono tuo risposte E fattori?
I Sapere Perché Noi non Veramente avere una risposta,
Ma I pensare Voi Ancora Bisogno A Mettere In qualcosa In Qui.
Questo è Va bene.
Voi Appena Mettere Esso In Là Anche Anche se suo Tutto mancante valori.
Poi, per IL fattori, erano andando A selezionare Nostro caratteristiche 1 A 4.
Questo tempo, Noi volevo Anche Bisogno A selezionare Nostro Diapositiva ID.
Clic Va bene.
Questo nuovo finestra scoppi su con Tutto Di Nostro fattori .
Di nuovo, JMP auto- popola IL intervalli Di Tutto Di Nostro variabili.
SU IL metter il fondo a Qui, Sotto Aumento Scelte,
c'è a replicare pulsante, E quello è esattamente Che cosa Noi Bisogno.
Clic Quello E Poi loro lo faranno chiedere Voi,
Come molti numero Di volte Fare Voi Volere A eseguire ogni correre?
IL predefinito È due, Ma Noi In realtà Volere Esso A Essere tre
Perché Noi necessario ogni immagine A spettacolo su tre volte In Nostro progetto.
Poi Noi clic Va bene.
Ora, Che cosa tu sarai Vedere È Quello In il nostro design,
Invece Di Appena 72, Noi Ora Avere 72 volte tre.
BENE Appena scorrere Tutto IL modo A IL metter il fondo a.
Noi Ora Avere 216 righe.
Malato Appena clic Fare Tavolo A giro Quello in a dati tavolo.
BENE vicino Questo.
A pochi Di più cose Quello I Volere A controllo.
A coppia Di più cose I Volere A controllo Prima Noi mossa SU A fare un passo tre.
Quello È, ogni tempo tu sei facendo questi passi,
Voi Volere A Fare Sicuro Quello suo In realtà facendo Che cosa Voi pensare Esso Dovrebbe Essere facendo.
In Questo caso,
I ricercato A controllo Quello ogni diapositiva ID In realtà si verifica tre volte.
Erano andando A utilizzo tabulare A Fare Quello.
Tabulare, S soffrire ID, E I Dovrebbe Avere a contare Di tre per ogni ID.
Questo è Che cosa Noi Avere.
Quello sembra Grande.
Questo è Esso per fare un passo due.
Andiamo mossa SU A IL scorso fare un passo, Quale È IL maggior parte emozionante fare un passo.
Ora, Noi Avere 216 righe E Noi Avere IL diapositiva Documenti d'identità.
Ora, Noi Volere A distribuire Questo A nove diverso persone.
Come volevo Noi Fare Quello In a modo Quello ogni persona ottiene a equilibrato mescolare?
A Freddo modo A Fare Esso È usare Dipartimento dell'Energia Ancora.
DOE, clicca SU DOE Custom Progetto.
Come Che cosa Noi fatto Prima,
erano Ancora andando A utilizzo Nostro covariata COME fattori.
Appena selezionare caratteristiche 1 A 4 E Nostro diapositiva ID.
JMP Volere auto- popolare IL minuti E massimo
Ora, Tutto Di IL riga Qui È loro sono Tutto elencato COME covariata.
Ma A Questo punto, I In realtà Volere A aggiungere due Di più fattori.
Uno fattore È a categorico fattore con tre livelli,
E Quello È IL centro O IL laboratorio perché tu Avere nove patologi,
Ma loro sono Tutto in arrivo da tre diverso centri.
Io sono Appena andando A rinominare loro UN, B E C.
Poi I Volere A Fare...
In ogni centro, noi Anche Avere tre diverso persone partecipanti.
I Volere A aggiungere un altro categorico fattore Ancora con tre livelli.
Questo È andando A Essere Nostro valutatore.
Questi Sono Piace IL persone.
Andiamo nome loro 1, 2, e 3.
Fondamentalmente, Che cosa Io sono detto È Quello Centro A Volere Avere Valutatori 1, 2 e 3,
Centro B ha Valutatori 1, 2, e 3, e COSÌ SU.
In totale, Noi Avere nove diverso persone,
nove diverso combinazioni Di centro E valutatore In Qui.
Io sono andando A minimizzare Questo.
Questo In realtà Appena spettacoli IL dati tavolo Dove Noi tirato Nostro covariate da.
Poi colpo Continuare Qui.
Ora, Noi Ottenere A raccontare JMP cosa Tipo Di modello Fare Noi Volere.
C'è a coppia Di cose In Qui.
Primo, I In realtà ricercato A aggiungere In.
JMP Volere automaticamente Mettere In tuo principale effetti.
Questi Sono Tutto IL fattori Quello Sono In Mio modello.
I ricercato A Mettere In UN interazione termine fra centro E valutatore,
E quello è Perché I ricercato A Fare Sicuro Quello
tutte le combinazioni Di centro E valutatore apparire In Nostro progetto.
Quello garanzie Quello.
IL altro cosa A Sapere È Quello
noi in realtà non Avere Abbastanza corre A stima diapositiva ID.
Ricordare, diapositiva ID va da...
C'è 72 distinto diapositiva ID In Qui,
Ma Noi In realtà non Volere UN effetto, a diapositiva ID effetto.
Noi Appena voglio JMP A Prendere Quello in account Quando suo costruire IL progetto.
Noi non Veramente Volere A stima diapositiva ID.
Sottovalutato bilità Qui, Voi Potere modifica...
IL stimabilità per diapositiva ID,
da Necessario, tu Potere modifica Esso A Se Possibile.
Poi, infine, IL numero Di corre.
I pensare t Lui numero Di corre Essi calcolato per Me era 18.
Ma Noi In realtà ricercato A utilizzo su Tutto Di Nostro corre
Perché Noi Avere 216 corre E Ora erano Appena guardare A Vedere...
Volevamo A Ottenere JMP a raccontare noi Come Fare Noi allocare questi 216.
Fare Progetto.
Esso Appena Potrebbe Prendere a poco morso più a lungo.
Malato andare in tipo, come controlliamo il design
E Poi parlare a poco morso Di IL correre ordine.
Questo È Che cosa IL progetto sembra Piace.
Noi Avere Nostro originale caratteristiche, caratteristiche 1 A 4 In Qui, IL diapositiva ID,
e ora ha aggiunto centro E valutatore assegnato per ogni diapositiva ID.
Che cosa Questo È detto È Quello valutatore B1 dovrebbe annotare la diapositiva numero 27,
A1 Volere annotare diapositiva 96, E COSÌ SU.
Là Dovrebbe Essere 216 corre In Qui.
Quello sembra Va bene.
IL scorso parte Qui Sotto Dati Tavolo Opzioni,
Là È a controllo segno per Includi colonna Ordine di esecuzione.
Io sono andando A clic SÌ Perché In il nostro caso,
per annotazione, Se Voi aspettarsi Là A Essere Alcuni tipo Di tempo effetto
In Qualunque cosa processo Quello tu sei facendo.
In Nostro caso, Noi erano Forse preoccupato Di
Volere Là Essere a apprendimento curva, Volere Là Essere a fatica effetto?
Noi Volere A Fare Sicuro Quello non tutti iniziano con un ID diapositiva
quello è Piace l'ID della diapositiva con il numero più basso
E fine con IL più alto- numerato diapositiva Documenti d'identità.
Io sono Appena andando A fare clic su Crea Tavolo.
Io sono andando A vicino Questo finestra per Ora.
Questo È Che cosa Ora Nostro progetto sembra Piace.
Prima Noi Fare Nostro controlli, Io sono Appena andando A creare a nuovo colonna
Dove I Potere concatenare IL centro E valutatore.
Io sono Appena evidenziando questi due colonne, fare clic con il pulsante destro del mouse.
Sotto il nuovo F formula Carattere,
I Appena Volere A concatenare loro con a virgola.
Questo È andando A Essere Nostro Centro, Valutatore variabile.
Là Voi andare.
Tre cose Quello erano controllo Qui.
Primo È andiamo Fare tabulare.
Noi Volere A Fare Sicuro Quello ogni persona ha esattamente 24 immagini.
Questo è Mio Centro, R acqua, e qui ce ne sono 24.
Questo è Grande.
IL altro cosa Quello Noi Volere A controllo per È Quello Là Sono NO si ripete.
Noi non Volere...
Per esempio, Noi non Volere diapositiva ID 1 essendo assegnato A IL Stesso persona due volte
Perché Quello volevo non Essere divertimento per Quello persona.
Se I Fare a tabella incrociata Di diapositiva ID per Centro, Valutatore,
I Dovrebbe Vedere Appena a colonna Di 1s.
Quello significa ogni diapositiva ID era assegnato A tre diverso persone.
Io sono Appena scorrimento Attraverso Qui
E guardare A Questo tavolo A Vedere Quello Là Sono NO 2 o 3 In Qui.
Quello sembra Grande.
Poi, infine, I Fare Volere A controllo,
Come fa IL caso mescolare Aspetto Piace attraverso questi nove valutatori?
Uno modo Di Pensiero Di A almeno controllando visivamente
È A Appena Fare a parallelo complotto usando Grafico Costruttore.
Ho intenzione di estendere Questo.
Io sono andando A evidenziare caratteristiche 1, 2, 3 e 4
Perché quelli Sono Mio originale variabili.
Poi, Mio centro E valutatore, I Sono trascinando Esso A Qui SU Mio X- asse.
Io sono andando A colpo Questo parallelo complotto opzione Giusto Qui SU IL superiore Giusto icona.
I Ottenere Quello.
A effettivamente, Voi non Volere Centro, Valutatore In Là.
Io sono Appena andando A giro Quello spento.
Forse Che cosa I Volere È Centro, Ratto È E suo Proprio pannello.
Che cosa Questo spettacoli noi È Noi Avere IL incarichi da IL nove persone,
COSÌ A1 Tutto IL modo A C3.
Questo È IL caso mescolare Di IL immagini Quello Essi avuto assegnato A.
A guadagno, erano Appena facendo Questo visivamente.
Che cosa Io sono guardare per è che non ci sono...
Quando Voi Aspetto A loro in totale Quello Essi Tutto Aspetto circa lo stesso,
Quello loro sono un po' miscelato E non si verifica nessun ammasso
E Essi Aspetto A Essere Va bene.
Un altro modo A Fare Esso È A, I Indovinare Voi Potere sovrapposizione.
Esso ottiene a poco morso difficile Perché I Fare Avere nove diverso colori In Qui.
Ma Ancora, tu sei Appena guardare per...
Voi non Volere Là A Essere Qualunque modelli In Qui.
Voi non Volere Là A Essere grumi Di verde qui sopra o qui sotto
O ovunque In Questo spazio.
Voi Potevo Anche controllo Esso di centro.
Suppongo Mio colori Sono non IL migliore.
Voi Avere giallo, blues, E verdure.
Essi Tutto Aspetto A Essere BENE- misto.
Poi, I fatto menzione Di IL correre ordine.
Che cosa Esso È, È Quello Voi Appena voglio essere sicuro
Quello Quando tu sei raccontare persone Come A Fare loro annotazione,
Voi Volere A Fare Sicuro Quello Quello È Anche randomizzato
in modo che se c'è un effetto tempo, quello è preso in account Già.
Che cosa Io sono tramando Qui È IL diapositiva ID.
A guadagno, Questo È sequenziale. Va da 1 a 100.
Poi Questo È IL correre ordine,
IL sequenza Di Quando IL patologo volevo valutare questi immagini.
Questo sembra casuale.
Noi Potevo Anche complotto Esso di centro E valutatore.
Questo È per ogni individuale persona.
Essi Aspetto Bene.
Sono solo andando A vicino Quello.
Ora, Malato Appena andare torna alla mia diapositiva di PowerPoint
E Appena FINE con Alcuni conclusioni Qui.
Noi Potere utilizzo Dipartimento dell'Energia In selezione campioni O test casi
Dove Voi Avere informazioni preliminari.
Se Voi Avere dati O covariate Quello puoi usare per informare la selezione,
Perché non utilizzo loro?
Una risposta superficie modello è vantaggioso
Se tu sei interessato In IL confine O bordo casi.
Secondo punto È Quello Voi Potere utilizzo aumentare Replicazione DOE
Se Voi Avere a situazione Dove Voi sono necessari più valutatori per campione.
IL lavoro O IL progetto Già ti dà un'opportunità
A fattore correre ordine In tuo piano.
Quello Potevo Essere Veramente utile Se ti aspetti che ci sia un effetto tempo
come COME a apprendimento curva O fatica.
Io ho a coppia Di collegamenti Qui A a blog
Quello parlare Di più O discutere Di più Di Che cosa È a covariata In progetto Di esperimenti.
Per favore controllo Quello fuori Se Voi Volere A Imparare Di più Di Questo tecnica.
Poi, infine, I Appena ricercato A Dire
Grazie Voi A Tutto Mio collaboratori Chi aiutato Fare Questo progetto possibile.
Grazie.
