What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?Cos’altro dovrei considerare quando pianifico il mio test?
Per questa terza puntata di my Serie di blog "Imparare dai miei errori". , vorrei concludere le mie riflessioni sui preliminari per la pianificazione di un test. Abbiamo già parlato di cosa possiamo aspettarci da un t-test in generale. Quindi, ora sappiamo che dobbiamo stabilire un livello di fiducia, stabilire un obiettivo di miglioramento rispetto alla condizione attuale e stabilire una direzione per il miglioramento (maggiore o minore della condizione attuale). Ora parliamo di alcune altre considerazioni sul test e poi concludiamo Fai la domanda completa .
Altre considerazioni prima della pianificazione del test
Richiamo da lo scenario originale che l'ingegnere ha deciso di prelevare tre campioni da ciascuna popolazione per determinare se la media della popolazione è cambiata tra il nuovo trattamento e il controllo. Perché ha scelto tre campioni? Perché non cinque? O 10? O 2? Forse era perché “Abbiamo sempre fatto così”. Forse c'erano altre considerazioni che non sono state ancora descritte.
Da un punto di vista puramente statistico/matematico, di più è sempre meglio quando si sceglie la dimensione del campione. Dopotutto, se potessimo campionare TUTTE le parti di una popolazione, non dovremmo fare alcuna ipotesi sulla media o sulla varianza della popolazione. Lo sapremmo!
Sfortunatamente, ci sono molte considerazioni pratiche nel nostro lavoro quotidiano che influenzano la selezione della dimensione del campione. E, cosa ancora più sfortunata, io stesso sono stato colpevole di non considerare tutti i vincoli e gli impatti derivanti dall’esecuzione di un determinato test. Sarebbe molto più saggio considerare questi fattori prima di iniziare il test, piuttosto che perdere tempo per la fretta.
Di seguito offro alcune cose che potrebbero influenzare il modo in cui pianifichi il test:
- Qual è il budget per questo test?
- La direzione è sempre interessata al budget!
- Quando abbiamo bisogno di una risposta?
- Se è necessaria una risposta entro la fine della settimana, ma il completamento del test richiederà almeno un mese, allora dobbiamo ripensare alla domanda a cui stiamo cercando di rispondere e alla metodologia che stiamo utilizzando per rispondere.
- Quanti campioni di prova possiamo permetterci di costruire?
- Ciò potrebbe comportare il costo delle parti stesse, nonché il tempo e la pianificazione per costruirle. Stiamo chiudendo una linea di produzione per costruire queste parti?
- Il “batch” sarà importante per noi (supponendo che le parti siano prodotte in lotti)?
- In tal caso, prendere in considerazione il campionamento su più lotti. Naturalmente ciò influisce sul tempo necessario per produrre le parti di prova iniziali e sul tempo necessario per ottenere i risultati finali.
- Quanti campioni possiamo effettivamente testare?
- Il laboratorio che analizza i campioni è occupato con altre cose? Inviare i campioni a un laboratorio esterno comporta dei costi?
- Stiamo davvero pensando di testare il parametro giusto, nel modo giusto? Nel nostro scenario, vogliamo aumentare la “forza” delle nostre parti. Esistono molti modi per misurare la forza (ad esempio, prove di trazione, cicli ripetuti, prove di impatto). O forse abbiamo davvero bisogno di misurare il modulo elastico, o il durometro, o qualche altro parametro. Non affrettarti a iniziare a misurare!
- Possiamo misurare la “differenza importante” che vogliamo rilevare, utilizzando le nostre attuali apparecchiature di prova?
- Un'analisi del sistema di misurazione aiuta a comprendere la variazione del calibro. Ne parlerò più approfonditamente nel mio prossimo post sul blog, incluso cosa fare se il tuo indicatore non è abbastanza buono.
- Conosci la normale variazione di resistenza da parte a parte delle tue parti di controllo? Ti aspetti che le nuove parti abbiano la stessa variazione? Si prevede che la variazione sia distribuita normalmente?
- Queste domande svolgono un ruolo importante quando pianifichiamo il test e analizziamo i risultati.
- Oltre a migliorare la resistenza media della parte, è importante per il prodotto mantenere la variazione esistente da parte a parte? Anche la variazione deve essere migliorata? Viceversa è possibile ampliarlo?
- Se miglioriamo la resistenza media delle parti ma aumentiamo la diffusione (variazione) delle parti, produrremo effettivamente più scarti?
- Di solito siamo preoccupati per i processi che sono fuori controllo e/o che producono parti difettose. Ma se abbiamo un processo sotto controllo che produce parti costantemente buone, quanto spendiamo per mantenere quel controllo?Potremmo tollerare variazioni maggiori nelle parti del nuovo trattamento e risparmiare denaro nei controlli di processo?
Tutte queste considerazioni confluiscono nella scelta della dimensione del campione per la nostra ipotetica prova t . (Sono sicuro che ti vengono in mente molte altre considerazioni che devono essere discusse prima della pianificazione del test.)
Quindi chiamerò questo errore: Non considerare adeguatamente tutti i fattori che potrebbero influenzare la pianificazione del test.
Qual è la domanda completa a cui stiamo cercando di rispondere?
Puoi mitigare tutte le discussioni e gli errori di cui sopra dedicando del tempo a "porre la domanda completa". (Ecco, devo ringraziare Bill Kappele , mio mentore e amico, che mi ha insegnato questo metodo molti anni fa.)
"Fare la domanda completa" significa esaminare tutta la discussione di cui sopra (e nelle parti 1 e 2) e assicurarsi che tutto sia stato considerato, quindi stiamo misurando la giusta quantità, definendo i vincoli sui nostri test, definendo quanta differenza è importante a noi, ecc.
Nel nostro scenario, diciamo che abbiamo parlato con tutte le parti interessate e gli stakeholders, e riscriviamo la domanda come segue:
"Con una confidenza del 95%, possiamo dire che il Trattamento A migliora la resistenza media della parte di oltre 1 unità, rispetto al processo attuale, senza aumentare la variazione del processo?"
Di seguito elencheremo eventuali vincoli. Alcuni di questi potrebbero essere:
- Possiamo permetterci di costruire e testare un totale di 40 parti (totale di tutte le parti dal Trattamento A + Controllo <=40)
- Possiamo ignorare l'effetto di Batch
- Abbiamo bisogno della risposta entro un mese (giusto il tempo per completare questa serie di blog!)
Conferma di aver posto la domanda completa
Nel corso della mia carriera, ho visto ingegneri spendere molto tempo e risorse in laboratorio cercando di andare a fondo di qualche problema, solo per scoprire che a nessuno importava dei risultati. Il problema non sta nel pensiero iniziale e nella pianificazione dei test. Il problema non è nell'esecuzione del test. Il problema è che gli ingegneri non hanno controllato in anticipo che fosse stata data la risposta giusta/completa alla domanda.
Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan? Il capo è d'accordo con il tuo piano?
Quindi, una volta che abbiamo pensato a tutto questo e pianificato i test, è un'ottima idea fare un'ultima cosa: chiedere al tuo manager se è d'accordo sul fatto che questa è la domanda a cui è necessario rispondere. Infatti, se l'esecuzione del test richiede molto tempo, è una buona idea verificare periodicamente con la direzione per assicurarsi che le condizioni non siano cambiate. Nessuno vuole perdere tempo eseguendo un test inutile!
In arrivo
Ho intenzione di toccare tutti i seguenti argomenti man mano che procediamo. Spero che tu possa unirti a me per tutta la serie !
Un ottimo approccio per porre la domanda giusta.
nel 1993, Doug Montgomery e io abbiamo ideato simultaneamente una "guida principale al DOE". Ha pubblicato per primo (Technometrics, 1993). Da allora uso la guida. Pone le tue stesse domande.
Ne ho una copia sul mio sito web ( http://cawseandeffect.com/doe-master-guide/ ) Sentiti libero di dare un'occhiata.
Per niente pignolo, @calking !Felice di avere i commenti.
Sì, le dimensioni del campione presentano dei compromessi e tu fai diversi punti positivi.E non mi stai rubando la scena... stai solo stuzzicando l'appetito per ciò che ci aspetta nella selezione delle dimensioni adeguate del campione.Grazie per i pensieri e gli input!
Ehi Jerry,
Adoro la tua serie! Essendo una persona che ha precedenti esperienze nel settore, sono entusiasta di vedere qualcuno che tratta gli stessi argomenti che mi occupo di me (e che supera anche alcuni degli stessi errori). Non vedo l'ora di vedere cosa c'è dopo!
Ho un breve commento e spero che non sia troppo pignolo :-/. Hai detto che da un punto di vista statistico/matematico, più campioni sono sempre migliori. Sarei sicuramente d'accordo... fino a un certo punto. A quel punto comincerei a considerare i rendimenti decrescenti. Quante informazioni in più forniscono i campioni aggiuntivi per rispondere alla mia domanda? Vale la pena fare uno sforzo extra in termini di tempo e/o denaro per ottenere quei dati in più?
Forse un esempio estremo potrebbe aiutare a illustrare il mio punto. Supponiamo che ti offra la scelta tra l'intera popolazione di interesse e un sottoinsieme di quella popolazione. Se lasciassi le cose così, probabilmente sceglieresti l’intera popolazione come un gioco da ragazzi. Ma cosa succederebbe se ti dicessi (con la mia migliore voce di Lawrence Fishburne e fantastici occhiali da sole) che il sottoinsieme era composto da tutti i membri della popolazione tranne uno. A questo punto la scelta sarebbe probabilmente più difficile. Potresti iniziare a chiederti: "Beh, qual è veramente la differenza tra i due?" Ho davvero bisogno che un membro in più risponda alla mia domanda completa?" (che avrai determinato utilizzando le domande guida nel post del blog sopra 
). Forse lo fai, forse no. Ma il punto è che la scelta non è più così netta.Mi ricorda un famoso paradosso di quando un mucchio di sabbia smette di essere un mucchio mentre rimuovi i granelli uno per uno. Se la pensi in modo inverso, aggiungere più sabbia (dati) mi fornirà informazioni preziose o mi darà semplicemente un mucchio leggermente più grande di quello che già ho?
Ora, ovviamente, le situazioni della maggior parte delle persone rientrano nella categoria in cui avere più dati significa chiaramente avere più informazioni. Di solito non è necessario preoccuparsi di questo finché non si entrano nelle situazioni di esempio di grandi dimensioni. Ma direi che se hai mai utilizzato un calcolo statistico della potenza per determinare le dimensioni del campione, hai implicitamente utilizzato questo argomento sul rendimento decrescente. Dopotutto, un calcolo di potenza indica semplicemente la dimensione minima del campione richiesta per raggiungere i tuoi obiettivi statistici (supponendo che venga utilizzato correttamente), con l'implicazione che i dati extra sono solo la ciliegina sulla torta.
(Spero di non aver rubato nulla ai tuoi prossimi post :-/. Oppure sono stato mooolto troppo pignolo :-/.)
