Buon pomeriggio,
Ho eseguito due esperimenti diversi usando un CCD e ho ricevuto risultati confusi per entrambi. Ogni esperimento rappresenta 2 materiali diversi, non sono repliche l'uno dell'altro.
Ogni esperimento era un CCD centrato sulla faccia con 2 blocchi, ogni blocco era una replica. Ogni blocco ha una variazione all'interno dei campioni. Presumo che il blocco non sia significativo nel modello perché c'è una buona quantità di varianza interna che rende trascurabile la varianza tra (lavoro con batteri e l'inoculo varia indipendentemente da cosa faccio: segue la distribuzione di Poisson). Il risultato è presenza (1)/assenza (0). L'obiettivo è il 100% di presenza.
Quando eseguo il fit nominal logistic e mantengo tutte le variabili nel modello, il valore p per il Whole Model Test per entrambi gli esperimenti è <0,05 e la mancanza di adattamento è >0,05. Tuttavia, quando inizio a rimuovere gli effetti insignificanti, la mancanza di adattamento diventa <0,05.
Non riesco a capire qual è il modo migliore per procedere. Dovrei fare una terza replica per ogni esperimento? Aumentarla con punti assiali (renderla ruotabile)? Lasciare tutte le variabili? Utilizzare il profiler "così com'è" dopo aver rimosso le variabili (con mancanza di adattamento <0,05) e vedere se funziona?
Grazie in anticipo per l'aiuto!
È possibile questa analisi?
Ciao @Feline614 ,
Per quanto riguarda le informazioni limitate sul contesto e sui tuoi obiettivi, ho un elenco non esaustivo di (molte) domande che spero possano aiutarti nelle tue riflessioni e guidarti:
- Obiettivo/i: Quali sono i tuoi obiettivi?
- Comprendere i fattori chiave e gli effetti dietro la presenza di batteri?
- Ottimizzare le condizioni per la presenza di batteri? Globalmente o per ogni materiale in particolare?
- Risposta : sei limitato solo a una misurazione della risposta binaria (Sì/No o Assenza/Presenza)? Esiste qualche opzione possibile per contare la popolazione di batteri (manualmente o con l'ausilio di strumenti di visione artificiale...)?
Una risposta continua aiuterebbe ad analizzare i risultati dei fattori, valutando la variabilità/rumore del sistema di misurazione e della preparazione sperimentale e consentendo una stima precisa dell'impatto dei fattori.
- Impostazione sperimentale e scelta del DoE : perché hai scelto di eseguire due esperimenti separatamente? I fattori, gli intervalli e le unità per X_1 e X_2 sono gli stessi nelle due impostazioni sperimentali?
Se i fattori e le unità sono gli stessi tra i due progetti, perché non analizzare l'intero set di dati? Potresti concatenare i due set di dati, utilizzando una "colonna di origine" nella concatenazione per identificare la fonte dei dati e i materiali correlati utilizzati, e creare un modello simile aggiungendo nell'elenco dei termini l'effetto principale del materiale e le interazioni a 2 fattori tra il fattore materiale e X1 / X2. Potrebbe aiutarti a generalizzare la tua scoperta, aumentare il tuo spazio di inferenza e la comprensione delle relazioni tra i tuoi fattori e la risposta.
- Fattore di blocco : qual è il tuo fattore di blocco? Sospetti che il fattore di blocco possa causare un cambiamento nella risposta media (effetto fisso, ruolo di progettazione "Bloccaggio") o un cambiamento nella varianza della risposta (effetto casuale nella creazione del modello, utilizzando il modello misto lineare generalizzato)?
Se il fattore di blocco è collegato alla capacità sperimentale (ad esempio, numero di esperimenti al giorno), è probabile che sia considerato un effetto casuale.
- Criteri di selezione del modello : qual è/sono il/i tuo/i criterio/i per la selezione del modello? Sembra che tu abbia basato la tua analisi sul criterio statistico degli effetti e sui valori p del modello, ma vorresti perfezionare ulteriormente il tuo modello? Perché vuoi rimuovere alcuni effetti (significatività statistica ma nessuna rilevanza/importanza pratica? Non in linea con la competenza del settore? Altro...)?
Alcuni commenti: il test di mancanza di adattamento aiuta a valutare se il modello si adatta bene ai dati. Un valore p basso (<0,05) indica una mancanza di adattamento significativa (quindi, nel tuo caso, "rimuovere gli effetti insignificanti" sembra causare un sottoadattamento del modello, essendo troppo semplice per adattarsi bene ai dati).
I valori P non sono gli unici criteri da utilizzare per la valutazione e la selezione del modello, e le metriche devono essere scelte in base ai tuoi obiettivi. Ad esempio, il criterio informativo (AICc, BIC) può anche aiutare a valutare l'equilibrio complessità/accuratezza e l'adeguatezza del tuo modello.
- Scelta del modello : hai utilizzato un modello logistico nominale. A seconda che tu abbia JMP/JMP Pro, altri metodi di stima possono essere utilizzati per provare modelli diversi tramite la personalità di regressione generalizzata. Potrebbe anche essere possibile utilizzare semplici modelli di apprendimento automatico come modelli basati su alberi (albero decisionale/foresta casuale) o macchine a vettori di supporto. Per evitare l'overfitting, potresti dover limitare la profondità dell'albero (solo 2/3 suddivisioni) per i metodi basati su alberi o il numero di vettori di supporto per SVM, ma l'uso di queste altre opzioni di modellazione può offrire spunti diversi.
- Utilizzo del modello : cosa vuoi fare con gli apprendimenti del tuo modello? Come/perché i risultati sono "confusi"? Hai già imparato qualcosa con l'analisi che hai fatto? Sei in grado di mettere in pratica questi apprendimenti, testando le conclusioni del tuo/i modello/i per convalidarle? I risultati/le conclusioni sono in accordo con la competenza di dominio?
Qual è la motivazione dietro le repliche? Aumento con punti assiali? Come/perché vorresti continuare con il tuo argomento?
Spero che queste domande possano aiutarti,
