620222_it-IT

liliconcom

Come interpretare i risultati di un esperimento in cui sono statisticamente significativi durante 2 settimane e non lo sono durante altre 2 settimane?

Ciao,
Sto analizzando un esperimento in cui la variazione del test ha prodotto risultati statisticamente significativi per alcuni risultati durante la 2a e 3a settimana con una differenza del 20-30%, ma ha avuto risultati insignificanti per le altre 2 settimane (1a e 4a) con una differenza di ~0% .
Come posso affrontare l'interpretazione di queste osservazioni?
Qual è il metodo statistico appropriato da scegliere per verificare se la differenza nelle osservazioni tra 2a+3a e 1a+4a rientra solo nella varianza casuale?
Possiamo ancora trarre una conclusione valida per questo esperimento sulla base dei risultati totali?

 

Abbiamo verificato eventuali fattori esterni che potrebbero influenzare i risultati e non ne abbiamo trovati.

Versione da tavolo:

	Prove	Successo fase 1	Diff	valore p	Passaggio di successo 1 che riporta il passaggio 3	Diff	valore p	Passaggio di successo 3	Diff	valore p
	Test	Controllo	Test	Controllo			Test	Controllo			Test	Controllo
Settimane
8-14 marzo	88358	89019	2585	2590	-0,19%	0,5	1068	1038	+3,6%	0.2	187	191	-1.36	0,89
15-21 marzo	88407	88324	2656	2596	+2,2%	0.2	1102	1037	+6,17%	0.08	200	167	+20%	0.04
22-28 marzo	90718	92135	2835	2763	+4%	0,059	1277	1198	+8.26	0.02	210	165	+30%	0,006
29 marzo - 4 aprile	91496	91613	2506	2521	-0,4	0,57	1084	1139	-4,7%	0,25	137	137	0,13%	0,5
Totale	358979	361091	10582	10470	1,6%	0.11	4531	4412	+3%	0.06	734	660	+11,8%	0,018
1a + 4a settimana	179854	180632	5091	5111	+0,04	0,5	2152	2177	-0,72%	0.8	324	328	-0,79%	0,92
2a + 3a settimana	179125	180459	5491	5359	+3,23%	0.04	2379	2235	+7,24%	0,017	410	332	+24%	0,003

AnaliticaTabella datiDAIRi: Come interpretare i risultati di un esperimento in cui sono statisticamente significativi durante 2 settimane e non lo sono durante altre 2 settimane?

Mi scuso, non ho tempo in questo momento per inserire i tuoi dati in JMP e dare un'occhiata, ma, in generale, sembra che tu abbia un effetto Blocco o un effetto di interazione Blocco per fattore. Dove vorresti indagare è: perché i risultati sono diversi tra le settimane? Assicurati che le differenze superino prima il test di sensibilità. Cioè, i dati variano abbastanza per ulteriori analisi. C'è abbastanza variazione nelle Y per essere di importanza pratica? Quindi, procedi con l'analisi di un progetto Block (questo varia a seconda che tu consideri gli effetti Block casuali o fissi).

 

Blocchi usati per partizionare il rumore in un esperimento. Il metodo è abbastanza utile in quanto puoi raccogliere i vantaggi sia dell'aumento dello spazio di inferenza del tuo esperimento senza compromettere la precisione (e, in alcuni casi, valutare la robustezza del tuo modello).

Ri: Come interpretare i risultati di un esperimento in cui sono statisticamente significativi durante 2 settimane e non lo sono durante altre 2 settimane?

Grazie! Esaminerò questo dal punto di vista del design di Block.

Ho aggiunto gli intervalli di confidenza per gli effetti assoluti e relativi dell'ultima Y (fase di successo 3).
Possiamo concludere da questi dati che poiché gli IC degli effetti relativi si sovrappongono, le altre 2 settimane dello stesso esperimento sono solo il risultato di una variazione? Se è così, forse possiamo essere d'accordo con quelle 2 settimane che mostrano risultati diversi, poiché si tratta di un esperimento online comportamentale.