Test di normalità fallitoCarissimi,
Sto cercando di eseguire un test di normalità su una serie di set di dati simili a quello mostrato nella figura allegata, per poi confrontarli utilizzando ANOVA. Tuttavia, quando eseguo il test di normalità, continuo a ottenere quello che considero un "falso negativo". Come puoi vedere dallo screenshot del diario, il set di dati nel suo insieme assomiglia a una distribuzione normale, anche se ci sono solo circa 7-8 contenitori popolati. La mia ipotesi migliore è che, poiché ci sono "così tanti" contenitori vuoti tra quelli popolati, JMP interpreti il set di dati come multimodale. Vorrei che eseguisse il fit/test sul set complessivo come mostrato graficamente.
Indipendentemente dal modo in cui JMP interpreta la distribuzione dei dati, ciò influisce anche sulle conclusioni tratte da ANOVA. Sarei molto grato se qualcuno potesse fornire alcune informazioni su come eseguire l'analisi statistica su questi dati (ovvero testare ogni set di dati per verificarne la normalità e quindi confrontarli utilizzando ANOVA).
Grazie,
Ri: Test di normalità fallitoutilizzando @garibay90 i dati, Ho utilizzato Adatta Y per X invece del Costruttore di grafici perché la piattaforma offre più opzioni per colorare e modificare le linee di contorno.Ho scoperto anche questa opzione "Mesh Plot" che assomiglia a un istogramma bivariato.
Ri: Test di normalità fallitoCapisco. Grazie!
Ri: Test di normalità fallitoNon posso approvare, verificare o convalidare un metodo utilizzato da qualcun altro.
Penso che generalmente riceverai suggerimenti utili qui, ma devi decidere se il consiglio è appropriato nel tuo caso.
Ri: Test di normalità fallito@Mark_Bailey @Chris_Kirchberg Ragazzi, sareste in grado di verificare che la metodologia sopra elencata abbia senso e sia in linea con le pratiche statistiche standard? Grazie! PS Mi riferisco al mio post sopra quello di Patrick.
Ri: Test di normalità fallito@PatrickGiuliano Grazie mille per aver dedicato del tempo a esaminare i miei dati in modo così dettagliato. Ho controllato e sfortunatamente non ho l'adattamento SHASH disponibile: sto lavorando con JMP 10. Tuttavia, sono d'accordo sul fatto che a questo punto un approccio non parametrico per il confronto medio è probabilmente la soluzione migliore.
" Ad esempio, se sto eseguendo un test di Wilcoxon che esamina la differenza di punteggio tra i gruppi, posso verificare che l'intervallo di confidenza della differenza media del punteggio sia realmente rappresentativo della differenza media della popolazione?Se scelgo un test di confronto delle mediane, ho motivo di pensare che la stima della mediana del mio campione in "Y" e il corrispondente intervallo di confidenza attorno alla stima siano rappresentativi di dove potrebbe trovarsi la stima vera nella popolazione? " Bella domanda, sono nuovo ai test non parametrici, quindi non ne sono del tutto sicuro, ma a quanto ho capito, ciò che conta è l'ordine dei ranghi l'uno rispetto all'altro e non tanto il valore numerico effettivo. Se qualcuno potesse chiarire questo sarebbe fantastico.
Le due colonne si comportano diversamente perché i dati grezzi sono un istogramma, dove X (colonna 1) sono i contenitori e Y (colonna 2) sono i conteggi in ciascun contenitore. Da qui la quantità di valori "0.0000" nel set di dati.
Grazie mille per tutto il tuo contributo!
Ri: Test di normalità fallito@garibay90 , non sono sicuro dei test che stai eseguendo, non ho letto molto se non niente al riguardo.
Ho provato ad adattare le colonne di dati "X" e "Y" utilizzando la piattaforma di distribuzione della vita e il miglior JMP è riuscito a trovare lì rigorosamente sulla base di Liklihood, AICc e BIC è Lognormal e Zero Inflated Weibull, rispettivamente.Neanche l'adattamento è positivo nella mia mente: usa gli occhi per osservare la misura in cui i punti seguono un percorso coerente non lineare sui grafici NQ trasformati.Se i punti non cadono abbastanza vicini alla linea retta e/o presentano una curvatura, la trasformazione non è molto adatta.
In base a quanto ho capito, se desideri eseguire un confronto tra 2 gruppi utilizzando un test di ipotesi statistica parametrica normale standard (come ANOVA = t-test per il caso a 2 campioni, dovrai applicare la stessa trasformazione alla normalità per entrambi i gruppi. E i dati devono essere ragionevolmente normali dopo aver applicato la trasformazione a entrambi.
La distribuzione SHASH di JMP potrebbe essere adatta alla tua colonna "X", in realtà la migliore che ho trovato (puoi utilizzare Analizza distribuzione > Adatta tutto e JMP genererà un adattamento a questa per te).Ma non ti darà una buona posizione per la tua colonna "Y".In realtà, secondo la mia esperienza, sarà molto difficile trovarlo qualsiasi trasformazione che si adatterà validamente a questi dati.Hai troppi valori "0.0000" nel tuo set di dati.Ho già affrontato questo problema in passato e alla fine non hai altra scelta che eseguire un'analisi non parametrica.Con dati come "Y" non mi fiderei delle inferenze che faccio dai test non parametrici a meno che non fossi ragionevolmente sicuro che le stime che sto cercando di dedurre siano ragionevolmente rappresentative della popolazione da cui proviene il campione.Ad esempio, se sto eseguendo un test di Wilcoxon che esamina la differenza di punteggio tra i gruppi, posso verificare che l'intervallo di confidenza della differenza media del punteggio sia realmente rappresentativo della differenza media della popolazione?Se scelgo un test di confronto delle mediane, ho motivo di pensare che la stima della mediana del mio campione in "Y" e il corrispondente intervallo di confidenza attorno alla stima siano rappresentativi di dove potrebbe trovarsi la stima vera nella popolazione?
Non sono a conoscenza di una correzione del test non parametrico per varianze estremamente disuguali.Ma potrei sbagliarmi.Per i normali test parametrici esiste una correzione standard per varianze disuguali, ma la correzione si basa su una stima e non è una soluzione esatta. Cerca il "problema di Behrens Fisher" su Google.
Se segui la distribuzione SHASH per trasformare i tuoi dati (che non penso funzioni particolarmente bene per i tuoi dati "Y"), ottieni prove di uguale varianza tra i gruppi.Si ottiene la prova che esiste una differenza statisticamente significativa tra le medie tra i gruppi, dove la media della colonna "Y" è inferiore di 0,62 unità rispetto alla media della colonna "X".
Basta fare un passo indietro e osservare questi gruppi, nonostante il fatto che si dispongano di dati “indisciplinati”, per me è abbastanza chiaro che questi gruppi si stanno comportando numericamente in modo diverso. Stai ottenendo un sacco di valori 0 per "Y" ma non per il tuo gruppo "X".
Ri: Test di normalità fallitoCiao a tutti,
Dopo aver effettuato alcune ricerche sull'argomento, ho deciso di calcolare i ranghi di ciascun set di dati ed eseguire l'adattamento Y rispetto a X utilizzando i ranghi (continui) come valori Y e le etichette (nominali) di ciascun set di dati come X. Quindi ho proceduto eseguendo un test delle varianze uguali, poiché le varianze uguali sono necessarie per tutti i test non parametrici. Dopo aver stabilito che le mie varianze sono uguali (i dati originali non solo non sono normali ma non superano anche il test per varianze uguali), ho eseguito un test Kruskal-Wallis e ho terminato con i test Steel e Dunn Post Hoc. A questo punto penso che l’approccio statistico abbia senso e che la conclusione dei test sia in linea con le osservazioni della vita reale.
Qualcuno può consigliarmi se la metodologia di cui sopra è l'approccio corretto dal punto di vista statistico? E come domanda finale, in termini di test post hoc, cosa è considerata una pratica standard dagli statistici: Steel o Dunn? Entrambi producono la stessa classifica e giungono alla stessa conclusione. Credo che entrambi siano corretti per l'errore di tipo I gonfiato quando si confrontano le coppie.
Grazie mille per tutti gli input!
Ri: Test di normalità fallitoGrazie!
Per la parte ANOVA ho raggruppato i dati e utilizzato l'etichetta per ciascun set di dati come X, dove Y rappresenta ciascuna raccolta di numeri come quella che ho allegato sopra. Stavo esaminando i dati un po' di più e il metodo Dunnett sembra promettente, poiché la matrice delle differenze può dirmi quanto sono diversi i set di dati. Tuttavia, l'R quadrato elencato nella sezione "Riepilogo dell'adattamento" è ancora molto basso (0,002).
Ho anche provato a utilizzare Fit Model con una personalità di modello lineare generalizzato, distribuzione di Poisson e funzione di collegamento log, ma Prob>ChiSq è ancora inferiore a 0,05. Funziona allo stesso modo se utilizzo una distribuzione normale.
Ri: Test di normalità fallitoProverei anche a rappresentare graficamente i dati. Inserisci la colonna mostrata nella Distribuzione su Y e qualunque cosa tu stia pianificando per X in ANOVA su X nel generatore di grafici. Se noti il raggruppamento dei dati in entrambe le dimensioni, non disponi di dati continui e testare la normalità non ha senso, né lo ha l'utilizzo di ANOVA in Stima modello. Sarebbe più probabile che utilizzeresti Fit Model con una distribuzione diversa (utilizzando modelli lineari generalizzati) per eseguire l'ANOVA.
Onestamente sembra che i dati siano categorici e non continui. Un po' come una risposta di valutazione.
Ri: Test di normalità fallitoGrazie. Ecco i dati grezzi di esempio e i dati generati utilizzando lo script.
Ri: Test di normalità fallitoSenza guardare i tuoi dati, suggerirei di eseguire la tua analisi in modo grezzo
prima i dati. L'aumento delle dimensioni del tuo campione non ti aiuta per il
prova di normalità. A meno che la dimensione del campione non sia estremamente piccola, ma non troppo
piccolo, e le tue calze sono valide per la data della tua stimolazione
tuo esperimento, provare a simulare valori non ti aiuterà a ottenere risultati validi
inferenze dai tuoi test di ipotesi.
Sarò felice di dare un'occhiata ai tuoi dati! Assicurati solo di rimuovere tutto ciò
potrebbe essere considerato proprietario. 
Ri: Test di normalità fallito@PatrickGiuliano Grazie! Ora capisco a cosa volete arrivare. In tal caso sì, i dati grezzi generati vengono cestinati. Fondamentalmente, il mio output è composto da due colonne: il contenitore e i conteggi. Non sono sicuro che ci sia un modo per aggirare questo problema. Tuttavia, sono andato avanti e ho scritto uno script per generare tutti i valori di ciascun contenitore elencati nella colonna dei conteggi. Questo è l'insieme di numeri che inserirò successivamente in JMP per eseguire il test di normalità. Speravo che JMP generasse un diverso set di contenitori in modo che la mia distribuzione apparisse/venisse interpretata come più continua. Posso allegare un set di dati di esempio, se necessario. Grazie per tutti gli input!
Ri: Test di normalità fallito@garibay90 Sono d'accordo con @P_Bartell , ma quando dici " In realtà è una raccolta di numeri e JMP sta facendo il raggruppamento" hai ragione ma allo stesso tempo non hai completamente ragione.Sì, l'istogramma esegue il raggruppamento automatico per te e puoi regolare il raggruppamento in modo dinamico utilizzando lo strumento "grabber".MA i dati sono i dati, e i dati mostrano, con una dimensione del contenitore "ragionevole" - e abbastanza fortemente corroborato dal grafico NQ - che i dati sono raggruppati, cioè, nel mio linguaggio, sono "suddivisi" in "gruppi" separati ."La mia scelta delle parole probabilmente non è corretta nel linguaggio statistico, ma speriamo di essere sulla stessa lunghezza d'onda.Credo cosa @P_Bartell sta dicendo è: devi affrontare la domanda "perché i tuoi dati sono strutturati in questo modo?"Rispondere a questa domanda è probabilmente importante soprattutto per l'esecuzione di ANOVA.È necessario prima comprendere la natura e il contesto dei dati, quindi è possibile applicare varie tecniche statistiche inferenziali per testare varie ipotesi (ad esempio sulla media, sulla varianza, ecc.).
Ri: Test di normalità fallitoI dati non vengono raggruppati. In realtà è una raccolta di numeri e JMP sta effettuando il raggruppamento. In allegato c'è un'altra figura del giornale che mostra chiaramente la distribuzione dei contenitori popolati.
Ri: Test di normalità fallitoGrazie! Sì, sono d'accordo con quello che dici. Questo è solo un set di dati. Ne ho più di uno come mostrato nella figura.
Ri: Test di normalità fallitoI tuoi dati vengono suddivisi in contenitori come mostrato dal normale grafico della probabilità. Hai creato tu questo accordo di raggruppamento o i dati ti sono arrivati in questo modo raggruppato? Se hai creato il raggruppamento, hai provato a utilizzare i dati grezzi prima del raggruppamento?
Ri: Test di normalità fallito@garibay90 i tuoi dati potrebbero anche avere una risoluzione limitata, come evidenziato dagli apparenti "spazi" tra le barre del grafico a barre, ma ancora più chiaramente evidenti nello schema "chiacchierato" dei punti nel normale grafico della probabilità.questi dati non sembrano particolarmente ben funzionanti per ANOVA, a meno che questo set di dati non sia composto da più gruppi (campioni)!In tal caso è necessario prima eseguire la valutazione della normalità separatamente per gruppo.E Poi puoi eseguire l'ANOVA.Ma anche quando esegui l'ANOVA, come accennato, la tua analisi sarà "statisticamente distorta" dalla dimensione estremamente ampia del campione.I test di ipotesi in generale (incluso ANOVA) hanno un potere molto maggiore nel rifiutare l'ipotesi nulla all'aumentare della dimensione del campione.Per ANOVA, si sta testando l'ipotesi nulla secondo cui l'offset del trattamento per la media di ciascun gruppo (rispetto alla media generale) è lo stesso per tutti i gruppi di trattamento.Se rifiuti il nulla, tutto ciò che puoi affermare è quello almeno una differenza nel trattamento si osserva un offset tra i gruppi.Nota: un altro presupposto centrale è che la varianza tra i gruppi sia la stessa.È possibile verificare questo presupposto utilizzando Stima Y per X> Varianze disuguali e osservando i valori p associati ai test di ipotesi prodotti automaticamente da JMP.
Principalmente, però, l'ANOVA è un test che confronta le medie tra i gruppi (tenendo conto della varianza complessiva tra i gruppi, che si presume sia uguale da gruppo a gruppo).
Ri: Test di normalità fallitoGrazie per la pronta risposta. Anche se sono d'accordo sul fatto che la distribuzione sia distorta, non mi aspetto che fallisca completamente il test di normalità dato che l'insieme sembra distribuito in qualche modo normalmente, ma sì, non ho un modo quantitativo per giustificarlo al momento. Se ricordo bene, ho anche provato meno punti in ciascun contenitore e ho comunque ottenuto un test di normalità fallito. Anche gli altri set di dati hanno lo stesso aspetto.
Fondamentalmente, sto cercando di confrontare questi set e determinare quali sono diversi rispetto a uno scenario ideale. Sono aperto ad altre alternative. ANOVA è l'approccio con cui ho familiarità.
Ri: Test di normalità fallitoHai un campione ampio, quindi questi test sono estremamente sensibili alla deviazione dalla (perfetta) normalità.Le osservazioni, tuttavia, alle due estremità si discostano dalla linearità del grafico quantilico normale, indicando che la distribuzione è distorta a destra. Perché pensi che non ci sia partenza?
Questo esempio è uno dei campioni da analizzare nell'ANOVA? Come sono gli altri campioni?
