Analisi della bontà di adattamento - p-valori di Shapiro-Wilk e Anderson-DarlingCiao,
Ero curioso di una cosa. Stavo esaminando la bontà di adattamento in Distribuzioni usando Distribuzione normale adattata -> Test di bontà di adattamento e so da quello che ho letto sull'interpretazione dei risultati che se i valori p sono piccoli allora si rifiuta il nullo e si può concludere che i dati non sono distribuiti normalmente. Quindi il mio sguardo iniziale alla colonna era ovvio che non è distribuita normalmente (come mi aspettavo).
Quindi ho provato a normalizzare usando Johnson Normalize e l'ho rieseguito con quello, ma non ha funzionato.
Quindi ho provato il metodo Normal Quantile e l'ho eseguito di nuovo. A prima vista pensavo funzionasse, ma poi ho notato che il valore p di Shapiro-Wilk = 0,0027 (che giustificherebbe il rifiuto del nullo) ma il valore p di Anderson-Darling = 0,1672 che non lo fa.
Domanda 1: Cosa fai quando sono in conflitto in questo modo? Devono entrambi fornire la stessa conclusione?
Domanda 2: È sbagliato provare diversi metodi di normalizzazione come questo? Se sì, hai suggerimenti per documentazione o video per aiutare a scegliere il migliore?
Analisi e modellazione dei dati di baseEsplorazione e visualizzazione dei datiRe: Analisi della bontà di adattamento - Valori p di Shapiro-Wilk e Anderson-Darling1: Sono in conflitto perché usano una matematica diversa. Anderson-darling è più sensibile alla deviazione nella coda. Dalla tua immagine sembra piuttosto "ondulato" in tutto quel grafico normale. Quindi Shapiro-wilk potrebbe captare quel segnale non normale che è al di fuori delle code.
2: pessimo? Non lo so. È una strategia accettata per esplorare quale trasformazione dei dati funzionerebbe meglio nella situazione. Non sono sicuro di dire che è pessimo. Mi piace la trasformazione box cox più di ogni altra quando risolve la non normalità.
l'intera impostazione, però, penso sia più una conversazione accademica. e se anche questo e perché il test di normalità è importante. Direi che è quasi probabile che il tempo speso per questo sia solo un'elaborazione extra e non necessaria per il contesto di una decisione aziendale. i tuoi dati sembrano numeri finanziari. e molto grandi, per giunta. quindi essere non normali non è poi così sorprendente.
più contesto potrebbe darti più risposte.
Re: Analisi della bontà di adattamento - Valori p di Shapiro-Wilk e Anderson-DarlingCiao @ACraig : una nota sulla "trasformazione" del Quantile Normale. Indipendentemente dalla distribuzione madre, la "trasformazione" del Quantile Normale, per definizione, darà sempre come risultato una distribuzione normale. È una funzione dei ranghi, non dei dati grezzi. Quindi, questa non è una trasformazione appropriata alla normalità.
Come ha detto @awelsh , il contesto è importante in questo caso; perché stai testando la normalità?
Re: Analisi della bontà di adattamento - Valori p di Shapiro-Wilk e Anderson-DarlingCiao, apprezzo molto il feedback! Per quanto riguarda la tua domanda, volevo eseguire alcuni test ANOVA.
Re: Analisi della bontà di adattamento - Valori p di Shapiro-Wilk e Anderson-DarlingStai combinando l'intero set di dati negli esempi precedenti? Potrebbero essere le differenze tra le medie dei sottogruppi a causare la non normalità nel set di dati combinato. Controlla i sottogruppi singolarmente per la normalità non combinata se è questo il caso.
In alternativa, potresti usare alcune alternative come i grafici X-bar e R. O l'ANOVA di Welch. Se si tratta di dati finanziari, potresti voler testare le mediane con Mann-Whitney invece delle medie.
Re: Analisi della bontà di adattamento - Valori p di Shapiro-Wilk e Anderson-DarlingCiao @ACraig : Per quel che vale, e in aggiunta agli ottimi commenti di @awelsh , la varianza costante (le SD per ciascun gruppo sono simili) è più importante della normalità.
