Confrontare le cose è comune nella nostra vita quotidiana. Se ti manca un ingrediente per una ricetta, potresti avere qualcos'altro a portata di mano che potrebbe servire da buon sostituto. Per le decisioni di confronto che richiedono dati, potresti chiederti se una macchina più vecchia funziona in modo paragonabile a una nuova macchina in un laboratorio o in una fabbrica. È giunto il momento di riparare o sostituire la vecchia macchina o le sue prestazioni sono "abbastanza buone" per continuare a utilizzarla? E come quantifichiamo cosa significa "abbastanza buono" in questo contesto?
Convenzionalmente, confrontare due cose richiede l'uso ingombrante e spesso controintuitivo del test di ipotesi. Tuttavia, il semplice rifiuto o il mancato rifiuto dell'ipotesi nulla potrebbe non rispondere a sufficienza alla domanda a cui speriamo di rispondere. Quindi, come possiamo determinare in modo più efficace se due cose sono uguali, simili o diverse? La risposta può essere trovata utilizzando la metodologia della probabilità di accordo (PoA) per la valutazione pratico equivalenza, che è una delle aree di competenza di Nathaniel Stevens. È stato il nostro ospite più recente Statisticamente parlando , e siamo stati lieti di saperne di più su questo framework potente e flessibile.
Nathaniel è professore assistente di statistica presso il Dipartimento di statistica e scienze attuariali dell'Università di Waterloo. Ha vinto numerosi premi, più recentemente la Medaglia Feigenbaum dell'American Society of Quality del 2023 e il Premio Søren Bisgaard del 2021 per il suo lavoro sulla probabilità bayesiana di accordo.
Dato che avevamo più domande che tempo per rispondere, Nathaniel ha gentilmente accettato di condividere più della sua esperienza qui.
Quali sono i limiti del framework PoA?
Il quadro fa molto affidamento sulla soglia di equivalenza 𝛅. In quanto tale, questo è qualcosa che deve essere determinato con attenzione. In alcune impostazioni, questo può essere difficile da fare. E senza un'attenta considerazione, questo potrebbe essere scelto senza scrupoli per un risultato desiderato. È quindi imperativo che quella 𝛅 sia scelta in riconoscimento del contesto problematico.
PoA equivale a modificare il livello di significatività a 0,1 (ad esempio) invece della soglia di 0,05 utilizzata in un test di ipotesi tradizionale?
No, la relazione tra l'analisi PoA e la verifica delle ipotesi non è così semplice. Sebbene esistano molte incarnazioni del PoA, per aiutare a costruire l'intuizione per ciò che quantifica e come si collega ad altre misure di evidenza, consideriamo un esempio illustrativo in cui desideriamo semplicemente determinare se un parametro θ si trova all'interno dell'intervallo [-𝛅, 𝛅 ].
Questo può essere fatto (per esempio) con valori p di seconda generazione [1] , un test di equivalenza [2] , metodi basati su intervalli [3], [4] o la probabilità frequentista di accordo [5] . Tutti questi approcci, con metodi diversi, cercano di caratterizzare la posizione e la dispersione della distribuzione campionaria di θ-hat specificamente in relazione all'intervallo [-𝛅, 𝛅]. I metodi basati su intervalli tendono a verificare se un intervallo di confidenza per θ si trova interamente all'esterno o all'interno di [-𝛅, 𝛅]. I valori p di seconda generazione misurano la misura in cui tali intervalli statistici si sovrappongono [-𝛅, 𝛅]. I valori p associati a due test unilaterali (TOST) in aggregato misurano la proporzione della distribuzione campionaria di θ-hat che si trova al di fuori di [-𝛅, 𝛅]. E la PoA frequentista misura la proporzione di questa distribuzione che si trova all'interno di [-𝛅, 𝛅]. Tutti questi metodi, in modi simili anche se sottilmente diversi, quantificano le prove a favore dell'affermazione θ ∈ [-𝛅, 𝛅] .
La PoA viene insegnata nelle scuole? Quando è iniziato?
Per quanto ne so, PoA non è ancora insegnato nei corsi. L'idea è abbastanza semplice e mi aspetto di non essere il primo a prenderla in considerazione. Quindi, non posso dire con certezza quando è stata implementata la prima istanza di questa idea. Tuttavia, il framework che io e i miei collaboratori abbiamo iniziato a costruire è iniziato all'incirca nel 2015.
Questo è un problema più in generale con l'insegnamento di qualsiasi metodologia che spieghi esplicitamente l'equivalenza pratica. Tali metodologie (ad esempio, test di equivalenza) sono raramente insegnate nei corsi introduttivi. L'ampia accettazione di questa classe di metodi richiede un cambiamento di paradigma in pedagogia, che si spera sarà determinato dal cambiamento di paradigma che stiamo sperimentando nella disciplina statistica rispetto al significato statistico rispetto a quello pratico.
Che cosa significa "ISU"?
HDI è l'acronimo di "intervallo di densità più elevato". In generale, un HDI è il sottoinsieme del supporto di una distribuzione univariata che ha la densità più alta [6] . L'idea è usata comunemente nell'inferenza bayesiana come un particolare tipo di intervallo credibile posteriore. Ad esempio, considera la distribuzione a posteriori per un parametro θ e considera un intervallo [L, U ] che contiene il 95% della distribuzione e quindi contiene θ con probabilità 0,95. Tale intervallo non è unico. L'ISU al 95% è il più breve intervallo che contiene θ con probabilità 0.95.
Come definisci il termine “eteroschedasticità”?
Parlando in generale, eteroschedasticità si riferisce alla varianza non costante. In contrasto, omoschedasticità si riferisce alla varianza costante. Nel contesto del confronto tra sistemi di misurazione, l'eteroschedasticità è rilevante perché la variabilità di un sistema di misurazione (cioè la sua ripetibilità) può non essere una costante fissa; potrebbe invece essere una funzione dell'oggetto che stai misurando. Ad esempio, le misure possono diventare più/meno variabili se l'oggetto misurato è grande/piccolo. Tuttavia, la distinzione tra omoschedasticità ed eteroschedasticità è rilevante in senso più ampio. Ad esempio, l'inferenza all'interno della regressione dei minimi quadrati ordinari è basata su un'ipotesi di varianza costante, che fa sorgere la necessità di trasformazioni stabilizzatrici della varianza (ad esempio, la trasformazione logaritmica) in presenza di eteroschedasticità.
Ci sono considerazioni speciali che devono essere fatte se si valuta l'accordo/non inferiorità sulla base dei rapporti?
La PoA (e le relative metriche di probabilità comparativa) possono essere definite rispetto alla differenza additiva C 1 - C 2 o la differenza relativa C 1 /C 2 . Oltre a fare attenzione a specificare correttamente la distribuzione di C 1 /C 2 , l'unica altra considerazione chiave quando si lavora con i rapporti è come definire l'equivalenza pratica e quindi la regione dell'equivalenza pratica (o non inferiorità).
In questo caso, determinare se C 1 /C 2 è praticamente diverso da 1 è interessante. Pertanto, è ragionevole definire la regione di equivalenza pratica come [(1 +δ) -1 , 1 + δ] dove qui 𝛅 viene scelto in riconoscimento del fatto che un aumento percentuale del 100𝛅% è il minimo che sia praticamente importante. Tale intervallo è simmetrico attorno a 1 sulla scala relativa ed è invariante rispetto all'etichettatura (potenzialmente arbitraria) del Gruppo 1 rispetto al Gruppo 2. La PoA viene quindi definita come
Come si definisce il limite di equivalenza per il modello di Cox? Come si usa il limite di equivalenza nel modello di Cox?
Il PoA non è stato sviluppato specificamente per l'uso con il modello di rischio proporzionale di Cox, ma lo è sicuramente Potevo Essere. Definire il margine di equivalenza in questo caso richiederebbe di pensare a quanto diverse (su scala additiva o relativa) devono essere due funzioni di rischio prima che diventi praticamente rilevante. Questo margine di equivalenza può essere una costante o può dipendere dalle covariate nel modello. C'è sfumatura e flessibilità in questo senso. Invito qualcuno a perseguire questo sviluppo metodologico; potrebbe essere molto utile.
Conosci modellatori climatici che usano questi metodi per valutare i loro modelli?
Non specificamente, no. La cosa più vicina di cui sono a conoscenza è un recente articolo di Ledwith et al. (2023) [7] che utilizza la probabilità di accordo per convalidare i modelli computazionali più in generale. Ma mi aspetto che una metodologia come questa possa essere utile per la valutazione del modello climatico.
Siamo grati a Nathaniel per aver dedicato del tempo a condividere più dei suoi pensieri su questo concetto flessibile e potente. Se ti sei perso il live streaming, dai un'occhiata all'on-demand episodio di questo Statisticamente parlando.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] La PoA bayesiana sarebbe utile anche qui, ma per restringere l'ambito della discussione, mi concentrerò sulla versione frequentista.
[6] Le regioni a più alta densità (HDR) sono l'analogo multivariato.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
