Confrontare le cose è comune nella nostra vita quotidiana. Se ti manca un ingrediente per una ricetta, potresti avere qualcos'altro a portata di mano che potrebbe fungere da buon sostituto. Per decisioni comparative che richiedono dati, potresti chiederti se una macchina più vecchia ha prestazioni paragonabili a una nuova macchina in un laboratorio o in una fabbrica. È giunto il momento di riparare o sostituire la vecchia macchina o le sue prestazioni sono “abbastanza buone” per continuare a utilizzarla? E come quantificare il significato di “abbastanza buono” in questo contesto?
Convenzionalmente, il confronto tra due cose richiede l’uso scomodo, e spesso controintuitivo, della verifica delle ipotesi. Tuttavia, il semplice rifiuto o il mancato rifiuto dell’ipotesi nulla potrebbe non rispondere in modo sufficiente alla domanda a cui speriamo di rispondere. Quindi, come possiamo determinare in modo più efficace se due cose sono uguali, simili o diverse? La risposta può essere trovata utilizzando la metodologia della probabilità di accordo (PoA) per valutare l'equivalenza pratica , che è una delle aree di competenza di Nathaniel Stevens. È stato il nostro ospite più recente su Statistical Speaking e siamo stati lieti di saperne di più su questo framework potente e flessibile.
Nathaniel è professore assistente di statistica presso il Dipartimento di statistica e scienze attuariali dell'Università di Waterloo. Ha vinto numerosi premi, più recentemente la medaglia Feigenbaum dell'American Society of Quality del 2023 e il premio Søren Bisgaard del 2021 per il suo lavoro sulla probabilità di accordo bayesiana.
Dato che avevamo più domande che tempo per rispondere, Nathaniel ha gentilmente accettato di condividere qui più della sua esperienza.
Quali sono i limiti del quadro PoA?
Il quadro fa molto affidamento sulla soglia di equivalenza 𝛅. In quanto tale, questo è qualcosa che deve essere determinato attentamente. In alcuni contesti, questo potrebbe essere difficile da fare. E senza un'attenta considerazione, questo potrebbe essere scelto senza scrupoli per ottenere il risultato desiderato. È quindi imperativo che quello 𝛅 sia scelto in riconoscimento del contesto problematico.
Il PoA equivale a modificare il livello di significatività a 0,1 (ad esempio) anziché alla soglia di 0,05 utilizzata in un test di ipotesi tradizionale?
No, la relazione tra l’analisi PoA e il test delle ipotesi non è così semplice. Sebbene esistano molte incarnazioni del PoA, per aiutare a costruire l'intuizione su ciò che quantifica e su come si collega ad altre misure di prova, consideriamo un esempio illustrativo in cui desideriamo semplicemente determinare se un parametro θ si trova all'interno dell'intervallo [-𝛅, 𝛅 ].
Ciò può essere fatto (ad esempio) con valori p di seconda generazione [1] , un test di equivalenza [2] , metodi basati su intervalli [3],[4] o la probabilità frequentista di accordo [5] . Tutti questi approcci, con metodi diversi, cercano di caratterizzare la posizione e la dispersione della distribuzione campionaria di θ-hat specificamente in relazione all'intervallo [-𝛅, 𝛅]. I metodi basati su intervalli tendono a verificare se un intervallo di confidenza per θ si trova interamente all'esterno o all'interno di [-𝛅, 𝛅]. I valori p di seconda generazione misurano la misura in cui tali intervalli statistici si sovrappongono [-𝛅, 𝛅]. I valori p associati a due test unilaterali (TOST) misurano in aggregato la proporzione della distribuzione campionaria di θ-hat che si trova al di fuori di [-𝛅, 𝛅]. E il PoA frequentista misura la proporzione di questa distribuzione che si trova all'interno di [-𝛅, 𝛅]. Tutti questi metodi, in modi simili anche se leggermente diversi, quantificano le prove a favore dell'affermazione θ ∈ [-𝛅, 𝛅] .
La PoA viene insegnata nelle scuole? Quando è iniziato?
Per quanto ne so, il PoA non è ancora insegnato nei corsi. L'idea è abbastanza semplice e immagino di non essere il primo a prenderla in considerazione. Quindi, non posso dire con certezza quando è stata implementata la prima istanza di questa idea. Tuttavia, il quadro che io e i miei collaboratori abbiamo iniziato a costruire è iniziato all’incirca nel 2015.
Questo è un problema più generale con l’insegnamento di qualsiasi metodologia che tenga conto esplicitamente dell’equivalenza pratica. Tali metodologie (ad esempio, test di equivalenza) vengono raramente insegnate nei corsi introduttivi. Un’ampia accettazione di questa classe di metodi richiede un cambiamento di paradigma nella pedagogia, che si spera sarà portato dal cambiamento di paradigma che stiamo sperimentando nella disciplina statistica rispetto al significato statistico rispetto a quello pratico.
Cosa significa “HDI”?
HDI è l’acronimo di “intervallo di densità più alta”. In generale, un HDI è il sottoinsieme del supporto di una distribuzione univariata che ha la densità più alta [6] . L'idea è usata comunemente nell'inferenza bayesiana come un particolare tipo di intervallo credibile posteriore. Ad esempio, considera la distribuzione a posteriori per un parametro θ e considera un intervallo [L, U ] che contiene il 95% della distribuzione e quindi contiene θ con probabilità 0,95. Un tale intervallo non è unico. L'HDI al 95% è l'intervallo più breve che contiene θ con probabilità 0,95.
Come si definisce il termine “eteroschedasticità”?
In generale, l’eteroschedasticità si riferisce alla varianza non costante. Al contrario, l’omoschedasticità si riferisce alla varianza costante. Nel contesto del confronto tra sistemi di misurazione, l'eteroschedasticità è rilevante perché la variabilità di un sistema di misurazione (cioè la sua ripetibilità) potrebbe non essere una costante fissa; potrebbe invece essere una funzione dell'articolo che stai misurando. Ad esempio, le misurazioni possono diventare più/meno variabili se l'oggetto da misurare è grande/piccolo. Tuttavia, la distinzione tra omoschedasticità ed eteroschedasticità è rilevante in un contesto più ampio. Ad esempio, l'inferenza all'interno della regressione dei minimi quadrati ordinari si basa sul presupposto di una varianza costante, che dà origine alla necessità di trasformazioni stabilizzanti la varianza (ad esempio, la trasformazione logaritmica) in presenza di eteroschedasticità.
Ci sono considerazioni particolari da fare se si valuta l’accordo/non inferiorità in base ai rapporti?
Il PoA (e le relative metriche di probabilità comparativa) possono essere definiti rispetto alla differenza additiva C 1 - C 2 o alla differenza relativa C 1 /C 2 . Oltre a fare attenzione a specificare correttamente la distribuzione di C 1 /C 2 , l'unica altra considerazione chiave quando si lavora con i rapporti è come definire l'equivalenza pratica e, quindi, la regione di equivalenza pratica (o di non inferiorità).
In questo caso, determinare se C 1 /C 2 è praticamente diverso da 1 è interessante. Pertanto è sensato definire la regione di equivalenza pratica come [(1 + δ) -1 , 1 + δ] dove qui 𝛅 viene scelto in riconoscimento del fatto che un aumento percentuale del 100𝛅% è il più piccolo che sia praticamente importante. Tale intervallo è simmetrico attorno a 1 sulla scala relativa ed è invariante rispetto all'etichettatura (potenzialmente arbitraria) del Gruppo 1 rispetto al Gruppo 2. Il PoA è quindi definito come
Come si definisce il limite di equivalenza per il modello di Cox? Come si utilizza il limite di equivalenza nel modello di Cox?
Il PoA non è stato sviluppato specificamente per l'uso con il modello di rischio proporzionale di Cox, ma certamente potrebbe esserlo. Definire il margine di equivalenza in questo caso richiederebbe di pensare a quanto diverse (sulla scala additiva o relativa) devono essere due funzioni di rischio prima che diventi praticamente rilevante. Questo margine di equivalenza può essere una costante o può dipendere dalle covariate nel modello. C’è sfumatura e flessibilità a questo riguardo. Invito qualcuno a perseguire questo sviluppo metodologico; potrebbe essere molto utile.
Conoscete modellisti climatici che utilizzano questi metodi per valutare i loro modelli?
Non specificatamente, no. La cosa più vicina di cui sono a conoscenza è un recente articolo di Ledwith et al. (2023) [7] che utilizza la probabilità di accordo per validare modelli computazionali più in generale. Ma mi aspetto che una metodologia come questa possa essere utile per la valutazione dei modelli climatici.
Siamo grati a Nathaniel per aver dedicato del tempo a condividere i suoi pensieri su questo concetto flessibile e potente. Se ti sei perso il live streaming, guarda l' episodio on-demand di questo Statistical Speaking.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] Anche in questo caso sarebbe utile il PoA bayesiano, ma per restringere l'ambito della discussione mi concentrerò sulla versione frequentista.
[6] Le regioni a densità più elevata (HDR) sono l'analogo multivariato.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
