Test statistico per il confronto di algoritmi - JMP ProCiao,
Voglio testare l'efficienza di due diversi algoritmi.
Ho due campioni casuali della stessa popolazione. Su un campione, eseguo l'algoritmo X; su un altro campione, eseguo l'algoritmo Y. Ci sono 30 record in ciascuno. Il tipo di variabile è continuo.
Quale test statistico posso fare per scoprire il miglior algoritmo e quali parametri dovrei confrontare?
Per favore fatemi sapere se sono necessari maggiori dettagli.
Grazie
Nick
AnaliticaRe: Test statistico per confronto algoritmi - JMP ProHo molte domande e pochissime risposte senza molte più informazioni.
1. Quale caratteristica vorresti utilizzare per valutare l'"efficienza"?
2. Quale caratteristica vorresti utilizzare per valutare il 'migliore'? Se qualunque sia la tua caratteristica per "migliore", quanto devono variare i risultati prima di dichiarare uno è "migliore"?
3. Esistono numerosi 'parametri' di popolazione che si possono valutare da 'campioni casuali' di detta popolazione. Stai cercando di stimare questi parametri? Se sì, con quale metodo? Intervalli di confidenza, intervalli di tolleranza, qualcos'altro? C'è una componente di serie storica nei dati o nelle decisioni a portata di mano?
4. Si tratta di un esercizio accademico o che ha dietro decisioni pratiche? In quest'ultimo caso, per favore articola più del problema pratico, il metodo di campionamento (veramente casuale... o qualcos'altro) e le decisioni effettive a portata di mano.
5. Cosa sai del rumore/variazione della misurazione rispetto ai processi in gioco?
6. Spero che tu abbia esaminato graficamente i dati PRIMA di eseguire qualsiasi analisi numerica. Potrebbero esserci valori anomali, osservazioni sospette o altre caratteristiche nei set di dati campione che rendono un approccio di analisi numerica specifico più problematico rispetto ad approcci alternativi.
Probabilmente non ho toccato tutto ma quanto sopra è un inizio?
Re: Test statistico per confronto algoritmi - JMP ProL'inferenza statistica è utile quando è impossibile osservare l'intera popolazione. La popolazione non è definita nel tuo post. L'inferenza statistica valuta l'incertezza nella stima di un parametro dovuta al campionamento dalla popolazione. Confronta i due algoritmi in base a una misura di efficienza come il tempo di elaborazione o le fasi di elaborazione utilizzando lo stesso campione di dati. Questo caso è un confronto accoppiato che può utilizzare il test t accoppiato sul risultato continuo di ciascun algoritmo.
I tuoi dati potrebbero assomigliare a questa tabella:
Ho preso in giro alcuni dati. Ci sono 100 campioni di dati della stessa popolazione. I campioni potrebbero provenire dal ricampionamento o dal bootstrap. Il risultato è il numero di secondi per completare l'algoritmo.
È possibile analizzare questi risultati utilizzando Analizza > Modellazione specializzata > Coppie abbinate .
Questo esempio mostra una differenza statisticamente significativa tra i due algoritmi di circa 10 secondi.
Ti ho allegato il mio mock-up.
Re: Test statistico per confronto algoritmi - JMP ProGrazie mille Marco.
