Space Filling Design + Algoritmi ML - Come stimare il numero adeguato di esecuzioni?CIAO,
Per una sessione di JMP Inspire con Danone, due utenti mi hanno chiesto di parlare dell'utilizzo di Space Filling Design insieme agli algoritmi di Machine Learning. Mi hanno chiesto come determinare il numero ottimale di corse.
Avresti una strategia o un approccio empirico per determinarlo?
Grazie per l'aiuto
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?Non sono sicuro che l'applicazione del nostro Space Filling Design nel nostro componente aggiuntivo XGBoost sia rilevante per la tua domanda.
Se il tuo "numero di esecuzioni" riguarda le seguenti due voci (cerchiate) nel componente aggiuntivo, immagino che si tratterebbe di una sorta di problema della superficie di risposta. E anche ciò che ha suggerito @malcolm_moore1 è correlato.
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?+1 sulle risposte precedenti e presupponendo che ciò sia correlato all'ottimizzazione degli iperparametri nell'apprendimento automatico, questa potrebbe anche essere un'opportunità per inviare feedback e idee a @chris_gotwalt1 sull'ottimizzazione bayesiana/apprendimento adattivo.
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?Se ci stiamo spostando nel mondo stocastico, il documento allegato è probabilmente rilevante e in realtà è ancora una questione aperta. In particolare, se vai alla Sezione 4 sulla progettazione sperimentale:
Raccomandazioni adeguate per i valori di n1; n2;N e le repliche su ciascun input distinto mancano (in Ankenman et al. (2010) le raccomandazioni sono ad hoc) e, come per gli esperimenti a una fase, aperti allo studio. Un progetto di terza fase (o qualsiasi progetto a più fasi) può essere costruito ripetendo la fase 2 nel processo sopra descritto.
Spesso quello che ho visto è che si inizia con "abbastanza" punti nel progetto iniziale (in base alla complessità, che potrebbe essere una quantità sostanziale), e poi si lascia che l'ottimizzazione bayesiana prenda il sopravvento finché non si smette di vedere un miglioramento, cosa che non si vede. non lo so sempre.
Sicuramente una questione aperta in generale: quanta esplorazione dovremmo fare con il riempimento dello spazio. Nel secondo articolo che ho allegato, la scoperta è stata che in alcuni casi i professionisti fanno meglio ad attenersi a modelli più semplici e classici.
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?Ciao @Steph_Georges , se il cliente è interessato a esplorare come utilizzare i progetti di archiviazione dello spazio per l'ottimizzazione degli iperparametri ML, potresti trovare preziosa la mia registrazione di seguito:
https://community.jmp.com/t5/JMP-in-the-Upstream/JMP-in-the-Upstream-7-Optimizing-your-Python-machine-learning/ba-p/467039
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?Ciao Stephane,
I progetti di riempimento dello spazio sono solitamente associati a esperimenti di simulazione al computer con una risposta deterministica (nessun errore casuale o si ottiene lo stesso valore di risposta se si eseguono impostazioni fattoriali identiche). vedere questo articolo.
Forse puoi scoprire maggiori dettagli sulla loro situazione sperimentale poiché non si presenta come un tipico problema di progettazione di riempimento dello spazio e forse esiste una soluzione alternativa più efficiente.
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?Buone risposte ma stiamo tutti indovinando l'intento dell'utente. Potrei immaginare diversi usi di Space Filling + Algorithm (formazione, messa a punto, test, test di sensibilità, ecc. Ecc.). La domanda successiva sarebbe il numero ottimale di esecuzioni per cosa? Spesso non possiamo rispondere alle domande senza molte più informazioni.
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?@peng_liu @russ_wolfinger Non posso fare a meno di andare nella tana del coniglio, ma questo è un problema particolarmente intrigante di cui non sono a conoscenza di alcuna letteratura (ma per favore mandamelo se ne sei a conoscenza). Per le pieghe interne, è necessario progettare in modo da trovare impostazioni concorrenti che possano essere scelte come "vincitrici" in una delle pieghe interne nei progetti successivi. Altrimenti stai sprecando risorse per le impostazioni degli iperparametri che non avranno alcun impatto su ciò che verrà raggruppato alla fine.
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?@Steph_Georges in una vita precedente usavamo progetti di riempimento dello spazio come altri descritti per esperimenti deterministici. Per i modelli abbiamo utilizzato il processo gaussiano o le reti neurali. Abbiamo preferito le reti neurali per la flessibilità dei modelli che erano molto migliori per lavorare con i risultati, tipicamente, altamente non lineari che avremmo incontrato.
Il processo gaussiano è ottimo per la modellazione se stai cercando il valore esatto dei tuoi punti dati, ma non è sempre ottimo per modellare ciò che accade tra i punti dati. Non c’è rumore negli esperimenti deterministici, ma possono esserci errori ed è qui che GP può essere meno efficace di NN.
Il numero ottimale di corse è un animale diverso. Abbiamo sempre utilizzato la regola pratica 10X il numero di fattori, ma questo non vuol dire che sia un numero ottimale, era qualcosa che funzionava per le nostre esigenze.
HTH
Conto
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?Buonasera,
Scusa, mi rendo conto di non essere stato molto esplicito e che il mio messaggio è aperto a molte interpretazioni.
Danone (e altre aziende come L'Oréal, ad esempio) vorrebbero utilizzare la metodologia Mixture DoE combinata con algoritmi di nuova generazione come parte del loro sviluppo di formulazioni.
La tendenza è ben spiegata in questa presentazione di Victor Guiller di L'Oréal (al French User Group e al Manchester Discovery Summit), che mostra l'uso dello Space Filling Design e dell'algoritmo SVM per modellare il comportamento con un modello a priori sconosciuto (modello- approccio agnostico, la conoscenza preliminare della forma del modello non è più necessaria): https://community.jmp.com/t5/Online-Abstracts/Synergy-Between-Design-of-Experiments-and-Machine-Learning-for/ec -p/708147#M2
L'utilizzo dello Space Filling Design consente di indagare una pavimentazione regolare dell'area da indagare... che aiuta a guidare meglio i modelli di Machine Learning (punti troppo distanti lasciano troppa libertà di interpolazione, portando a superfici di risposta aberranti da un punto di competenza aziendale di visualizzazione).
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?Secondo il commento di @peng_liu . Un utilizzo dei progetti di riempimento dello spazio è quello di ottimizzare i parametri di ottimizzazione in modo da poter ottenere un migliore adattamento del modello.
Se la domanda, tuttavia, è correlata all'utilizzo di un progetto di riempimento dello spazio per un esperimento, allora penso che il modo migliore per farlo sia creare progetti di riempimento dello spazio con un numero variabile di punti di progettazione e quindi utilizzare Confronta progetti.
Ri: Space Filling Design + algoritmi ML - Come stimare il numero adeguato di esecuzioni?Penso che tu debba fare attenzione al tipo di design che usi con SVEM, soprattutto per problemi di ottimizzazione della miscela. Vuoi assicurarti di avere una copertura buona e uniformemente distribuita dell'intero spazio della miscela su cui desideri ottimizzare. E dipenderà dal numero di fattori, incluso l’errore previsto nel processo sperimentale e nella misurazione.
Evaluate Design può essere d'aiuto in questo, soprattutto quando si confrontano progetti diversi.
