676944_it-IT

liliconcom

Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

Ciao a tutti,

 

Spero che qualcuno di JMP possa essere in grado di fornire una spiegazione sulle differenze/somiglianze degli approcci Simulate vs Bootstrap durante la valutazione delle stime del modello. (JMP Pro)

 

È possibile trovare alcuni collegamenti alle precedenti presentazioni del Discovery Summit di Gotwalt e altri Qui , Qui , E Qui . Una chiara differenza tra i metodi è che Simulate richiede di sostituire una formula di colonna con un'altra formula di colonna, mentre il bootstrap no. Capisco il concetto di bootstrap quando si ricalcola le stime dei parametri, ma non mi è chiaro il motivo per cui la colonna ponderata casuale frazionaria debba essere scambiata durante la simulazione degli stessi dati. Vedi ad esempio il primo collegamento sopra e la presentazione corrispondente che spiega questo approccio utilizzando un'impostazione di convalida automatica (in questo caso stavano lavorando con i risultati DOE).

 

Quello che mi piacerebbe capire meglio sono i vantaggi/svantaggi di entrambi gli approcci e quando un approccio è migliore di un altro. Ho una tabella dati ampia e alta in cui ho diverse variabili di processo e misurazioni della qualità del prodotto. Voglio restringere l'insieme delle possibili variabili di processo che potrebbero influenzare il risultato per fornire alla produzione un'idea di dove indagare. Per fare ciò, prendo l’idea del Fattore Nullo dalle loro presentazioni e la includo come una variabile veramente casuale nel modello. Quindi eseguo un modello GenReg molto semplice sui fattori e sull'output Y, quindi faccio clic con il pulsante destro del mouse sulla colonna delle stime ed eseguo l'opzione bootstrap o simula sulle stime dei parametri.

 

Non ottengo gli stessi risultati funzionando in entrambe le direzioni e mi piacerebbe capire il perché. Inoltre, un approccio è più appropriato rispetto a un altro poiché questo non è un DOE?

 

Di seguito sono riportati esempi dei risultati su un diagramma di Pareto, in cui tutti i fattori introdotti nel modello meno volte rispetto al fattore nullo vengono semplicemente rimossi. La prima immagine mostra i risultati dell'utilizzo del metodo Simulazione, dove il fattore all'estrema destra del grafico di Pareto è il Fattore Nullo. Allo stesso modo, la seconda immagine mostra i risultati utilizzando il metodo Bootstrap, dove ancora una volta il fattore Null è all'estrema destra.

Perché ottengo due risultati molto diversi per i due metodi? Uno è più "affidabile" dell'altro? Perché dovrei usare un metodo piuttosto che un altro? Un metodo è più robusto dell’altro? Se ottieni risultati diversi, perché JMP Pro dispone di entrambe le opzioni?

 

Qualsiasi approfondimento in merito è molto apprezzato.

 

Grazie!,

DS

 

Modellazione statistica avanzataProgettazione di esperimentiModellazione predittiva e machine learningRi: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

Tentativi di bootstrap o ricampionamento per soppiantare empiricamente la distribuzione sottostante. Si ritiene generalmente che Bradley Efron abbia inventato e sviluppato questa metodologia. Ha anche esplorato i suoi difetti. I campioni bootstrap possono quindi determinare empiricamente le statistiche e gli intervalli dei campioni. Non si presuppone alcuna distribuzione della popolazione. L'accuratezza e la stabilità di queste stime dipendono dalla dimensione del campione originale e dal numero di ricampioni.

Il metodo di simulazione presuppone un modello di distribuzione da cui vengono generati i campioni. Le stime dipendono fortemente dalle ipotesi del modello.

Questa risposta è di alto livello e non dettagliata. Puoi immaginare esempi di entrambi i metodi e come potrebbero avere successo o fallire in modo spettacolare.

Ri: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

CIAO @Mark_Bailey ,

 

Grazie per il tuo feedback e i tuoi pensieri.

 

Quindi, sembra che (da un livello elevato) la differenza principale dipenda dal modo in cui la simulazione o il bootstrap presuppongono o non presuppongono una distribuzione della popolazione. A causa di questa differenza nei requisiti di distribuzione della popolazione, i due metodi affrontano il processo di stima in modo diverso, il che porta il metodo di simulazione a richiedere che un'altra colonna venga scambiata dentro e fuori.

 

Vorrei ancora capire meglio se un metodo è più robusto di un altro e quando utilizzare un metodo rispetto all'altro. Ad esempio, quali sono i requisiti di distribuzione della popolazione per il metodo di simulazione? Esistono limitazioni/restrizioni quando non è necessario utilizzare un metodo rispetto a un altro.

 

Nel mio esempio sopra, ottengo risposte molto diverse per i fattori che entrano nel modello più frequentemente rispetto al fattore nullo con ciascun metodo. Quale metodo è in grado di fornire effettivamente la stima più accurata per i fattori che dovrebbero rimanere nel modello rispetto a quelli che in realtà non sono realmente utili nel modello? Di quale risultato posso "fidarmi"?

 

La guida in linea di JMP fornisce spiegazioni limitate e non discute realmente dell'utilizzo di un metodo o dell'altro.

 

Grazie!,

DS

Ri: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

Scusate la mia confusione....

Prima di esprimere i miei pensieri, che probabilmente sono controversi, qual è l'obiettivo finale del tuo post? Alcune delle tue domande (ad es. Uno è più "affidabile" dell'altro? Perché dovrei usare un metodo piuttosto che un altro? Un metodo è più robusto dell’altro?) suggeriscono un obiettivo. Altri (ad esempio, Perché ottengo due risultati molto diversi per i due metodi?, Perché JMP Pro dispone delle due opzioni?) suggeriscono qualcosa di diverso.Stai cercando di determinare quale metodo arriverà a un modello che spieghi la variazione già esistente (in un processo o in un set di dati) o un modello utile per la previsione (analitico nei termini di Deming)? OPPURE sei semplicemente interessato a una discussione tecnica sui due metodi?

Ri: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

CIAO @statman ,

 

Ci scusiamo per la confusione e, a dire il vero, c'è un po' di tutto, ma non tanto per arrivare al modello "definitivo". Si tratta più di arrivare all'insieme più probabile di fattori da indagare ulteriormente, un po' come la piattaforma Predictor Screening.

 

Sto utilizzando un metodo modificato simile a quello presentato al Discovery Summit del 2018 a Cary - il primo collegamento nel mio post originale - per provare a determinare da un insieme molto ampio (>130) di possibili tag di produzione (cose come velocità della pompa, portate, temperatura del forno e flusso d'aria), quali contribuiscono al risultato, Y, che viene misurato in QC. Utilizzando l'approccio GenReg (ad esempio la selezione in avanti o la selezione in avanti ridotta) è possibile ottenere stime per i termini nel modello - e questo è un modello MOLTO semplicistico che considera solo i fattori principali, nessuna interazione, nient'altro. Molte di queste stime saranno pari a zero o prossime allo zero per i loro coefficienti.

 

È quindi possibile eseguire un'analisi simulata o bootstrap delle stime: questo viene normalmente fatto per ottenere una maggiore sicurezza su quale sia l'intervallo di valori possibili per detta stima. Tuttavia, un'altra cosa che puoi ottenere dalle statistiche di distribuzione di entrambi i metodi è la proporzione di volte in cui il valore di quella stima è diverso da zero. Confrontando il valore diverso da zero della proporzione di ciascuna stima con il Fattore Nullo si ottiene un'idea se il fattore appare o meno nel modello più frequentemente del Fattore Nullo. Poiché il Null Factor è completamente casuale e non ha alcuna correlazione con i tag di produzione effettivi, se un tag viene visualizzato meno frequentemente del Null Factor, può essere eliminato dai futuri sforzi di modellazione. Ciò consente di ridurre i >130 fattori possibili a un insieme più gestibile di circa una dozzina. A questo punto è possibile effettuare ulteriori indagini, esperimenti o modelli su un insieme di fattori molto più ridotto rispetto a prima.

 

Quello che vorrei capire meglio è perché i metodi di simulazione e bootstrap producono risultati diversi. È il problema della distribuzione di cui parlava Mark Bailey? È che l'utilizzo del valore predefinito di 2500 campioni non è sufficiente, ne ho bisogno di più? Oppure c'è qualche ragione più fondamentale che fa sì che i due metodi forniscano risultati diversi?

 

Vorrei comprendere meglio il lato tecnico dei due metodi per poter prendere una decisione più consapevole su quale metodo utilizzare e quando. Se i due metodi non convergono su una soluzione simile (non che sia necessario) allora quale soluzione è quella "corretta".

 

Non ci sono molte informazioni nella guida in linea di JMP e mi piacerebbe comprendere meglio questi strumenti per poterli utilizzare in modo efficace.

 

Grazie!,

DS

Ri: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

Nessuno dei due metodi lo è superiore in ogni senso statistico. Vale a dire, nessuno dei due si comporta sempre meglio dell'altro in ogni caso.

L'accuratezza del risultato deve essere verificata indipendentemente con una nuova previsione (cioè la stima) con un nuovo campione.

La letteratura sul bootstrap e sulla simulazione è vasta. Non posso rispondere facilmente a una domanda ampia sui limiti e le carenze in uno spazio ristretto. Ad esempio, il campione catturerà sufficientemente le caratteristiche della popolazione se la popolazione ha code larghe o presenta valori anomali? Genererà campioni bootstrap come campioni reali della popolazione? D'altra parte, quanto crede al modello distributivo utilizzato per la simulazione?

La fiducia è soggettiva perché due investigatori potrebbero richiedere diversi tipi e quantità di prove per fidarsi di un metodo rispetto all'altro.

La documentazione del software non è destinata a fungere da materiale didattico. In questo caso è necessario utilizzare altre fonti per conoscere i due approcci.

Ri: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

@SDF1 Offrirò anche i miei due centesimi/opinioni. Concordo con tutto @Mark_Bailey E @statman hanno contribuito finora. Il percorso della tua indagine sembra stranamente simile a quello che più volte mi è stato assegnato durante i miei giorni di lavoro nell'industria dei processi chimici. Avremmo molti dati in tempo reale sulla produzione/produzione che proveremmo a sfruttare per comprendere le variazioni di processo/prodotto o per azioni correttive quando la magia della fisica, della chimica o della biologia non si è riunita durante un ciclo di produzione la scorsa notte. Ora tutti sono impegnati a capire "perché"? Sembra quasi che tu stia cercando di elaborare un modello "finale" che spieghi tutto. Ho scoperto che l'utilizzo dei dati di produzione per questo scopo non era un approccio globale, rispetto alla risoluzione del problema, efficiente. I dati erano semplicemente troppo confusi, incompleti o spesso privi di fattori di rumore/disturbo di grande impatto per essere utili e rappresentativi di ciò che potremmo aspettarci di incontrare in futuro. Allora cosa abbiamo fatto? Utilizzeremo i dati che hai a portata di mano per identificare PROBABILI fattori importanti. Quindi vai "offline" e conduci uno spazio di processo ponderato che comprenda esperimenti progettati per indurre la variazione dei fattori in modo sequenziale in modo da portare a un percorso efficiente (in termini di risorse, non di modello/statistica) verso la risoluzione definitiva del problema. Alla fine, come ha detto spesso uno degli ingegneri con cui ho lavorato, "Non si conosce la causa principale di una modalità di errore finché non è possibile attivare e disattivare la modalità di errore". L'unico modo efficace che conosco per acquisire tale conoscenza è attraverso il DOE... non torturando i dati delle casualità in un modello. Solo la mia opinione. Prendilo per quello che vale.

Ri: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

CIAO @P_Bartell ,

 

Grazie per la tua risposta. La tua descrizione di ciò che hai vissuto in passato è la più vicina a ciò che ho cercato di spiegare nei miei post precedenti. L'obiettivo di questo approccio non è trovare un modello perfettamente funzionante, ma aiutare la produzione a eliminare quei dati di processo che NON contano. Il nostro processo non consente realmente di eseguire veri DOE in produzione: MOLTO troppo costoso! Invece, se riusciamo a restringere i possibili flussi di dati di produzione a quelli che sono gli influenzatori più PROBABILI, allora possiamo fare DOE in laboratorio, proprio come hai sottolineato. Questo è ciò che facciamo.

 

Sappiamo dal nostro laboratorio di ricerca e sviluppo che determinati fattori influenzano determinati risultati, come e perché. Tuttavia, i lotti ridotti (pochi kg al giorno) e l’ambiente altamente controllato per la realizzazione del nostro prodotto in laboratorio sono MOLTO diversi da una produzione continua su vasta scala, che produce oltre 500 tonnellate di materiale al giorno. Le apparecchiature di produzione continua influenzano i risultati in modo diverso rispetto a come vengono eseguite le cose nel contesto di piccoli lotti di laboratorio. E, con il nostro processo, non esiste alcun fattore di "aumento" o "riduzione" che possa semplicemente trasformare il batch in un processo continuo, o viceversa. Pertanto, con la produzione continua, è molto più difficile scoprire quale processo potrebbe variare o fluttuare e portare a un prodotto fuori specifica.

 

Quindi, tornando a ciò che stavo cercando di apprendere originariamente, vorrei saperne di più sulle somiglianze e sulle differenze tra i due metodi attraverso una discussione tecnica. Ci sono casi in cui un metodo è preferibile a un altro e perché?In tal modo, spero di scoprire perché i due metodi forniscono risultati così diversi in modo da poter elaborare un piano su come trovare un approccio più affidabile e solido per determinare i fattori più PROBABILI che dobbiamo indagare ulteriormente. Quest'ultimo passaggio è qualcosa su cui lavorerei con il mio gruppo presso la mia azienda, non tramite la comunità JMP.

 

Ancora una volta, la documentazione di JMP contiene informazioni limitate su questi metodi (forse più informazioni sulla simulazione), nonché informazioni limitate su dove trovare maggiori dettagli su ciascun metodo. Non essendo un esperto in questi metodi, ho pensato di andare al forum di discussione per idee/input sui metodi di simulazione e bootstrap. Finora da questa discussione, ho appreso che bootstrap non presuppone alcuna distribuzione sui campioni, mentre simula presuppone una distribuzione dei campioni e che nessuno dei due è superiore. Niente di tutto questo affronta realmente ciò che speravo di imparare.La guida di JMP conteneva alcune informazioni utili ma non tutte, come pubblicizzato nella parte inferiore delle pagine della guida di JMP:

Veniamo quindi alla discussione comunitaria, sperando di saperne di più. Ancora una volta, non sono un esperto in questi metodi, ma speravo che qualcuno tra le pagine della community lo fosse e potesse fornire maggiori informazioni o risorse da leggere per saperne di più.

 

Grazie!,

DS

Ri: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

Se desideri avere conoscenze generali su Bootstrap e Simulazione in JMP, i collegamenti (2) e (3) sono più pertinenti. Il collegamento (1) è un argomento più avanzato e specifico per DOE.

William Meeker è uno dei parlanti di (2) e (3). Potresti voler dare un'occhiata al capitolo 9 del suo libro "Metodi statistici per i dati sull'affidabilità", 2°. ed. Se hai accesso solo alla prima edizione, dovresti dare un'occhiata anche al Capitolo 9. Le descrizioni molto dettagliate sono documentate lì. Molti di noi hanno imparato le tecniche lì. Ma sono sicuro che ci siano altri riferimenti. I materiali di Meeker coprono sia i concetti generali delle tecniche, sia le applicazioni speciali dell'analisi dell'affidabilità. Se la parte dell'analisi dell'affidabilità è irrilevante, puoi tranquillamente saltarla.

Se dovessi riassumere ciò che è contenuto nel libro, insieme a ciò che ha spiegato Mark, quello che segue è il mio punto.

I passaggi di "Bootstrap", AKA "bootstrap non parametrico", includono:

1. campione dai tuoi dati
2. fare qualcosa
3. calcola la quantità di tuo interesse, ritira la quantità
4. ripetere.

I passaggi di "Simula", AKA "bootstrap parametrico", includono:

1. inizia con un modello con alcuni parametri noti, simulane un campione
2. fare qualcosa
3. calcola la quantità di tuo interesse, ritira la quantità
4. ripetere.

Come hai accennato, lo scopo è ottenere un "intervallo di confidenza". Quale scegliere? Dipende dal tuo compito. Non posso parlare del compito che hai descritto. Ma guarda i collegamenti (2) e (3), il collegamento (2) e la maggior parte di (3) sono legati alle applicazioni del "bootstrap non parametrico" (o Bootstrap), perché il compito è quantificare meglio l'intervallo di confidenza delle stime, per i quali l’approssimazione di un ampio campione non è l’approccio più efficace nel contesto. Ora guarda quando viene utilizzato il "bootstrap parametrico" (o Simulazione) nel collegamento (3), ovvero per il calcolo della potenza. Cos'è il calcolo della potenza? Per questo tipo di calcolo, bisogna conoscere la verità, quindi quando una decisione viene presa con un metodo, bisogna sapere se la decisione su un test di ipotesi è corretta o meno. Quindi è possibile spostare la conclusione nel quadrante corretto nella tabella di Errori di tipo I e di tipo II . Come si può essere sicuri della verità? Inizia semplicemente con la verità. Questo è il momento in cui il "bootstrap parametrico" è più appropriato.

I metodi bootstrap sono tecnologie versatili, sono sicuro che quello che ho descritto sia la punta dell'iceberg. Ma quello che ha detto Mark sintetizza bene la differenza: hanno punti di partenza diversi.

 

Per il tuo compito specifico, ho una domanda: quando hai eseguito la simulazione, come ti è venuta in mente la colonna formula? È la verità quello che sai?

 

Ri: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

OH! Dobbiamo aver lavorato nella stessa azienda... hai descritto esattamente come ho trascorso metà della mia carriera lavorativa presso la Eastman Kodak Company. Il DOE sui processi/macchine di rivestimento di pellicole/carte di produzione era vietato a causa dei costi e della capacità. La scalabilità dal banco di laboratorio al progetto pilota fino alla produzione era un sogno irrealizzabile scritto su carta. La nostra grazia salvifica era che c'erano molte persone intelligenti che facevano del loro meglio. Ti invierò un messaggio privato utilizzando la funzionalità di messaggistica della community con alcune riflessioni aggiuntive.

Ri: Metodi di simulazione e Bootstrap in JMP: quali utilizzare quando e perché

Offrirò alcuni miei pensieri che potrebbero non avere alcun valore e potrebbero non essere utili rispetto alle domande poste da DS. I miei pensieri sono in linea con quelli di Pete poiché ho esperienze simili.Nel tentativo di comprendere la causalità, esistono molti approcci diversi.In TUTTI i casi, è necessaria l'iterazione. Semplificherò eccessivamente due di questi approcci:

1. Un approccio statistico: questo è un tentativo di cercare indizi nei dati storici/osservazionali esistenti (AKA Data Mining).Ciò spesso comporta l'uso di una sorta di approccio di regressione (di cui ce ne sono molti), cercando in definitiva modelli nelle variabili di risposta (ad esempio, Y) e cercando di correlarli con i modelli nelle variabili di input (ad esempio, x).Invece di un semplice aspetto quantitativo (ad esempio, bootstrap, simulazione, ecc.), utilizzare metodi grafici per cercare modelli. La correlazione dei modelli dovrebbe ispirare spiegazioni sul motivo per cui tali modelli esistono.Queste spiegazioni sono ipotesi.Una volta formulate le ipotesi, raccogliere dati tramite campionamento diretto (ad esempio, DOE) per creare fiducia nelle relazioni causali.

2. Un approccio scientifico/ingegneristico (metodo scientifico AKA): questo approccio inizia con ipotesi sui potenziali effetti dei fattori sulle variabili di risposta.Queste ipotesi sono una funzione dell’esperienza delle PMI, dell’intuizione, dell’istruzione, della comprensione della teoria scientifica accettata, ecc.Quando il numero di variabili è elevato (ad esempio, >15) e le ipotesi sono generali, è possibile utilizzare il campionamento diretto per separare e suddividere le componenti della variazione in sottoinsiemi più piccoli. Consiglio vivamente questo approccio per i processi di produzione in quanto non "disturba" il processo. Poiché il numero di potenziali fattori influenti viene ridotto, la sperimentazione può essere utilizzata per creare fiducia nelle relazioni causali (come hai indicato).

Quale approccio sarà più efficace ed efficiente dipende sempre dalla situazione.Quando siamo estremamente in basso nel continuum della conoscenza (ad esempio, c'è una mancanza di conoscenza dell'argomento), forse l'approccio 1 sarà vantaggioso. Se esistono già delle ipotesi, l’approccio 2 potrebbe essere più vantaggioso.

Per quanto riguarda l'incapacità di sperimentare il processo di produzione (senza entrare in una discussione sul pensiero a breve o lungo termine), ciò può aggiungere complessità all'indagine.Il problema è lo spazio di inferenza. Ciò che si desidera è che la linea pilota rispecchi il processo di produzione.Questa è una sfida perché la bugia di ilot è in un ragazzo e spesso è uno spazio di inferenza completamente diverso. Spesso questo significa che sarà necessario fare rumore aggiunto alla linea pilota (ad esempio, variare le condizioni ambientali, utilizzare più lotti di materie prime).Quando si effettuano studi su piccola scala è importante esagerare gli effetti.Sia gli effetti del fattore (ad esempio, l'impostazione del livello in grassetto) che gli effetti del rumore.Gli effetti di rumore esagerati possono essere adattati negli esperimenti utilizzando strategie di blocco e suddivisione della trama.

A parer mio , la simulazione e il bootstrap (o qualsiasi metodo quantitativo) dipendono completamente dal modo in cui sono stati acquisiti i dati e dalla rappresentatività dei dati rispetto alle condizioni future.Se i dati utilizzati per la simulazione o il bootstrap non sono rappresentativi, nessuno dei due metodi sarà utile.

Re: Metodi Simulate vs Bootstrap in JMP: quale usare, quando e perché

Sebbene la mia risposta non sia pertinente al post originale, la tua spiegazione include concetti sulle differenze tra Bootstrap e Simulate.

Vorrei chiarire questi concetti applicati al mio caso specifico, utilizzando il bootstrap parametrico di JMP Nonlinear Fit. Nel file JPG allegato, utilizzo la funzione "Bootstrap" con un clic sulla colonna "Stima" dei parametri dell'analisi "Nonlinear Fit". Sto utilizzando il bootstrap parametrico?