Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?Dove dovrei investire per massimizzare i profitti? Hai appena trascorso l'ultimo anno raccogliendo dati, ristrutturandoli, analizzando le relazioni e mettendo a punto i parametri. Hai lavorato duro e hai messo a frutto tutta la tua esperienza in quello che ritieni sia un solido modello di previsione che ora utilizzerai per determinare dove la tua azienda spenderà 10 milioni di dollari delle sue risorse. Quanto sei sicuro della tua decisione? Hai tenuto conto di tutti i possibili scenari, fattori e vincoli? È possibile che ti sia sfuggito qualcosa?
Benvenuti nel mondo dell'incertezza, dove l'ignoto tiene svegli la notte anche i professionisti dei dati più esperti. È la paura di non sapere ciò che non sappiamo e di perdere un effetto o un risultato imprevisto che può trasformare un semplice modello di previsione nel peggior incubo di un'organizzazione.
Sia che tu stia sfruttando i più recenti algoritmi di intelligenza artificiale o utilizzando metodi di regressione tradizionali, nel tuo modello sarà sempre presente un certo livello di incertezza.
Poiché è inevitabile, la domanda ora diventa: è possibile minimizzare e mitigare l’incertezza? Assolutamente, credo che possa essere notevolmente ridotto incorporando alcune semplici strategie che hanno dimostrato di aumentare l’accuratezza delle previsioni e ridurre l’incertezza nei modelli.
Incertezza relativa al campione di dati
Per cominciare, dobbiamo riconoscere e comprendere che esistono molte fonti di incertezza nei modelli predittivi. La variazione dei dati, della tecnica di modellazione e della selezione dei predittori contribuiranno tutti alle prestazioni del modello. Per questa discussione, concentriamo la nostra attenzione sull'incertezza relativa al campione di dati. La qualità del set di dati gioca un ruolo fondamentale nell’accuratezza di una previsione. I dati sono il carburante di un modello di previsione. E nella maggior parte degli scenari, più possiamo alimentare il modello, maggiore sarà la nostra capacità di migliorare la precisione. Ma tutto ha un costo e la raccolta di grandi set di dati può essere uno sforzo costoso e dispendioso in termini di tempo. Considerato questo vincolo, la migliore strategia per il Day Zero è creare un piano di raccolta dati utilizzando progettazione di esperimenti (DOE) per raccogliere in anticipo dati critici che catturino le combinazioni di fattori e variazioni necessarie per modellare accuratamente le relazioni.
Sfortunatamente, la maggior parte non intraprende questa strada e successivamente si trova nel disperato bisogno di dati aggiuntivi dopo la fase di raccolta per arricchire il proprio modello. Ti sembra? Cosa fare ora che non c'è più budget per raccogliere più dati? Non c'è bisogno di preoccuparsi.
3 tecniche per arricchire i tuoi dati
Sarai felice di sapere che l'aiuto è vicino sotto forma di tre tecniche semplici e veloci comprovate per arricchire i tuoi dati e riacquistare accuratezza nel tuo modello senza dover investire risorse aggiuntive nella raccolta di nuovi punti dati: Bootstrapping, Monte Carlo Simulazione e imputazione.
Bootstrap: Una tecnica semplice in cui campioniamo ripetutamente osservazioni casuali nei nostri dati per produrre un nuovo set di dati “bootstrap”, fornendo una migliore approssimazione delle stime del modello.
Diamo un'occhiata a questa tecnica nella pratica. Nell'esempio seguente, vorrei esplorare il parametro del modello (permeabilità) e determinare se i suoi intervalli di confidenza di 0,010 e 0,108 sono una rappresentazione accurata dei limiti teorici per questa variabile. Una volta che avrò risposto a questa domanda, avrò una migliore comprensione della relazione tra permeabilità e risposta del mio modello.
Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108I limiti di confidenza originali per la permeabilità sono 0,010 e 0,108
New bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesI nuovi limiti bootsrap di 0,019 e 0,119 riflettono una stima più accurata dei valori effettivi
Utilizzando JMP , genero 2500 campioni bootstrap per calcolare nuovi intervalli di confidenza di 0,019 e 0,119. I limiti del bootstrap sono maggiori rispetto ai limiti originali di 0,010 e 0,108, suggerendo che la relazione tra permeabilità e risposte previste è in realtà più forte di quanto stimato in precedenza. Con questa nuova intuizione, posso modificare i coefficienti del mio modello per ridurre l'incertezza e produrre una stima più in linea con i risultati effettivi attesi.
Simulazione Monte Carlo: Utilizza distribuzioni di variazione casuale per produrre una stima affidabile dei risultati della previsione per tenere conto meglio dell'incertezza nei dati del modello.
Applichiamo questa seconda tecnica al nostro set di dati di esempio. Ho creato un modello tradizionale in cui posso stimare la risposta prevista (Es: REC=847.805) per una serie di condizioni. Anche se posso calcolare la risposta prevista e gli intervalli di confidenza di tali stime, ciò che non posso calcolare è un risultato che incorpora la variazione del mondo reale che normalmente osserverei tra i miei fattori. Utilizzando l'opzione simulatore in JMP, ora posso modellare i fattori come distribuzioni casuali e produrre stime più precise nei valori di risposta attesi. Nel mio esempio, la simulazione Monte Carlo rivela che circa il 25% dei miei valori di risposta sono al di fuori del limite inferiore di 750. Con questo livello di rischio quantificato in modo più accurato, ora posso prendere una decisione aziendale più informata avendo simulato più scenari e valutato di conseguenza i rispettivi risultati.
Monte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsLa simulazione Monte Carlo delle variabili predittive consente l'analisi del rischio in condizioni variabili
Imputazione: Una tecnica di sostituzione dei dati utilizzata per sostituire i dati mancanti con un risultato calcolato.
I dati reali a volte avranno valori mancanti e il mio set di dati di esempio non è diverso. Contiene alcune voci in cui i dati non sono stati raccolti perché si è verificato un problema con un sensore. Sfortunatamente, poiché questi valori sono stati omessi, ora vengono scartati da qualsiasi analisi e perdo qualsiasi intuizione potenziale che avrei potuto ottenere se il mio set di dati fosse stato completo. Utilizzando l'imputazione in JMP , ora posso stimare i valori di quelle voci mancanti e aumentare la fiducia delle mie proiezioni. L'imputazione può essere eseguita utilizzando molte tecniche; Ho optato per un metodo chiamato Imputazione SVD multivariata per prevedere i valori delle 14 voci mancanti. Va notato che i dati imputati non sono dati reali, ma offrono un mezzo per effettuare analisi che altrimenti non potrebbero essere eseguite. Imputando i dati mancanti, aumento la precisione delle stime delle variabili predittive e ora posso utilizzare appieno tutti i dati raccolti.
Results of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataI risultati di 14 valori assegnati consentono la stima dei dati mancanti
Migliorare le stime e ridurre l’incertezza
Bootstrap, simulazione Monte Carlo e imputazione. Ecco qua: tre tecniche semplici e veloci che possono essere implementate su qualsiasi set di dati esistente per arricchire la qualità dei risultati e migliorare notevolmente la precisione predittiva. I modelli di previsione sono cose sorprendenti in cui i casi d’uso stanno crescendo sempre più nell’era dei Big Data. Nonostante i progressi nelle opzioni di modellazione e negli algoritmi volti a promuovere una maggiore robustezza e accuratezza, le prestazioni continuano a essere guidate dalla qualità dei dati che inseriamo nel modello.
In un mondo ideale, l’incertezza sarebbe inesistente e i nostri dati illuminerebbero la strada per una previsione perfetta. Ma sappiamo che ai dati reali non interessa ciò che pensiamo. È complicato, imperfetto e difficile da gestire, quindi affrontiamo questa sfida inserendo alcuni nuovi strumenti nella cassetta degli attrezzi. Non lasciamo che le incognite ci tengano svegli la notte. Sii proattivo utilizzando queste strategie per migliorare le stime, ridurre l'incertezza e avere la certezza di prendere le migliori decisioni aziendali possibili.
Queste tecniche riguardano la qualità delle informazioni. Dati i tuoi dati e i tuoi obiettivi, ti aiutano a migliorare la qualità delle informazioni che generi.
Per un'introduzione al bootstrap, con esempi ed esercizi, vedere questo collegamento:
Per un'introduzione al bootstrap
Per un'introduzione alla qualità delle informazioni, vedere questo collegamento :
Per un'introduzione alla qualità dell'informazione (InfoQ)
Per un componente aggiuntivo JMP sulla valutazione della qualità delle informazioni (InfoQ) vedere Aggiunta di JMP per valutare InfoQ
