Altoparlante | Trascrizione |
| Fabio D'Ottaviano | Ok, grazie a tutti per aver guardato questo video qui. Bene, perché puoi vedere, parlerò di effetti casuali mancanti nell'apprendimento automatico. |
| È un'idea di lavoro insieme al mio collega quando Joe Young, lavoriamo entrambi per Dow Chemical Company lavorando coreano D e ti aiutiamo a conoscere validi sviluppare nuovi processi e principalmente nuovi prodotti. |
| Quello che vedete qui in questa schermata è una grande gabbia da bingo, perché il nostro discorso qui riguarderà la simulazione e la simulazione ha molto da fare almeno per me. |
| Con il caso del bingo perché hai deciso la distribuzione delle tue palline e dei numeri all'interno della grande occasione, poi continui a sceglierli come vuoi. Va bene. |
| Questo discorso ha anche a che fare con la pubblicazione, abbiamo appena detto. |
| Ultimamente, qual è lo stesso nome, e puoi vincere ciò che dovresti avere accesso a questa presentazione, puoi semplicemente fare clic qui e avrai accesso all'intero documento. Quindi ecco solo un riassunto di ciò che abbiamo pubblicato lì. |
| Ok, qual è il contesto per questo. Bene, prima di tutto, l'apprendimento automatico ha una sorta di appello plug and play alle sessioni di conoscenza. |
| So che non devi dare per scontato nulla di attraente. Inoltre, al giorno d'oggi hai un software molto facile da usare. Quindi, sai, alla gente piace farlo in questi giorni. |
| Tuttavia, sai, gli effetti casuali sono ovunque ed eseguire questi effetti è una cosa divertente perché è un concetto un po' più complesso. Quindi tende a non esserlo |
| Toccare i corsi di statistica di base mostra argomenti più avanzati. Quindi avrai molte persone che fanno l'apprendimento automatico senza molta comprensione dell'effetto casuale. |
| E anche se hanno quella comprensione, allora il concetto di fatto casuale |
| Ancora non, sai, porta il forte incontro con le persone che fanno l'apprendimento automatico perché ci sono solo pochi algoritmi che possono farlo che possono usare effetti casuali. |
| Puoi controllare questi riferimenti qui dove vedi che ci sono alcuni alberi e foreste casuali, e può prenderlo, ma il recente e non sono, sai, diffusi |
| Ovunque. Quindi avrai difficoltà a trovare qualcosa che possa gestire effetti casuali nell'apprendimento automatico. |
| Basta parlare un po' degli effetti casuali. Come puoi vedere qui, almeno nell'industria chimica da cui provengo. Di solito ci mescoliamo. Dico tre componenti. Giusto. Questi gialli, rossi e verdi. |
| Facciamo questo, sai, la percentuale di ognuno di questi componenti a diversi livelli. E poi abbiamo misurato le risposte mentre lo cambiamo, la percentuale di questi componenti con una certa attrezzatura e talvolta hai anche un operatore o un tecnico di laboratorio che lo farà |
| Interferisci anche nel risultato che vuoi vedere. Va bene. E poi quando facciamo questo tipo di esperimento, vogliamo generalizzare, è che i risultati, giusto, o qualunque previsione. Stiamo cercando di arrivare qui. |
| Ma il problema è che sai quando mescolo questi componenti verdi qui. Se compro la prossima volta dal fornitore che mi fornisce questo componente verde anno |
| E l'ombra fatta di verde, sai, molto e non so qual è la prossima volta che compro questo componente verde è il lotto. Il fornitore che mi sta dando sarebbe esattamente lo stesso verde perché c'è una variabilità nell'offerta |
| Inoltre sai che potrei fare la mia esperienza che stai usando una certa attrezzatura. Ma se vado a guardarmi intorno nel mio laboratorio o se guardo in giro in altri laboratori, potrei avere diverse marche di queste attrezzature. |
| E in cima. Hai anche, sai, forse il cibo da cui la misurazione dipende dall'operatore che lo sta facendo bene, quindi potresti anche interferire e in qualche modo impoverire il mio |
| Previsione qui sulla mia generalizzazione a |
| Fai quello che voglio prevedere qui oltre |
| Questo è il più tipico immagino nell'industria chimica, che è l'esperimento di variabilità del lotto sperimentale |
| Un over time se ripeti la stessa cosa più e più volte. |
| Diciamo che hai un esperimento qui ottieni il tuo modello il tuo modello può prevedere qualcosa, ma poi ripeti quell'esperimento per ottenere un altro Malden ottieni un altro modello le previsioni di questi tre modelli. |
| Potrebbe essere notevolmente diverso in questo momento. Nick leggibile. Quindi, c'è anche la componente del tempo. |
| Quindi qual è il problema di cui sto parlando qui. Bene, in genere abbiamo archiviato dati e dati storici diciamo solo, sai, una raccolta di bit e pezzi di dati che hai fatto in passato. |
| E le persone non erano molto preoccupate di generalizzare quel risultato. Il risultato al momento in cui hanno fatto quell'esperimento. Quindi, quando li raccogliamo e li chiamiamo dati storici, potremmo avere o meno tag per l'effetto casuale, giusto. |
| E poi se hai del testo, che è almeno da dove vengo io. Questa è più un'eccezione alla regola: non avere tasse per me fatti, cosa, almeno non per non tutti. |
| Diciamo che hai tag. Una cosa che puoi fare è utilizzare tecniche di apprendimento automatico in grado di gestire questi effetti casuali e portarli nel modello. E questo è tutto. Non hai problemi. |
| Ma poi, come ho detto, non sono molto insensibili le tecniche di apprendimento automatico che possono ostacolare gli effetti casuali. Potresti essere tentato di utilizzare l'apprendimento automatico. |
| E lascia che gli effetti casuali entrino nel modello come se fossero corretti e poi ti imbatterai in questi sai problema molto noto che dovresti trattare l'effetto casuale questo risolto |
| Giusto per dire una cosa, avrai difficoltà a prevedere qualsiasi novità in arrivo perché, ad esempio, se il tuo effetto casuale è europeo dopo hai solo pochi |
| Operatori nei tuoi dati, giusto, alcuni nomi, ma se c'è un nuovo operatore che fa giorni, non lo fai. Non puoi prevedere quale sarà l'effetto di questo nuovo operatore. Quindi, qui non c'è accordo |
| E poi c'è una cosa che puoi fare. Fate. Dovresti avere o non dovresti avere entrate fiscali ci sacrifichiamo ancora una volta qualsiasi tecnica di machine learning. |
| E se hai casuale, dovresti avere i tag che ignori l'effetto casuale o se non lo fai. Ad ogni modo, lo ignorerai. Che ti piaccia o no. Quindi quello che voglio fare è meno simulare sparatutto. Usiamo la pesca con la corda per saltare. |
| E sai, spero che ti siano piaciuti i risultati. |
| La simulazione, insomma. Quindi userò un modello a effetti misti proprio con effetti fissi e casuali. E poi usiamo lo stesso modello per stimare |
| Con la risposta a questo per creare il modello dopo aver simulato e anche modellato, i risultati della mia simulazione qui con una rete neurale giusta |
| Quindi usiamo questo modello qui come prestazione predittiva di questo modello qui. |
| Come punto di riferimento e lo usiamo per prevedere le prestazioni del vicino al limite per, sai, confrontare in seguito stanno prendendo il loro set di test sono quadrati per vedere cosa succederà. Trovi che incontri l'effetto casuale qui, giusto. |
| Allora, va bene. A volte, quando parlo di queste persone, a volte penso che sto confrontando un modello lineare a effetti misti con, sai, una rete neurale di apprendimento automatico. E non è così, sai, qui stiamo confrontando un modello con e senza effetto casuale. |
| Anche se c'è un effetto casuale nei dati. Potrei fare. Ad esempio, A |
| Modello lineare con effetti lanciati contro un modello lineare senza portarli effetti. |
| E potrei fare una rete neurale con effetti casuali rispetto alle urine che senza effetti casuali. Ma il problema è che oggi non c'è meraviglia e che, ad esempio, può gestire l'effetto casuale. Quindi ho costretto a usare. Ad esempio, un effetto misto lineare di tutti |
| I miei fattori di simulazione. Bene, userò qualcosa che è tipicamente nel settore, che è una miscela con il modello variabile di processo di cosa si tratta. |
| Diciamo che ho quei tre componenti. Te l'ho mostrato prima. Conosci il giallo, il rosso, il verde, e loro hanno una certa percentuale e arrivano fino a uno. |
| Avere una variabile continua che, ad esempio, può essere la temperatura. Ho una variabile categorica che può essere di tipo capitalista e ho un effetto casuale che può essere molto brutto da un lotto all'altro di esperimenti. Va bene. |
| Il modello di simulazione. Bene, è piuttosto semplice, ho qui la mia miscela di effetti principali M uno M due e tre. Giusto. E vedrai in tutto questo modello che gli effetti fissi hanno tutti uno o meno uno. Ho appena assegnato loro uno meno uno a caso. |
| Quindi ho gli effetti principali della miscela. Qui ho la miscela in due modi di interazione, l'interazione della miscela sarebbe variabile continua. |
| E l'interazione della variabile categoriale con i componenti. E infine l'introduzione della variabile continua con la variabile categoriale. |
| Inoltre ho questi essere, perché qui scegliamo il mio effetto casuale e l'Ej, che è il mio errore casuale. Giusto. Ed entrambi sono normalmente distribuiti con una certa varianza qui. Ho detto, la varianza tra un migliore degli esperimenti, giusto, e utilizza la divergenza all'interno della corrispondenza del lotto di esperimenti. |
| Da tutta questa presentazione, solo per fare in modo che l'intera formula rappresenti una formazione nel modo più pulito dico o usa questa forma un eroe X in realtà rappresenta tutti gli effetti delle correzioni e beta |
| Rappresenta tutti i parametri che ho utilizzato. Giusto. E il mio perché qui. In realtà, l'atteso. Perché in realtà XP ha ragione, è tutta questa faccenda senza il mio effetto casuale qui e abbiamo affrontato il mio sindaco Renault. |
| Parametri di simulazione. Bene, qui ne ho uno che è la dimensione dei dati, giusto, quello che lei. Cosa succede se non ho così tanti dati e |
| Più livelli di dati e più dati proprio qui ho due livelli 110.000 ruoli in ogni serie di esperimenti qui hanno in realtà 20 righe effetto perfetto di 200. L'altra cosa che varierò sarà D decide del badge per il cluster, qualunque cosa ti piaccia. |
| A volte lo sarà. È, ho due livelli 4% e 25%, quindi 4% significa che se ho 100 tiri di questi un lotto di esperienza il mio lotto, lo faremo |
| Sarà in realtà per i ruoli. Quindi avrò 2525 lotti. Se ho 100 rotoli in totale nel mio lotto le dimensioni del 25% e ho solo quattro lotti. |
| Quindi l'altra variabile che cambiamo qui sarà la varianza totale. Giusto. |
| E bene, abbiamo due livelli qui, punto, cinque e 2,5 è la metà della dimensione dell'effetto giusto da scegliere. Quindi la formula qui. È tutto per l'effetto fisso. |
| E l'altro è scrivere e la somma di questa varianza totale è la somma della mia variazione tra lotti e all'interno di lotti molto una varianza. Giusto. E infine, l'altra cosa che cambierò è il rapporto tra due all'interno di molto |
| Segmenti simili. Giusto. Quindi ne ho uno e quattro. Quindi in un mio |
| Tra la variazione del lotto sarà uguale alla vincita e l'altra sarà quattro volte più grande della vincita |
| Poi, una volta sistemato è per |
| quattro fattori qui. Dico parametri e poi fai un fattoriale completo, indossiamo i nostri 16 giri fino a |
| A due livelli di dimensione dei dati due livelli di dimensione del batch due livelli di varianza totale Quello di Angelo era il deserto. |
| Con ciò, posso calcolarlo all'interno tra i segmenti di conseguenza. Giusto. E questa è la configurazione per la simulazione. Va bene. Ora, lo chiamo iperparametro di simulazione, perché puoi cambiare come noi |
| Cosa farei e te lo mostrerò nella demo. Sarebbe un rischio di simulazione 30 o corriamo. Quindi ognuno dei 16 che ho fatto è stato correre 30 volte ciascuno. Giusto. Così, per esempio, |
| Farò eseguire una simulazione 123 fino a sporco e per gli effetti fissi. Il, il livello di effetti di difficoltà. Uso il design della sensazione di spazio. |
| E il motivo per cui uso questo design che riempie lo spazio è che non voglio confondere l'effetto di mancare lì e poi l'effetto con il fatto che forse ho alcuni che chiamano la carità o dati sparsi. |
| Che è una cosa tipica nei dati storici. Giusto. Non lo voglio nel mezzo della mia strada. Voglio, preferisco progettare e progettare lo spazio che diffondiamo |
| Livelli degli effetti fissi nello spazio di input. Quindi, se elimino questo problema di scarso impatto sui dati o pulisco la stranezza nel modo giusto e poi assegniamo al batch, randomizziamo il batch incrociando le esecuzioni nel primo round, quindi usiamo lo stesso |
| Sequenza in tutte le altre 29 corse. Quindi tutte le prove, abbiamo lo stesso lotto di posizione. |
| In ritardo. E infine, tutta la posizione di Babbo Natale sarà randomizzata per ciascuna delle corse di simulazione. Quindi fammi uscire dall'aria e iniziare a saltare. |
| Quindi lui lo farebbe, io facevo un design speciale per lo spilling. Caricherò il mio fattore qui solo perché voglio essere veloce qui. Comunque, qui ho i miei 12345 effetti fissi. |
| I design spaziali non accettano una combinazione di variabili. Quindi è necessario impostare |
| vincoli lineari qui solo per dire guarda questi tre ragazzi qui e devi sommarli a uno. Quindi è quello che farò qui. |
| Bene. |
| Quindi, con ciò, un vincolo soddisfatto fornirà un esempio della prima esecuzione di questo d che è dove ho la dimensione dei dati 100 dimensione batch relativa 4% |
| variazione totale varianza totale punto cinque e il rapporto sarà uno. Quindi, se torno qui e ho bisogno di inserire, devo generare 100 corse. Inoltre, se voglio replicare questa teoria e devi impostare correttamente il seme casuale e il numero di avviamenti |
| Quindi l'unica opzione che ho quando ho detto vincolo è il design di riempimento flessibile più veloce. Ed eccoci qui, prendo la tabella qui giusta in modo che tu possa includere questa tabella. |
| Una cosa che vedi è se usi un ternario bloccato e usi i tuoi tre componenti. Vedi che tutto è sparso. Ops. |
| Ho un problema qui che lei |
| Non l'ho fatto |
| Fammi tornare indietro. C'è un problema con i vincoli, sì. Ho dimenticato quello qui. Sì. |
| Va bene, ricominciamo tutto da capo. Centinaio |
| Impostato |
| Sede casuale 21234 |
| E il numero inizia. Grande. |
| La sensazione del prossimo libro prepara il tavolo. Sì. E poi devo solo controllare se è tutto sparso. |
| E scoprilo. SÌ. Va bene, quindi guardo la mia variabile categorica qui. Voglio vedere se si è diffuso per tutti loro. Come puoi vedere questo per uno e due. Grande. Ora ho detto fammi chiudere tutto ciò che facciamo 30 simulazioni. Quindi questa è una SIMULAZIONE GIUSTA. HO 100 ruoli. |
| Ma ora devo farne 30. Quindi quello che farò è aggiungere ruoli qui. |
| 2900 |
| Alla fine |
| E selezioniamo solo queste prime 1000 esecuzioni, scusate, 100 esecuzioni di tutte le variabili, un anno. |
| E senti fino alla fine del tavolo. Grande. Quindi ora ripeto lo stesso disegno 30 volte giusto |
| Ora, |
| Per renderlo più veloce basterebbe aprirlo. Sto usando di nuovo questo tavolo però. Basta usare un altro tavolo dove ho tutto ciò che volevo mostrare già impostato. |
| Quindi sì, sono tornato a questo tavolo proprio quello che ho. La prossima cosa che farei è solo creare una colonna di simulazione qui solo per dire guarda |
| Con questa formula qui. Posso dire che simulazioni fino a 100 righe cento questa simulazione una e poi ogni cento cambi i numeri della simulazione. Quindi alla fine della giornata ottengo ovviamente 30 simulazioni con 100 tiri. Ogni grande |
| Quindi l'ubicazione del lotto, solo per spiegare cosa hanno fatto. L'ho appena mostrato in PowerPoint. Ho una fattoria. Ora creerai due batch del 4% della dimensione della dimensione totale dei dati, il che significa che ho quattro righe per batch qui invece di quattro e così via. E una volta il |
| Arrivo a 100 qui e sto saltando dalla simulazione. Vuoi simulare per poi ricominciare tutto da capo. Giusto. Così ho alla fine della giornata. |
| Tutti i 25 lotti qui. Va bene. |
| Quindi la prossima cosa che farò è creare la mia convalida |
| Colonna, il che significa che devo dividere il set in questo modo |
| Torniamo a questa dimostrazione. Tornando al PowerPoint qui, vedete che per la soluzione che creerò ma il neurone che avevo |
| I ruoli sono divisi: il 60% apparterrà al training set, il 20% al validation set e gli altri 22 al test set. Quindi, come posso farlo in quel caso di nuovo a John |
| Ci siamo. Lasciami nascondere questo |
| Ok, quindi ecco per convalidare la convalida arrivata. Come lo faccio. C'è già, ma non spiegare come fai che vai in Analizza |
| Crea una colonna di convalida che usi la tua colonna di simulazione ha una certificazione, vai e poi lo fai |
| Punto 6.5 2.2 e un utente un seme casuale qui solo per assicurarti di vedere che è così che creo quella colonna giusta |
| Poi se torno alla mia presentazione qui. |
| Tutto il 60% che appartiene alla formazione prevista per il nuovo anno e quel 10-20% quello |
| Appartiene al set di validazione anche per il near net. Ora entrambi appartengono a un set chiamato modeling set per gli effetti mix. Quindi l'effetto mix. |
| Modello, non ci sarà alcuna convalida. C'erano solo stime del modello con questo 80% e il set di test della soluzione ad effetto misto che sarà lo stesso 20% che utilizzo per il nuovo anno su quella soluzione. Quindi in quel caso, torno a saltare e |
| Vai qui questo |
| Ed è semplicemente fantastico sentire la formula in cui sai che zero significa che la convalida della rete neurale a zero significa allenarsi, quindi allenarsi, allenarsi ancora. |
| Uno è l'impostazione di convalida sarà la mia modellazione tale e due è il mio set di test, e sarà anche il mio set di test qui. Quindi ho creato questi e poi te |
| nome della colonna per tutte le tue etichette zero sarà la modellazione e una sarà la scrivania in questo modo vedi qui che qualunque cosa nascosta qui dice qui, ma quello che stai sforzando una convalida diventa modellazione proprio allora finalmente ho bisogno di impostare le formule per la mia risposta. |
| Quindi, per il valore atteso della mia simulazione. Ho solo qui per correggere la formula degli effetti, non c'è un termine casuale qui. Va bene. E questo è il mio valore atteso che mia moglie e mia moglie ij saranno |
| Questo e guardi la formula hai la y che è il mio valore atteso più qui ho una formula per generare |
| Un casuale |
| Valore che segue una distribuzione normale con media zero e tra sigma sigma |
| Tra sigma. È come impostare le variabili qui e come variabile di tabella perché posso modificare il valore più tardi come una settimana senza andare alla formula. Ma comunque, questo genererà un singolo valore ogni volta che cambi il numero di batch. Quindi, se il mio lotto è |
| Qui sarà lo stesso valore quando lo cambio in 22 crea un altro valore. |
| E tu quando passo da una simulazione all'altra. Quindi avrò un valore per 25 per batch 25 la nostra simulazione uno e poi quando sono passato al batch uno della simulazione per creare un altro valore. |
| Giusto. Ed ecco solo il mio normale numero casuale con cose sigma che ho messo sul tavolo qui, giusto. Quindi vedi alcuni che replicano l'affare che gestiamo uno che ho sigma 05 e 05 |
| Va bene, quindi ora ho qui la soluzione per la simulazione del mio modello di effetti mix subito prima, lasciami tornare qui e mostrarti cosa sto facendo. |
| Ad esempio, per il modello di effetto mix. La mia modalità di simulazione è questa, ma i miei piedi quel modello sarà il problema potrebbe essere l'analisi essere il cappello. |
| E il mio piccolo essere qui verrà hackerato, giusto. Quindi, è nostra spiaggia soddisfare i valori per qualunque cosa io abbia simulato |
| E poi nel modello effetto mix. Devo meno un modello di previsione. Uno sta adattando il modello condizionale quando lo uso |
| La mia stima degli effetti casuali e l'altra è la mia marginale quando non lo faccio. Giusto. Quindi ho questi due tipi di modello. |
| Questo è utile per prevedere cose che ho già nei dati. E questo è qualcosa che ho usato per prevedere che i dati in giro non hanno un intero set di dati, giusto. |
| Per il nuovo anno e che sto usando, sai, il tipo predefinito standard di vicino e alla fine e salta, che sai che non sto usando solo perché è difficile perché funziona praticamente. |
| Hai qui tutti e cinque gli effetti fissi. Uso uno strato con tre nodi tutte funzioni tangenti iperboliche come puoi vedere qui |
| E poi qui hai una funzione chiamata hx che è la somma delle funzioni distrettuali, più un termine bias qui, giusto. |
| Quindi, se aggiungo più nodes. Non migliorerebbe le cose. Trovi che usi solo due nodi, quindi peggiora ancora. Quindi lo userò dappertutto. Ed è quello che ti mostrerò qui. |
| Il mio spettacolo. Ops. Va bene. |
| Spettacolo. |
| Torno da te. COSÌ |
| Qui ho il mio |
| Soluzione del modello ad effetto misto. Come mi è venuto in mente. Solo per mostrartelo. Ho qui la risposta che ho inserito convalida convalida degli effetti del mix mediante simulazione. |
| Tutti i miei effetti fissi all'anno e il mio effetto casuale è il mio batch giusto e quindi una genetica questa prima simulazione. Vedi la simulazione uno e va fino in fondo alla simulazione della Turchia |
| Non potrei usare, ad esempio, quella funzione di simulazione del salto qui perché sto cambiando la colonna di convalida per ogni batch, quindi non posso, almeno non so come farlo, come incorporare la colonna di convalida in la formula di |
| io bianco G. |
| E. Va bene. Quindi, oops, di nuovo qui, poi ora ho un altro copione qui e ci sei dentro che ci vorrà un po' |
| Non dovrebbe essere un grosso problema. |
| Quando sto facendo per esempio. |
| Le corse, le corse. Abbiamo 1000 righe per simulazione che possono seguire corsi da tutto il tempo qualcosa come forse da 10 a 15 minuti |
| Per fare le simulazioni uditive allo stesso tempo qui dovrebbe vomitarne un po' |
| E |
| Ci siamo. |
| Ok, quindi eccomi qui, di nuovo, se guardi ognuno di loro ha cinque tre note giuste ok e hai una simulazione fino alla simulazione 30 |
| Giusto. Quindi ora ho tutto quello che ho fatto per correre uno del mio anno, giusto, quindi la prossima cosa che devo capire è che tipo di nostri quadrati. Ho intenzione di confrontare proprio ci sono in realtà |
| cinque tipi dei nostri quadrati qui, giusto, quindi ecco la formula r al quadrato. Perché, perché distinguo i quadrati per tipo qui perché dipende da cosa usi questo effettivo rispetto a quello previsto in questa formula. |
| Conosci il tuo cambio quadrato. Quindi, per esempio, ho qui. Oh, questi sono tipo di r al quadrato o confronta |
| Ad esempio, La Rosa che gira il set da allenamento. Quello che ho simulato rispetto al modulo che ho ottenuto per la rete neurale qui perché quando ci sei dentro. E sai, in realtà è così |
| Il caso, ad esempio, in tutti questi tre è la stessa cosa perché sto confrontando mia moglie ei cappelli di mia moglie sono uguali. Quindi ho il tipo otto giusto |
| Quindi ho un altro tipo di chiamata che digita essere dove confronto. Io no, non sto confrontando il valore simulato con il |
| Effetto casuale nel termine di errore casuale Sto confrontando il valore atteso della mia simulazione rispetto alla forma in cui vanno |
| Quindi queste regole mi fanno mandare al set di test sono sempre le stesse perché solo il modo in cui calcoli la r al quadrato cambierà perché in questo modo qui. |
| Quando ho quello che chiamo il set di test condizionale. Vedo la performance futura del genitore perché è esattamente quello che otteniamo quando hai un set di dati, perché non possiamo dire il vero |
| Non abbiamo il modello reale che devi simulare e quindi hai il set di test previsto, che in realtà è la stessa rosa, ma ora sto confrontando il |
| Valore atteso. E posso dire come per la mancanza di una parola migliore, una vera performance futura. Quindi l'apparente performance non è necessariamente la reale performance futura. OK. |
| Per il modello effetto mix è lo stesso. Ora ho un altro tipo di r al quadrato, perché qui sto confrontando il valore simulato con il mio |
| Previsione condizionale dei terreni agricoli qui e utilizzo della stima da avere per gli effetti casuali, ma quando voglio prevedere il futuro. Quindi, beh, nessuno per infrangere il test imposta entrambe le condizioni qui, ho un altro quadrato qui d che sta confrontando l'intero valore di simulazione per I |
| Perché ij rispetto al mio modello marginale qui. Non sto usando essere qui giusto e Leslie per avere un quinto tipo del nostro quadrato che è il mio previsto che ha inviato |
| Ancora una volta, il set di test è sempre gli stessi ruoli è solo che sto usando qui. Ora, il valore atteso rispetto al mio margine. Molto. Quindi il problema è |
| Se non stai attento lì. Puoi calcolare il ragazzo sbagliato r al quadrato. |
| Quindi quello che faccio è, ogni volta che sono qui. E se dovessi mixare la modalità effetto. Non utilizzo nulla di ciò che è in questo rapporto, tutto ciò che faccio è salvare le colonne qui ho salvato il mio |
| Fattoria di previsione a destra del modello marginale qui hai salvato la formula di previsione del modello condizionale a destra e creerò colonne con questo senza forma che è per il modello di effetto mix. Ora per il |
| Vicino a quello o puoi anche salvare le formule. Mi piace dire formule fest, perché voglio solo calcolare i nostri quadrati. Quindi sono stato salvato come formule veloci e poi quello che vedi mentre creo queste cinque colonne qui. |
| Va bene, quindi lasciami andare da loro. |
| Quindi ora il mio tipo A, se ricordi Taipei dalla presentazione qui digita sto confrontando il perché simulato ij contro il mio vicino in quel modello. Quindi cosa faccio qui. Scusa, quello che faccio qui è |
| Vado a chiamarli le info e si vede qui. Prevedere cosa e prevedere dy AJ |
| Ok, eccolo. Ora ho qui salva De Niro e che dal doppio come valore è uguale a questo valore. |
| Ma ora cambierei semplicemente prevedendo cosa qui. Questa è la previsione del valore atteso. Bene, in questo modo posso usare questa formula che funziona salta qui che è il confronto del modello posso andare a usare questo tipo A e compro una simulazione e sono cresciuto per convalida |
| E poi cosa ottieni. Sono tutti i quadrati Dr di cui hai bisogno |
| Da vedere |
| Dalla simulazione uno |
| Tutto fino alla simulazione 30 e ce l'hai per set in modo da poter in seguito combinare la tabella dei dati e ottenere tutto in ordine, giusto, perché quelli sono quadrati. Quindi per gli altri ho anche uno script qui, ad esempio per essere |
| Era la formula della pace. Ora a destra questa colonna, e ho predetto solo che imposta la r al quadrato per il set di test, non per la modellazione, non per il set di convalida. Quindi la simulazione. Uno è un anno. |
| E poi se vai fino in fondo qui hai la simulazione 30. E ancora, puoi sempre combinare la tabella dei dati e i tuoi dati risultano come lo stesso formato di tabella per tutti questi sono quadrati. |
| E Daniel, ovviamente posso avere un'altra sceneggiatura qui per il tipo co fire squares, scegliamo il set di modellazione del modello a effetti misti giusto e quello di simulazione fino al set moderno per la simulazione 30 e sai che fai lo stesso. |
| Vedi ora sul set di test, ma ora prevedo perché ij, giusto. Quindi, diciamo, il segreto qui è che a volte ne hai uno anche nel lago. Anche qui ho la stessa formula perché è il mio modello marginale di |
| Mix soluzione modello effetto. L'unica cosa che è cambiata è nella tua rubrica io per te. Assicurati di prevedere cosa e poi puoi usarlo per calcolare tutti questi sono quadrati. |
| Va bene. |
| Fammi tornare alla presentazione e ora da quando ho messo insieme tutti quei quadrati, impili i tuoi tavoli e poi puoi fare la visualizzazione, vuoi |
| Ma qui sono davvero interessato al set di test condizionale di entrambe le soluzioni e all'atteso detto qui, sai, posso passare 45 minuti solo a parlare di questa visualizzazione della tabella qui. |
| Ma tutto ciò che non mi interessa veramente sono i valori assoluti di r al quadrato, ma più comparativamente una specie di modo di confrontare il nostro quadrato |
| Ma ho bisogno di giorni solo per controllare una cosa che è, come puoi vedere qui quando la dimensione dei dati qui come puoi vedere |
| Usano il puntatore qui. Renderlo più facile. Ho tutti i quadrati. Ho creato qui contro tutti i tuoi fattori. Giusto. |
| Quindi vedi che quando ho un piccolo set di dati, quello che succede è che sono il mio vicino e questo viene addestrato correttamente a causa della mia formazione. |
| E i miei set di convalida hanno una distribuzione quadrata che si sovrappone. Ma poi quando guardi il set di test condizionale, che in realtà è il dato che abbiamo sempre giusto perché non abbiamo mai il valore atteso. |
| È sempre al livello inferiore, come vedete tutti per tutti questi quando ho questo piccolo set di dati, ma poi quando ho un set di dati più grande. |
| La situazione è diversa con 1000 ruoli, quindi sono tutti allineati, sai, una specie di sovrapposizione. Quindi li ho addestrati correttamente. Ancora una volta, il valore assoluto della nostra piazza qui è non avere molto interesse quello che gli interessa veramente è come, sai, se torni a |
| Una delle diapositive precedenti qui, vedi che ora voglio confrontare. Vedi, devo, voglio che confronti le prestazioni predittive del mio modello di effetti misti di riferimento rispetto alla mia rete neurale rispetto al test di quel quadrato scuro, giusto. Quindi, ecco cosa ottieni. |
| Fammi prendere questo stampo. Quindi quello che ottieni qui sono di nuovo tutti i verbi. Ho dovuto fare noi, e se loro |
| La malattia e la tua soluzione netta o non hanno mescolato la soluzione degli effetti. Quindi, lo vedi per il set di test condizionale, che è l'unica parte delle prestazioni. Quindi, se ci sei dentro, sai sempre quando le dimensioni dei dati sono piccole. |
| L'effetto mix maltese fa sempre un lavoro migliore qui quando includi il the |
| L'effetto casuale giusto rispetto a quello che sei e questo perché c'è sempre questo |
| La loro mediana o addirittura la media sono tutte più alte, ma poi quando hai un set di dati più grande, allora |
| Sai che la differenza non esiste più fino a un certo punto, anche quella nuova che fa solo un lavoro migliore qui, ma questa è la performance attuale. |
| Ora quello vero. Ora vedi che al modello dell'effetto mix è stato assegnato un lavoro migliore rispetto a un atto contro Internet |
| E qui non c'è più, sai, nemmeno il terreno, sai, perché alla fine della giornata, modello ad effetto diretto. Sta facendo un lavoro migliore, specialmente in questo scenario qui che è big data big data. |
| Ultimi set o variabilità e altro tra den con invitato in questo momento trova quelle linee che ho qui lo faranno questo lo farà per ogni esecuzione di simulazione farà la differenza tra l'effetto mix. |
| R quadrata contro il nuovo anno e che sono quadrati. Quindi, eccoci qui. |
| Qui ho quattro grafici, quindi concentriamoci su quello che hai sull'asse y è il quadrato del condizionatore d'aria. Quindi mescolare meno la differenza nel quadrato del balsamo, scusa, il |
| L'effetto mix r al quadrato meno allora sei in quel quadrato. Quindi, questo è ciò che ottieni qui, e questa è la differenza in uno schema per le prestazioni future. |
| E qui nell'asse x, quello che hai è questa differenza nell'R quadrato previsto scegliamo la tua vera performance futura, giusta o bias. Se vuoi |
| Ora ho quattro blocchi. Perché, perché se ci pensi quando hai dati storici in cui non hai la tecnologia, sai, |
| Sai, se stai analizzando i dati, hai solo il controllo su due cose, ovvero la dimensione dei dati e la dimensione relativa del batch. |
| Perché, perché non puoi controllare quale sarà la variabilità nei tuoi dati. E se i tuoi effetti casuali saranno molto più grandi della tua aria casuale. Quindi le uniche due cose che puoi fare |
| Avere il controllo sulla dimensione dei dati e sulla dimensione relativa del batch. Se non hai il tag puoi almeno farti un'idea se, insomma, usi i tuoi dati storici. |
| Dovrebbe essere composto da molte, molte camere da letto, solo uno o due lotti. Giusto. Quindi questo è il tipo di controllo che hai |
| Puoi almeno avere un'idea della dimensione del batch quando avrai dati statistici. |
| Quindi quello che sto confrontando qui, poi di nuovo, ho la differenza nel problema delle prestazioni apparenti solo differenze positive, significa che il modello a effetti misti ha prestazioni migliori. |
| Se anche questa differenza qui è positiva. Significa che l'effetto mix è una migliore performance futura, giusto. |
| E come puoi vedere qui quando hai un piccolo set di dati. Non importa quello che fai. |
| E il modello di effetto mix ha prestazioni migliori e talvolta molto migliori perché verrà, parlando di differenze in R al quadrato, che possono andare ben oltre quelle. |
| Giusto, quindi sta ottenendo prestazioni molto migliori che tu inserisca in uno o in quello futuro. Quindi, quando le dimensioni dei dati sono piccole, non c'è davvero niente |
| No, nessuna soluzione qui. Tuttavia, quando guardi la dimensione dei dati, i lati dei dati più grandi sono corretti ma quando hai questa piccola quantità di batch. Giusto. |
| Qui succede qualcosa di divertente perché qui sai che la differenza che finanzia abbastanza l'asse Y delle prestazioni future è negativa, la maggior parte di loro. |
| Il che significa che il vicino e quello per fare un lavoro migliore in termini di brevetto al test set Piazza Tahrir giusto o condizionato |
| Tocca quel quadrato scuro. Quindi, quando lo fai. Chi sembrerà la nuova urina. Sarebbe un ottimo lavoro meglio di |
| Il modello dell'effetto mix. Tuttavia, quando guardi il lotto dell'asse x, giusto, che è la differenza nelle prestazioni future reali, può essere piuttosto fuorviante. |
| Bene, quindi qui quando hai molti dati, ma solo pochi batch, sai, otterrai un bel test, i set di test sono quadrati. Ma poi quando provi a distribuire il tuo stampo in futuro. |
| Potresti metterti nei guai. Ma poi quando guardi qui. Qui abbiamo una situazione di mitigazione in cui hai molti dati e molti batch. Quindi tendono a non essere molto diversi. Giusto, quindi |
| In conclusione, dovresti utilizzare un machine learning con effetti casuali non trascurabili quando il set di dati è piccolo, sai, le prestazioni predittive del set di test molto probabilmente saranno scarse. |
| Indipendentemente da quanti cluster di batch hai. E questo perché l'apprendimento automatico richiede la dimensione minima dei dati per il successo. Giusto. Quindi non c'è |
| Non c'è modo di vincere la partita qui. Ora, quando la dimensione dei dati è grande e hai solo pochi cluster. E questa è una specie di situazione fuorviante perché il tuo set di test prevede che le prestazioni possono essere buone, ma le prestazioni, probabilmente saremmo Brewer in seguito quando distribuirai il modello. |
| Alcune persone mi dicono, beh, perché non usi la regolarizzazione ha detto cosa anche se lo farai, non lo farai in queste situazioni perché |
| Il tuo set di test R al quadrato sarà può essere buono ma poi non sai di averne bisogno giusto quindi non sarai in grado di dirlo |
| Sai, qual è la tua performance futura a lungo termine, semplicemente guardando i tuoi test al quadrato oscuro o qualche tipo di errore. |
| Ma poi, quando il tuo set di dati è grande, hai molti cluster al giorno e l'intera situazione è mitigata e l'effetto di polarizzazione del tipo più vicino di media è eliminato perché ogni effetto casuale, sai, la somma di tutti loro. |
| È zero. Quindi più hai le ultime novità che puoi ottenere |
| In cima, sai, volevo solo dire che uno che ha imparato quello che ho imparato è che quando i dati non sono progettati apposta, ci sono due cose che ricordo sempre |
| Machine land non può affrontare i dati solo perché è grande. Devi avere un livello minimo di progettazione giusto per farlo funzionare. |
| Ma più grandi sono i dati, più è probabile che il livello minimo di progettazione sia già presente nei dati solo per puro caso. Va bene. E grazie, se vuoi contattarci. Siamo nella comunità del salto. Questi sono i nostri indirizzi. Grazie. |
