Conférencier | Transcription |
| Fabio d'Ottaviano | D'accord, merci à tous d'avoir regardé cette vidéo ici. Eh bien, parce que vous pouvez le voir, je vais parler des effets aléatoires manquants dans l'apprentissage automatique. |
| C'est une idée de travail avec mon collègue quand Joe Young, nous travaillons tous les deux pour Dow Chemical Company en coréen D et vous aidons à développer de nouveaux procédés et principalement de nouveaux produits. |
| Ce que vous voyez ici sur cet écran est une grande cage de bingo, parce que notre conversation ici va être sur la simulation et la simulation a beaucoup à voir, du moins pour moi. |
| Avec l'étui de bingo parce que vous avez décidé de la distribution de vos boules et de vos numéros à l'intérieur de la grande occasion, vous continuez à les choisir comme vous le souhaitez. D'accord. |
| Cette conversation a aussi à voir avec la publication, nous venons de le dire. |
| Dernièrement, quel est le même nom, et vous pouvez gagner ce que vous devriez avoir accès à cette présentation, vous pouvez simplement cliquer ici et vous aurez accès à l'intégralité du document. Voici donc juste un résumé de ce que nous y avons publié. |
| D'accord, quel est le contexte pour cela. Eh bien, tout d'abord, l'apprentissage automatique a une sorte d'attrait plug-and-play pour connaître les sessions. |
| Je sais que vous n'avez pas à assumer quoi que ce soit qui est attrayant. De plus, vous avez un logiciel très convivial ces jours-ci. Donc, vous savez, les gens aiment faire ça de nos jours. |
| Cependant, vous savez, les effets aléatoires sont partout et exécuter ces effets est une chose amusante car c'est un concept un peu plus complexe. Il a donc tendance à ne pas être |
| Toucher les cours de statistiques de base montre un sujet plus avancé. Vous allez donc amener beaucoup de gens à faire de l'apprentissage automatique sans trop comprendre l'effet aléatoire. |
| Et même s'ils ont cette compréhension, alors le concept de fait aléatoire |
| Vous savez, cela n'entraîne toujours pas le combat bruyant avec les personnes qui font de l'apprentissage automatique, car il n'y a que quelques algorithmes qui peuvent le faire et qui peuvent utiliser des effets aléatoires. |
| Vous pouvez vérifier ces références ici où vous voyez qu'il y a des arbres et une forêt aléatoire, et cela peut le prendre, mais les récents et ils ne sont pas, vous savez, répandus |
| Partout. Vous allez donc avoir du mal à trouver quelque chose qui puisse gérer les effets aléatoires dans l'apprentissage automatique. |
| Parlons un peu des effets aléatoires. Comme vous pouvez le voir ici, du moins dans l'industrie chimique d'où je viens. Nous nous mélangeons généralement. Je dis trois composants. Droite. Ces jaune, rouge et vert. |
| Nous, nous faisons cela, vous savez, le pourcentage de chacun de ces composants à différents niveaux. Et puis nous avons mesuré les réponses au fur et à mesure que nous le modifions, le pourcentage de ces composants avec un certain équipement et parfois vous avez même un opérateur ou un technicien de laboratoire qui va |
| Interférez également dans le résultat que vous voulez voir. D'accord. Et puis quand on fait ce genre d'expérience, on a envie de généraliser, c'est que les constatations, juste, ou n'importe quelle prédiction. Nous essayons d'arriver ici. |
| Mais le problème est que vous savez quand je mélange ces composants verts ici. Si j'achète la prochaine fois auprès du fournisseur qui me fournit cette année de composants verts |
| Et la teinte verte faite, vous savez, très et je ne sais pas quelle est la prochaine fois que j'achète ce composant vert, c'est le lot. Est-ce que le fournisseur me donne exactement le même vert parce qu'il y a une variabilité dans l'approvisionnement |
| En plus, vous savez que je peux faire de mon expérience que vous utilisez un certain équipement. Mais si je vais faire un tour dans mon laboratoire ou si je regarde dans d'autres laboratoires, je peux avoir différentes marques de ces équipements. |
| Et en plus. Vous avez aussi, vous savez, peut-être que la nourriture dont la mesure dépend de l'opérateur qui le fait bien, vous pouvez donc également interférer et en quelque sorte appauvrir mon |
| Prédiction ici sur ma généralisation à |
| Fais tout ce que je veux prédire ici en plus |
| C'est le plus typique, je suppose, dans l'industrie chimique, qui est l'expérience de la variabilité expérimentale des lots |
| A au fil du temps si vous répétez la même chose encore et encore. |
| Disons que vous avez une expérience ici, vous obtenez votre modèle, votre modèle peut prédire quelque chose, mais ensuite vous répétez cette expérience pour obtenir un autre Malden obtenir un autre modèle les prédictions de ces trois modèles. |
| Peut être considérablement différent en ce moment. Nick lisible. Donc, il y a aussi la composante du temps. |
| Alors, quel est le problème dont je parle ici. Eh bien, généralement, nous avons des données stockées et des données historiques, disons simplement, vous savez, une collection de morceaux de données que vous avez faites dans le passé. |
| Et les gens ne se souciaient guère de généraliser ce résultat. Le résultat au moment où ils ont eu cette expérience. Ainsi, lorsque nous les collectons et appelons cela des données historiques, nous pouvons ou non avoir des balises pour l'effet aléatoire, n'est-ce pas. |
| Et puis si vous avez du texte, qui est au moins d'où je viens. Il s'agit plutôt d'une exception à la règle, c'est de ne pas avoir d'impôt pour moi les faits, quoi, du moins pas pour tous. |
| Disons que vous avez des balises. Une chose que vous pouvez faire est d'utiliser des techniques d'apprentissage automatique qui peuvent gérer ces effets aléatoires et les amener dans le modèle. Et c'est tout. Vous n'avez pas de problème. |
| Mais alors, comme je l'ai dit, ce n'est pas très bien engourdi les techniques d'apprentissage automatique qui peuvent entraver les effets aléatoires. Vous pourriez être tenté d'utiliser l'apprentissage automatique. |
| Et laissez les effets aléatoires dans le modèle comme s'ils étaient corrigés, puis vous allez rencontrer ces problèmes que vous connaissez très bien et que vous devriez traiter l'effet aléatoire ce problème |
| Juste pour dire une chose vous allez avoir du mal à prédire tout nouveau tout à venir car, par exemple, si votre effet aléatoire est européen plus tard vous n'avez que quelques |
| Les opérateurs dans vos données, d'accord, quelques noms, mais s'il y a un nouvel opérateur qui fait des jours, vous ne le faites pas. Vous ne pouvez pas prédire quel sera l'effet de ce nouvel opérateur. Donc, ici, il n'y a pas d'accord |
| Et puis il y a une chose que vous pouvez faire. Tu fais. Vous devriez avoir ou vous ne devriez pas avoir de recettes fiscales, nous sacrifions à nouveau toute technique d'apprentissage automatique. |
| Et si vous avez aléatoire, vous devriez avoir les balises dont vous ignorez l'effet aléatoire ou si vous ne l'avez pas. Quoi qu'il en soit, vous allez l'ignorer. Que cela vous plaise ou non. Donc, ce que je veux faire, c'est moins simuler un tireur. Nous utilisons la pêche à la corde à sauter. |
| Et vous savez, j'espère que vous avez apprécié les résultats. |
| La simulation, en gros. Je vais donc utiliser un modèle à effet mixte avec effet fixe et aléatoire. Et puis nous utilisons ce même modèle pour estimer |
| Avec la réponse à cela pour faire le modèle après avoir simulé et aussi modélisé, les résultats de ma simulation ici avec un droit de réseau neuronal |
| Ensuite, nous utilisons ce modèle ici comme performance prédictive de ce modèle ici. |
| En tant que référence et nous l'utilisons pour prédire les performances du proche sur le bord pour, vous savez, comparer plus tard, ils prennent leur ensemble de test sont des carrés pour voir ce qui va se passer. Vous trouvez rencontre l'effet aléatoire ici, à droite. |
| Alors ok. Parfois, quand je parle de ces gens, je pense parfois que je compare un modèle linéaire à effets mixtes à, vous savez, un réseau neuronal d'apprentissage automatique. Et ce n'est pas le cas, vous savez, ici on compare un modèle avec et sans effet aléatoire. |
| Même qu'il y a un effet aléatoire dans les données. Je pourrais faire. Par exemple, un |
| Modèle linéaire avec des effets d'exécution par rapport à un modèle linéaire sans leur apporter d'effets. |
| Et je pourrais faire un réseau de neurones avec des effets aléatoires par rapport à l'urine sans effet aléatoire. Mais le problème c'est qu'aujourd'hui il n'y a pas d'étonnant et que, par exemple, ça peut gérer des effets aléatoires. J'ai donc forcé à utiliser. Par exemple, un effet mixte linéaire de tous |
| Mes facteurs de simulation. Eh bien, je vais utiliser quelque chose qui est généralement dans l'industrie, qui est un mélange avec le modèle de variable de processus, ce qu'il est. |
| Disons que j'ai ces trois composants. Je t'ai montré avant. Connaissez le jaune, le rouge, le vert, et ils ont un certain pourcentage et ils atteignent un. |
| Avoir une variable continue qui, par exemple, peut être la température. J'ai une variable catégorielle qui peut être de type capitaliste et j'ai un effet aléatoire qui peut être très moche d'un lot à l'autre d'expériences. D'accord. |
| Le modèle de simulation. Eh bien, c'est assez simple, j'ai ici mon mélange d'effets principaux M un M deux et trois. Droite. Et vous verrez partout dans ce modèle que les effets fixes ont tous un ou moins un. Je leur ai juste attribué un moins un au hasard. |
| J'ai donc le mélange principal des effets. Ici, j'ai l'interaction du mélange à deux voies, l'interaction du mélange serait une variable continue. |
| Et l'interaction de la variable catégorielle avec les composants. Et enfin, l'introduction de la variable continue avec la variable catégorielle. |
| De plus, je les ai, Pourquoi ici nous choisissons mon effet aléatoire et le Ej, qui est mon erreur aléatoire. Droite. Et les deux sont normalement distribués avec une certaine variance ici. J'ai dit, la variance entre une meilleure des expériences, à droite, et utilise la divergence dans le match du lot d'expériences. |
| De partout dans cette présentation, juste pour que toute cette formule représente une formation plus je dis de manière soignée ou utilise cette forme un héros X représente en fait tous les effets correctifs et bêta |
| Représente tous les paramètres que j'ai utilisés. Droite. Et mon pourquoi ici. En fait, l'attendu. Pourquoi est-ce que XP a raison, c'est tout cela sans mon effet aléatoire ici et nous avons traité mon maire Renault. |
| Paramètres de simulation. Eh bien, ici, j'en ai un qui est la taille des données, à droite, celui qu'elle. Que se passe-t-il si je n'ai pas beaucoup de données et |
| Plus de couches de données et plus de données ici, j'ai deux niveaux 110 000 rôles à chaque ensemble d'expériences ici ont en fait 20 lignes d'effet parfait que 200. L'autre chose que je varierai sera que D décide du badge pour le cluster, comme vous le souhaitez. |
| Parfois va être. C'est, j'ai deux niveaux 4% et 25% donc 4% signifie que si j'ai 100 rouleaux de ces un lot d'expérience mon lot, nous allons |
| Sera en fait pour les rôles. Je vais donc avoir 2525 lots. Si j'ai 100 rouleaux au total dans mes tailles de lot 25% et que je n'ai que quatre lots. |
| Ensuite, l'autre variable que nous modifions ici sera la variance totale. Droite. |
| Et bien, nous avons deux niveaux ici, point, cinq et 2,5 est la moitié de la taille de l'effet à choisir. Donc la formule ici. C'est tous des uns pour l'effet fixe. |
| Et l'autre est d'écrire et la somme de cette variance totale est la somme de ma variation entre les lots et au sein des lots très une variance. Droite. Et enfin, l'autre chose que je vais changer est le rapport entre deux dans très |
| Segments similaires. Droite. J'ai donc un et quatre. Donc dans un de mes |
| Entre la variation de lot va être égale à gagner et l'autre va être quatre fois plus grande que gagner |
| Ensuite, une fois que je me suis installé, c'est pour |
| quatre facteurs ici. Je dis paramètres et ensuite vous faites une factorielle complète, portons-nous nos 16 passages à droite pour |
| À deux niveaux de taille de données, deux niveaux de taille de lot, deux niveaux de variance totale, Angelo était le désert. |
| Avec cela, je peux le calculer entre les segments en conséquence. Droite. Et c'est la configuration pour la simulation. D'accord. Maintenant, je l'appelle l'hyper paramètre de simulation, parce que vous pouvez changer au fur et à mesure que nous |
| Ce que je ferais, et je vous le montrerai dans la démo. Ce serait 30 risques de simulation ou courons-nous. Donc chacun des 16 que j'ai fait, c'est que j'ai couru 30 fois chacun. Droite. Ainsi, par exemple, |
| Je vais faire lancer une simulation 123 jusqu'au dirty et pour les effets fixes. La, le niveau d'effets de difficulté. J'utilise la conception de sentiment d'espace. |
| Et la raison pour laquelle j'utilise cette conception de remplissage d'espace est que je ne veux pas confondre l'effet de manquer là et ensuite l'effet avec le fait que j'en ai peut-être certains qui appellent la charité ou des données rares. |
| Ce qui est typique des données historiques. Droite. Je ne veux pas ça au milieu de mon chemin. Je veux, je préfère concevoir et sentir le design d'espace que nous répandons le |
| Niveaux des effets fixes dans l'espace d'entrée. Donc, si je me débarrasse de ce problème d'accès clairsemé aux données ou de nettoyage de l'étrangeté, puis que nous vous allouons au lot, nous randomisons le lot entre les exécutions au premier tour, puis utilisons le même |
| Séquence sur les 29 autres passages. Donc toutes les pistes, on a le même lot de localisation. |
| En retard. Et enfin, tous les emplacements du Père Noël seront randomisés pour chacune des simulations. Alors laissez-moi sortir de l'air et commencer à sauter. |
| Donc, il ferait, c'est que j'avais l'habitude de faire notre conception de déversement à des fins spéciales. Je vais charger mon facteur ici juste parce que je veux être rapide ici. Bref, j'ai ici mes 12345 effets fixes. |
| Les conceptions de sentiment d'espace n'acceptent pas un mélange de variables. Vous devez donc définir |
| contraintes linéaires ici juste pour dire regardez ces trois gars ici et devez ajouter jusqu'à un. C'est donc ce que je vais faire ici. |
| Bien. |
| Donc, avec cela, une contrainte satisfaite donnera un exemple de la première exécution de ce d où j'ai une taille de données 100 taille de lot relative 4% |
| variation totale variance totale point cinq et le rapport va être un. Donc, si je reviens ici et que j'ai besoin de mettre, je dois générer 100 exécutions. De plus, si je veux reproduire cette théorie et que vous devez définir correctement la graine aléatoire et le nombre de démarrages |
| Ensuite, la seule option que j'ai quand j'ai dit contrainte est la conception de remplissage flexible plus rapide et plus rapide. Et c'est parti, je reçois le tableau ici pour que vous puissiez inclure ce tableau. |
| Une chose que vous voyez est si vous utilisez un ternaire bloqué et que vous utilisez vos trois composants. Vous voyez que tout est étalé. Oops. |
| J'ai un problème ici qu'elle |
| N'a pas |
| Laissez-moi revenir en arrière. Il y a un problème avec les contraintes, oui. J'ai oublié celui là. Ouais. |
| Bon, recommençons à zéro. Cent |
| Ensemble |
| Place aléatoire 21234 |
| Et le numéro commence. Super. |
| Prochain livre sentiment faire table. Ouais. Et puis j'ai juste besoin de vérifier si tout est étalé. |
| Et découvrir. Oui. Très bien, alors je regarde ma variable catégorielle ici. Je veux voir si cela s'est propagé à tous. Comme vous pouvez le voir pour un et deux. Super. Maintenant, j'ai dit laissez-moi fermer tout ce que nous faisons 30 simulations. Il s'agit donc d'un DROIT DE SIMULATION. J'AI 100 rôles. |
| Mais maintenant je dois en faire 30. Donc, ce que je vais faire, c'est ajouter des rôles ici. |
| 2900 |
| À la fin |
| Et nous venons de sélectionner ces 1000 premières exécutions désolé 100 exécutions toutes les variables, par an. |
| Et sentir jusqu'au bout de la table. Super. Alors maintenant, je répète le même design 30 fois à droite |
| Maintenant, |
| Pour le rendre plus rapide, il suffit d'ouvrir. J'utilise à nouveau cette table. Utilisez simplement une autre table où j'ai tout ce que je voulais montrer déjà mis en place. |
| Alors oui, j'ai de retour à cette table exactement ce que j'ai. La prochaine chose que je ferais serait de créer une colonne de simulation ici juste pour dire regardez |
| Avec cette formule ici. Je peux dire que les simulations jusqu'à 100 lignes cent cette simulation une, puis toutes les cent vous changez les numéros de simulation. Donc à la fin de la journée j'obtiens évidemment 30 simulations avec 100 roulades. Chaque grand |
| Ensuite, l'emplacement du lot, juste pour expliquer ce qu'ils ont fait. Je viens de montrer cela dans le PowerPoint. J'ai une ferme. Maintenant, vous allez créer deux lots de 4 % de la taille de la taille totale des données, ce qui signifie que j'ai quatre lignes par lot ici plutôt que quatre, etc. Et une fois le |
| J'arrive à 100 ici et je saute de la simulation. Envie de simulation pour ensuite tout recommencer. Droite. J'ai donc à la fin de la journée. |
| Tous les 25 lots ici. D'accord. |
| Ensuite, la prochaine chose que je ferai est de créer ma validation |
| Colonne, ce qui signifie que je dois diviser l'ensemble correctement pour |
| Revenons à cette démonstration. Revenons au PowerPoint ici, vous voyez que pour la solution que je vais créer mais le neurone que j'avais |
| On répartit les rôles 60% d'entre eux appartiendront à l'ensemble formation 20% à l'ensemble validation et les 22 autres à l'ensemble test. Alors, comment puis-je faire cela dans ce cas, de nouveau à John |
| Nous y voilà. Laisse moi cacher ça |
| Bon, alors voilà pour valider la validation venue. Comment je fais ça. C'est déjà là, mais n'explique pas comment tu fais que tu vas analyser |
| Faites une colonne de validation vous utilisez votre colonne de simulation a une certification, vous allez et puis vous faites juste |
| Point 6.5 2.2 et un utilisateur une graine aléatoire ici juste pour s'assurer que vous voyez que c'est comme ça que je crée cette colonne |
| Alors si je reviens à ma présentation ici. |
| Tous les 60% qui appartiennent à l'entraînement prévu pour la nouvelle année et que 10 à 20% qui |
| Appartient à l'ensemble de validation également pour le réseau proche. Maintenant, ils appartiennent tous les deux à un ensemble appelé ensemble de modélisation pour les effets de mixage. Donc l'effet mix. |
| Modèle, il n'y aura pas de validation. Il y avait juste une estimation du modèle avec ce 80% et l'ensemble de test de la solution à effet mixte qui sera le même 20% que j'utilise pour la nouvelle année sur cette solution. Alors dans ce cas, je retourne sauter et |
| Allez ici ça |
| Et c'est tout simplement génial d'entendre une formule où vous savez que zéro signifie que la validation du réseau neuronal à zéro signifie s'entraîner, donc s'entraîner, continuez à vous entraîner. |
| L'un est le paramètre de validation qui va être ma modélisation et le deuxième est mon jeu de test, et ce sera aussi mon jeu de test ici. Alors j'ai créé ceux-ci et puis vous |
| nom de colonne pour toutes vos étiquettes zéro va être la modélisation et l'autre va être le bureau de sorte que vous voyez ici que tout ce qui est caché ici, il dit ici, mais ce que vous forcez une validation devient une modélisation juste alors finalement je dois définir les formules de ma réponse. |
| Donc pour la valeur attendue de ma simulation. J'ai juste ici pour corriger la formule des effets, il n'y a pas de terme aléatoire ici. D'accord. Et c'est ma valeur attendue ma femme et ma femme ij va être |
| Ceci et vous regardez la formule que vous avez le y qui est ma valeur attendue plus ici j'ai une formule pour générer |
| Un hasard |
| Valeur suivant une distribution normale de moyenne nulle et entre sigma sigma |
| Entre sigma. C'est un peu comme définir les variables ici et en tant que variable de table car je peux modifier la valeur plus tard dans la semaine sans passer par la formule. Mais quoi qu'il en soit, cela va générer une valeur unique à chaque fois que vous modifiez le numéro de lot. Donc, si mon lot est |
| Ici, ce sera la même valeur lorsque je la changerai en 22, cela créera une autre valeur. |
| Et toi quand je passe d'une simulation à l'autre. J'aurai donc une valeur pour 25 par lot 25 notre simulation, puis lorsque je passerai au lot 1 de simulation, cela créera une autre valeur. |
| Droite. Et voici juste mon nombre aléatoire normal avec des choses sigma que j'ai mis sur la table ici, à droite. Alors voyez quelques répliques de l'accord que nous exécutons, j'ai sigma 05 et 05 |
| Bon, alors maintenant j'ai ici une solution pour ma simulation de modèle d'effets de mixage juste avant cela, laissez-moi revenir ici et vous montrer ce que je fais. |
| Par exemple, pour le modèle d'effet mix. Mon mode de simulation est le suivant, mais mes pieds, ce modèle sera le problème, peut-être que l'analyse sera le chapeau. |
| Et mon petit être ici va être piraté, d'accord. Donc, c'est à notre plage de respecter les valeurs de tout ce que j'ai simulé |
| Et puis dans le modèle d'effet mix. Je dois moins un modèle de prédiction. L'un correspond au modèle conditionnel lorsque j'utilise |
| Mon estimation des effets aléatoires et l'autre est ma marge quand je ne le fais pas. Droite. J'ai donc ces deux types de modèle. |
| C'est bien de prédire des choses que j'ai déjà dans les données. Et c'est quelque chose que j'ai utilisé pour prédire que les données n'ont pas un ensemble de données complet, n'est-ce pas. |
| Pour la nouvelle année et que j'utilise, vous savez, le type par défaut standard de près et à la fin et saut, que vous savez que je n'utilise pas seulement parce que c'est difficile parce qu'il fonctionne à peu près. |
| Vous avez ici les cinq effets fixes. J'utilise une couche avec trois nœuds toutes les fonctions tangentes hyperboliques comme vous pouvez le voir ici |
| Et puis vous avez ici une fonction appelée hx qui est la somme des fonctions de district, plus un terme de biais ici, à droite. |
| Donc, si j'ajoute plus de nœuds. Cela ne l'améliorerait pas. Vous trouvez que vous n'utilisez que deux nœuds, puis cela devient encore pire. Je vais donc l'utiliser partout. Et c'est ce que je vais vous montrer ici. |
| Mon spectacle. Oops. D'accord. |
| Montrer. |
| Je reviens vers vous. Donc |
| Ici j'ai mon |
| Solution de modèle à effet mixte. Comment ai-je trouvé cela. Juste pour vous montrer. J'ai ici la réponse que j'ai mis validation validation du mix des effets par simulation. |
| Tous mes effets fixes d'un an et mon effet aléatoire c'est mon lot à droite et puis une génétique cette première simulation. Vous voyez la simulation un et ça va jusqu'au bout de la simulation en Turquie |
| Je ne pourrais pas utiliser, par exemple, cette fonction de simulation de saut ici parce que je change la colonne de validation pour chaque lot, donc je ne peux pas, du moins je ne sais pas comment le faire, comment incorporer la colonne de validation dans la formule de |
| Je blanc G. |
| Et. D'accord. Donc, oups, de retour ici, alors maintenant j'ai un autre script ici pour ça et vous êtes dedans que ça va prendre un peu |
| Ça ne devrait pas être un gros problème. |
| Quand je fais par exemple. |
| Les pistes que vous exécutez. Nous avons 1000 lignes par simulation qui peuvent suivre des cours de tout le temps, quelque chose comme peut-être 10 à 15 minutes |
| Faire les simulations auditives en même temps ici devrait engendrer des |
| Et |
| Nous y voilà. |
| Ok, donc ici j'ai, encore une fois, mon si vous regardez chacun d'eux a cinq trois notes d'accord et vous avez la simulation un jusqu'à la simulation 30 |
| Droite. Alors maintenant, j'ai tout fait pour la course une de mon année, d'accord, alors la prochaine chose que je dois comprendre, c'est quel type de nos carrés. je vais comparer il y en a en fait |
| cinq types de nos carrés ici, à droite, alors voici la formule r au carré. Pourquoi, pourquoi dois-je différencier di carrés par type ici parce que cela dépend de ce que vous utilisez ce réel par rapport à ce que prédit dans cette formule. |
| Vous savez que votre carré change. Ainsi, par exemple, j'ai ici. Oh, ce sont des types de r au carré ou comparez |
| Par exemple, The Rosa tournant l'ensemble d'entraînement. Ce que j'ai simulé par rapport au formulaire que j'ai obtenu pour le réseau neuronal ici parce que lorsque vous y êtes. Et vous savez, c'est en fait |
| Le cas, par exemple, dans tous ces trois sont la même chose parce que je compare ma femme et mes chapeaux de femme sont les mêmes. Donc j'ai le type huit à droite |
| Ensuite, j'ai un autre type d'appel de type où je compare. Je ne, je ne compare pas la valeur simulée avec la |
| Effet aléatoire dans le terme d'erreur aléatoire Je compare la valeur attendue de ma simulation à la forme qu'ils prennent |
| Donc, cela me fait envoyer les règles de l'ensemble de test sont toujours les mêmes que la façon dont vous calculez le r au carré va changer parce que de cette façon ici. |
| Quand j'ai ce que j'appelle l'ensemble de test conditionnel. Je vois les performances futures des parents parce que c'est exactement ce que nous obtenons lorsque vous avez un ensemble de données, car nous ne pouvons pas dire le vrai |
| Nous n'avons pas le vrai modèle pour lequel vous devez simuler, puis vous avez l'ensemble de test attendu, qui est en fait la même rose, mais maintenant je compare le |
| Valeur attendue. Et je peux dire, faute d'un meilleur mot, une vraie performance future. Ainsi, la performance apparente n'est pas nécessairement la performance future réelle. D'ACCORD. |
| Pour le mix effect model c'est pareil. Maintenant, j'ai un autre type de r au carré, car ici je compare la valeur simulée par rapport à mon |
| Prédiction conditionnelle des terres agricoles ici et en utilisant l'estimation à avoir pour les effets aléatoires, mais quand je veux prédire l'avenir. Donc, eh bien, personne pour casser le test ne définit les deux conditions ici, j'ai un autre carré ici d qui compare la valeur de simulation entière pour I |
| Pourquoi ij par rapport à mon modèle marginal ici. Je n'utilise pas be here right et Leslie pour avoir un cinquième type de notre carré qui est mon attendu qui a envoyé |
| Encore une fois, l'ensemble de test est toujours les mêmes rôles, c'est juste que j'utilise ici. Maintenant, la valeur attendue par rapport à ma marge. Beaucoup. Donc le problème est |
| Si vous n'y faites pas attention. Vous pouvez calculer le mauvais gars r au carré. |
| Donc, ce que je fais, c'est, chaque fois que j'ai ici. Et si je devais mixer en mode effet. Je n'utilise rien de ce qui se trouve dans ce rapport, tout ce que je fais est d'enregistrer les colonnes ici, j'ai enregistré mon |
| Ferme de prédiction droite du modèle marginal ici, vous avez enregistré la formule de prédiction du modèle conditionnel droit et je vais créer des colonnes avec ce sans forme qui est pour le modèle d'effet de mélange. Maintenant pour le |
| Près de cela ou vous pouvez également enregistrer les formules. J'aime dire des formules fest, parce que je veux juste calculer nos carrés. J'ai donc été enregistré sous forme de formules rapides, puis ce que vous voyez lorsque je crée ces cinq colonnes ici. |
| D'accord, laissez-moi aller vers eux. |
| Alors maintenant, mon type A, si vous vous souvenez de Taipei à partir de la présentation ici, le type compare le pourquoi ij simulé par rapport à mon proche dans ce modèle. Alors ce que je fais ici. Désolé, ce que je fais ici est |
| Je vais les appeler l'info et vous voyez ici. Prédire quoi et prédire par AJ |
| D'accord, le voici. Maintenant, j'ai ici sauve De Niro et que du double comme il le fait la valeur est égale à cette valeur. |
| Mais maintenant, je changerais juste de prédire quoi ici. Il s'agit de prédire la valeur attendue. Bon, de cette façon je peux utiliser cette formule fonctionne saut ici qui est la comparaison de modèles je peux aller utiliser ce type A et j'achète une simulation et j'ai grandi par validation |
| Et puis ce que vous obtenez. C'est tous les carrés Dr dont vous avez besoin |
| A voir de |
| De la simulation un |
| Tout jusqu'à la simulation 30 et vous l'avez par ensemble afin que vous puissiez ensuite combiner le tableau de données et vous obtenez tout propre, d'accord, car ce sont des carrés. Donc pour les autres j'ai aussi un script ici par exemple pour être |
| Il était la formule de la paix. Maintenant, à droite de cette colonne, et j'ai seulement prédit que définir le r au carré pour l'ensemble de test, pas pour la modélisation, pas pour l'ensemble de validation. Alors la simulation. L'un est d'un an. |
| Et puis si vous descendez jusqu'ici, vous avez la simulation 30. Et encore une fois, vous pouvez toujours combiner un tableau de données et vos données sortent comme le même format de tableau car tous ces éléments sont des carrés. |
| Et Daniel, évidemment, je peux avoir un autre script ici pour les carrés de feu de type co, nous choisissons l'ensemble de modélisation du modèle à effet mixte à droite et la simulation jusqu'à l'ensemble moderne jusqu'à la simulation 30 et vous savez que vous faites la même chose. |
| Voir maintenant sur l'ensemble de test, mais maintenant je prédis pourquoi ij, n'est-ce pas. Donc, le, le, disons, le secret ici est que vous en avez un même parfois dans le lac. Là encore j'ai la même formule car c'est mon modèle marginal du |
| Solution de modèle d'effet de mélange. La seule chose qui a changé, c'est dans votre rubrique moi pour vous. Assurez-vous d'avoir prédit quoi, puis vous pouvez l'utiliser pour calculer tous ces carrés. |
| D'accord. |
| Permettez-moi de revenir à la présentation et maintenant que j'ai réuni tous ces carrés, vous empilez vos tables et ensuite vous pouvez faire la visualisation, vous voulez |
| Mais ici, je m'intéresse vraiment à l'ensemble de tests conditionnels des deux solutions et à l'attendu qui dit ici, vous savez, je peux passer 45 minutes à parler de cet affichage de table ici. |
| Mais tout ce que je suis, je ne suis pas vraiment intéressé par les valeurs absolues du r au carré, mais plus comparativement, une sorte de façon de comparer notre carré |
| Mais j'ai besoin de jours juste pour vérifier une chose qui est, comme vous pouvez le voir ici quand la taille des données ici comme vous pouvez le voir |
| Ils utilisent le pointeur ici. Rendre plus facile. J'ai tous les carrés. J'ai créé ici contre tous les facteurs que vous faites. Droite. |
| Donc, vous voyez que lorsque j'ai un petit ensemble de données, ce qui se passe, c'est que je suis mon proche et qu'il est formé correctement à cause de ma formation. |
| Et mes ensembles de validation ont en quelque sorte notre distribution carrée qui se chevauchent. Mais ensuite, lorsque vous regardez l'ensemble de tests conditionnels, qui sont en fait les données que nous avons toujours, car nous n'avons jamais la valeur attendue. |
| C'est toujours au niveau inférieur comme vous le voyez pour tout cela quand j'ai ce petit ensemble de données, mais ensuite quand j'ai un plus grand ensemble de données. |
| La situation est différente avec 1000 rôles, puis ils sont tous alignés, vous savez, une sorte de chevauchement. Donc je les ai entraînés correctement. Encore une fois, la valeur absolue de notre place ici n'a pas beaucoup d'intérêt, ce qui les intéresse vraiment, c'est comment, vous savez, si vous revenez à |
| Une des diapositives précédentes ici, vous voyez que maintenant je veux comparer. Vous voyez, je dois, je veux que vous compariez les performances prédictives de mon modèle à effets mixtes de référence par rapport à mon réseau de neurones par rapport à tester ce carré noir, d'accord. Alors, voici ce que vous obtenez. |
| Laissez-moi prendre ce moule. Donc, ce que vous obtenez ici, c'est encore tous les verbes. J'avais pour nous faire, et s'ils |
| La maladie et votre solution nette ou n'ont pas mélangé la solution des effets. Donc, vous voyez cela pour l'ensemble de test conditionnel, qui est la seule partie de la performance. Donc, si vous y êtes, vous savez toujours quand la taille des données est petite. |
| L'effet de mélange maltais fait toujours un meilleur travail ici lorsque vous incluez le |
| L'effet aléatoire par rapport à ce que vous êtes et c'est parce qu'il y a toujours ce |
| Leur médiane ou même leur moyenne sont toutes plus élevées, mais lorsque vous disposez d'un ensemble de données plus important, alors |
| Vous savez que cette différence n'existe plus jusqu'à un certain point, que même le nouveau fait un meilleur travail ici, mais c'est la performance actuelle. |
| Maintenant le vrai. Vous voyez maintenant que le modèle d'effet de mixage a été donné un meilleur travail qu'un acte contre Internet |
| Et ici, il n'y a plus, vous savez, même de motifs, vous savez, parce qu'au bout du compte, modèle à effet direct. Il fait un meilleur travail, en particulier dans ce scénario ici qui est celui des données volumineuses. |
| Derniers ensembles ou variabilité et plus entre tanière avec invité en ce moment trouver ces lignes que j'ai ici va faire cela va faire pour chaque simulation va faire la différence entre l'effet de mixage. |
| R carré par rapport à la nouvelle année et qui sont carrés. Alors, on y va. |
| Ici, j'ai quatre parcelles à droite, alors concentrons-nous simplement sur ce que vous avez sur l'axe y, c'est le carré du climatiseur. Ensuite, mélangez moins la différence dans le carré du conditionneur, désolé, le |
| L'effet mix r au carré moins alors vous êtes dans ce carré. Donc, c'est ce que vous obtenez ici, et c'est la différence entre un modèle et les performances futures. |
| Et ici, sur l'axe des x, ce que vous avez est cette différence dans le carré R attendu, nous choisissons votre performance future réelle, à droite ou biais. Si tu veux |
| Maintenant, j'ai quatre blocs. Pourquoi, parce que si vous pensez à cela lorsque vous avez des données historiques où vous n'avez pas la technologie, vous savez, |
| Vous savez, si vous analysez les données, vous contrôlez peut-être deux choses, à savoir la taille des données et la taille relative du lot. |
| Pourquoi, parce que vous ne pouvez pas contrôler la variabilité de vos données. Et si vos effets aléatoires vont être beaucoup plus importants que votre air aléatoire. Donc, les deux seules choses que vous pouvez éventuellement |
| Avoir un contrôle sur la taille des données et la taille relative du lot. Si vous n'avez pas la balise, vous pouvez au moins avoir une idée si, vous savez, utilisez vos données historiques. |
| Devrait être composé de très nombreuses chambres, juste un ou deux lots. Droite. C'est donc le genre de contrôle que vous avez |
| Vous pourrez au moins avoir une idée de la taille du lot lorsque vous disposerez de données statistiques. |
| Donc, ce que je compare ici encore une fois, j'ai la différence de problème de performance apparente juste des différences positives, cela signifie que le modèle à effets mixtes a une meilleure performance. |
| Si cette différence ici est également positive. Cela signifie que l'effet mix est une meilleure performance future, n'est-ce pas. |
| Et comme vous pouvez le voir ici lorsque vous avez un petit ensemble de données. Peu importe ce que vous faites. |
| Et le modèle d'effet de mixage a de meilleures performances et parfois bien mieux car viendra, en parlant de différences de R au carré, qui peuvent aller bien au-delà. |
| D'accord, donc il obtient de bien meilleures performances que vous intégrez à l'un ou au futur. Ainsi, lorsque les tailles de données sont petites, il n'y a vraiment pas |
| Non, pas de solution ici. Cependant, lorsque vous regardez la taille des données, les données sont plus grandes, mais lorsque vous avez cette petite quantité de lots. Droite. |
| Ici, c'est quelque chose de drôle qui se passe parce qu'ici, vous savez que la différence de financement des performances futures suffisantes L'axe Y est négatif, la plupart d'entre eux. |
| Ce qui signifie que le proche et que de faire un meilleur travail en termes de brevet à l'ensemble de test Tahrir Square droit ou conditionnel |
| Touchez ce carré sombre. Alors, quand vous le faites. Qui va ressembler à la nouvelle urine. Ce serait un excellent travail mieux que |
| Le modèle à effet mixte. Cependant, lorsque vous regardez le lot de l'axe des x, à droite, qui est la différence de performances futures réelles, cela peut être assez trompeur. |
| Bon, alors ici vous avez beaucoup de données, mais pour seulement quelques lots, vous savez, vous allez obtenir de bons tests, les ensembles de tests sont des carrés. Mais ensuite, lorsque vous essayez de déployer votre moule à l'avenir. |
| Vous pourriez avoir des ennuis. Mais alors quand vous regardez ici. Ici, nous avons une situation d'atténuation où vous avez beaucoup de données et beaucoup de lots. Ils ont donc tendance à ne pas être très différents. Bon, donc |
| En conclusion, vous devez utiliser un apprentissage automatique à effet aléatoire non négligeable lorsque l'ensemble de données est petit, vous savez, les performances prédictives de l'ensemble de test seront très probablement médiocres. |
| Peu importe, combien de grappes de lots, vous avez. Et c'est parce que l'apprentissage automatique nécessite la taille minimale des données pour réussir. Droite. Donc il n'y a pas |
| Pas moyen de gagner le match ici. Maintenant, lorsque la taille des données est importante et que vous n'avez que quelques clusters. Et c'est une sorte de situation trompeuse parce que votre jeu de test prédit que les performances peuvent être bonnes, mais les performances, nous serions probablement Brewer plus tard lorsque vous déployez le modèle. |
| Certaines personnes me disent, Eh bien, pourquoi n'utilisez-vous pas la régularisation a dit que même si vous le feriez, vous ne le feriez pas dans ces situations parce que |
| Votre jeu de test R au carré va être peut être bon mais et puis vous ne savez pas que vous en avez besoin, donc vous ne pourrez pas le dire |
| Vous savez, quelle est votre performance future à long terme, simplement en regardant vos tests au carré noir ou à certaines erreurs. |
| Mais ensuite, lorsque votre ensemble de données est volumineux, vous avez de nombreux clusters par jour et toute la situation est atténuée et l'effet de biais du type le plus proche est moyen parce que chaque effet aléatoire, vous savez, la somme de tous. |
| C'est zéro. Donc, plus vous avez la dernière en date, plus vous pouvez obtenir |
| En plus, vous savez, je voulais juste dire que celui qui a appris ce que j'ai appris de cela, c'est que lorsque les données ne sont pas conçues exprès, il y a deux choses dont je me souviens toujours |
| Machine Land ne peut pas s'attaquer aux données simplement parce qu'elles sont volumineuses. Vous devez avoir un niveau minimum de conception pour que cela fonctionne. |
| Mais plus les données sont volumineuses, plus il est probable qu'un niveau minimal de conception soit déjà présent dans les données par pur hasard. D'accord. Et merci, si vous voulez nous contacter. Nous sommes dans la communauté du saut. Ce sont nos adresses. Merci. |
