| Conférencier |
Transcription |
| |
Bonjour, je suis Chris Gotwalt. Mon collègue |
| |
présentateurs, Laura Lancaster et |
| |
Jeremy Ash et moi présentons |
| |
un nouveau JMP Pro utile |
| |
capacité appelée Extrapolation |
| |
Contrôle. Presque tous les modèles qui |
| |
vous voudriez un jour prédire |
| |
avec une gamme de |
| |
applicabilité, une région du |
| |
espace d'entrée, où le |
| |
les prédictions sont considérées comme |
| |
suffisamment fiable. En dehors de cela |
| |
région, nous commençons à extrapoler |
| |
le modèle aux points éloignés du |
| |
données utilisées pour ajuster le modèle. Utilisation |
| |
les prédictions de ce modèle |
| |
à ces points pourrait conduire à |
| |
complètement peu fiable |
| |
prédictions. Il y en a deux |
| |
sources primaires de |
| extrapolation |
statistique |
| |
extrapolation et domaine basé |
| |
extrapolation. Les deux types sont |
| |
couvert par la nouvelle fonctionnalité. |
| |
L'extrapolation statistique se produit |
| |
quand on essaie de |
| |
prédire en utilisant un modèle à un x |
| |
ce n'est pas proche des valeurs |
| |
utilisé pour entraîner ce modèle. |
| |
Extrapolation basée sur le domaine |
| |
se produit lorsque vous essayez d'évaluer |
| |
à un x qui est impossible en raison |
| |
à des fins scientifiques ou d'ingénierie |
| |
contraintes basées sur. L'exemple |
| |
illustre ici les deux types de |
| |
extrapolation dans un exemple. |
| |
Ici, nous voyons un profileur d'un |
| |
modèle d'une production métallurgique |
| |
processus. La prédiction se lit comme suit |
| |
out dit -2,96 sans |
| |
indication que nous évaluons |
| |
à une combinaison de température |
| |
et une pression impossible |
| |
dans un sens de domaine pour atteindre |
| |
cette machine. Nous avons aussi |
| |
l'extrapolation statistique telle qu'elle |
| |
est loin des données utilisées pour l'ajustement |
| |
le modèle tel qu'il est vu dans le nuage de points |
| |
tracé des données d'entraînement sur le |
| |
droite. Dans JMP Pro 16, Jeremy, |
| |
Laura et moi avons collaboré pour |
| |
ajouter une nouvelle capacité qui peut |
| |
donner un avertissement lorsque le profileur |
| |
pense que tu pourrais être |
| |
extrapolation. Ou si vous tournez |
| |
contrôle d'extrapolation activé, il |
| |
restreindra l'ensemble des points |
| |
que tu ne vois que ceux qui |
| |
il ne pense pas que ce soit le cas |
| |
extrapolation. Nous avons deux types |
| |
du contrôle d'extrapolation. L'un est |
| |
basé sur le concept de levier |
| |
et utilise un modèle des moindres carrés. |
| |
Ce premier type est seulement |
| |
disponible dans la version Pro de |
| |
Ajuster le modèle par les moindres carrés. |
| |
autre type que nous appelons général |
| |
extrapolation de l'apprentissage automatique |
| |
contrôle et est disponible dans le |
| |
Plateforme Profiler et plusieurs de |
| |
l'apprentissage automatique le plus courant |
| |
plateformes dans JMP Pro. |
| |
demande, nous pourrions même l'ajouter à |
| |
plus. Moindres carrés |
| |
le contrôle d'extrapolation utilise le |
| |
concept de levier, qui est |
| |
comme une version à l'échelle du |
| |
variance de prédiction. Il s'agit d'un modèle |
| |
basé et donc il utilise des informations |
| |
sur les principaux effets |
| |
interactions d'ordre supérieur |
| |
termes pour déterminer la |
| |
extrapolation. Pour le général |
| |
extrapolation de l'apprentissage automatique |
| |
cas de contrôle, nous avons dû trouver |
| |
avec notre propre approche. Nous |
| |
voulait une méthode qui serait |
| |
robuste aux valeurs manquantes, linéaire |
| |
dépendances, calcul plus rapide, |
| |
pourrait gérer des mélanges de |
| |
entrée continue et catégorique |
| |
variables, et nous aussi |
| |
voulait explicitement se séparer |
| |
le modèle d'extrapolation à partir de la |
| |
modèle utilisé pour ajuster les données. Donc |
| |
quand nous avons des généraux |
| |
contrôle d'extrapolation activé, |
| |
il n'y a qu'un seul supervisé |
| |
modèle qui est...qui correspond à la |
| |
variables d'entrée aux réponses |
| |
que nous voyons dans le profileur |
| |
traces. Le profileur vient |
| |
avec un rapide et sale |
| |
modèle non supervisé pour décrire |
| |
les axes de l'ensemble d'entraînement, et ceci |
| |
un modèle non supervisé est utilisé |
| |
dans les coulisses par le |
| |
profileur pour déterminer le |
| |
contrôle d'extrapolation |
| |
contrainte. Je dois donc |
| |
changer parce que PowerPoint et mon |
| |
les caméras ne s'entendent pas |
| |
en ce moment pour une raison quelconque. Nous |
| |
sachez que les extrapolations risquées |
| |
sont fabriqués chaque jour par |
| |
personnes travaillant dans la science des données |
| |
et sommes convaincus que l'utilisation |
| |
des extrapolations conduit à de mauvaises |
| |
prédictions et finalement à |
| |
de mauvais résultats commerciaux. |
| |
Lieux de contrôle d'extrapolation |
| |
garde-fous sur les prédictions du modèle |
| |
et conduira à des résultats quantifiables |
| |
de meilleures décisions grâce à JMP Pro |
| |
utilisateurs. Lorsque les utilisateurs voient une extrapolation |
| |
se produisant, l'utilisateur doit faire une |
| |
décision quant à savoir si la |
| |
la prédiction doit être utilisée ou non |
| |
utilisés en fonction de leur domaine |
| |
connaissances et familiarité avec |
| |
le problème en question. Si vous |
| |
commencer à voir l'extrapolation |
| |
les avertissements de contrôle se produisent assez |
| |
souvent, c'est probablement la fin de |
| |
le cycle de vie de ce modèle dans |
| |
il est temps de le réadapter aux nouvelles données |
| |
parce que la distribution de la |
| |
les intrants se sont éloignés de |
| |
celle des données d'entraînement. Nous |
| |
sont honnêtement assez surpris et |
| |
alarmé par le fait que la nécessité de |
| |
identifier l'extrapolation n'est pas |
| |
mieux apprécié par les données |
| |
communauté scientifique et ont fait |
| |
contrôler l'extrapolation comme |
| |
aussi simple et automatique que possible. |
| |
Laura, qui l'a développé dans JMP |
| |
Pro, fera la démonstration de |
| |
option suivante. Puis Jeremy, qui |
| |
fait beaucoup de recherches sur notre |
| |
équipe, entrera dans les mathématiques |
| |
détails et statistiques |
| |
motivation de la démarche. |
| |
Bonjour, je m'appelle Laura |
| |
Lancaster et moi sommes ici pour faire un |
| |
démonstration de l'extrapolation |
| |
contrôle qui a été ajouté à JMP |
| |
Pro 16. Je voulais commencer |
| |
avec un exemple assez simple |
| |
en utilisant au moins le modèle d'ajustement |
| |
plateforme carrée. Je vais |
| |
utiliser certaines données qui peuvent être |
| |
familier; ce sont les données de fitness |
| |
c'est dans les données d'échantillon et je suis |
| |
va utiliser l'absorption d'oxygène comme |
| |
ma réponse et Run Time, Run |
| |
Pulse et Max Pulse comme mon |
| |
prédicteurs. Et je voulais |
| |
réitérons que dans le modèle d'ajustement, |
| |
ajuster les moindres carrés |
| |
métrique d'extrapolation qui est |
| |
L'effet de levier est utilisé. Allons-y |
| |
en avant et commencer à JMP. |
| |
Alors maintenant, j'ai les données de fitness |
| |
ouvert dans JMP et j'ai un script |
| |
enregistré dans la table de données pour |
| |
lancer automatiquement mon fit |
| |
modèle des moindres carrés. Donc je suis |
| |
je vais aller de l'avant et exécuter ça |
| |
script, il lance le moins |
| |
plateforme carrée. Et j'ai le |
| |
Le profileur s'ouvre automatiquement. Et |
| |
nous pouvons voir que le profileur |
| |
on dirait que ça a toujours été le cas |
| |
passé, où les limites des facteurs |
| |
sont définis par la portée de chaque |
| |
facteur individuellement, ce qui nous donne |
| |
contraintes de limites rectangulaires. |
| |
Et quand je change le facteur |
| |
paramètres, en raison de ces limites |
| |
contraintes, cela peut être vraiment |
| |
difficile de dire si vous déménagez |
| |
bien en dehors de la corrélation |
| |
structure des données. |
| |
Et c'est pourquoi nous avons voulu ajouter |
| |
le contrôle d'extrapolation. Donc |
| |
ceci a été ajouté à plusieurs |
| |
des plateformes dans JMP Pro |
| |
16, y compris l'ajustement par les moindres carrés. |
| |
Et pour en arriver à l'extrapolation |
| |
contrôle, vous allez dans le menu sous |
| |
le menu du profileur. Donc, si je regarde |
| |
ici, je vois qu'il y a une nouvelle option |
| |
appelé Contrôle d'Extrapolation. |
| |
Il est désactivé par défaut, |
| |
mais je peux le tourner vers l'un ou l'autre |
| |
allumé ou avertissement pour allumer |
| |
contrôle d'extrapolation. Si je |
| |
allumez-le, remarquez que |
| |
cela restreint mon profil |
| |
traces pour aller uniquement aux valeurs |
| |
là où je n'extrapole pas. |
| |
Si je devais le transformer en avertissement |
| |
sur, je verrais le profil complet |
| |
traces, mais j'obtiendrais un |
| |
avertissement lorsque je vais dans une région |
| |
où il serait considéré |
| |
être une extrapolation. |
| |
Je peux également activer l'extrapolation |
| |
détails, que je trouve vraiment |
| |
utile, et cela me donne un |
| |
beaucoup plus d'informations. Tout d'abord |
| |
tout, ça me dit que mon |
| |
métrique que j'utilise pour |
| |
définir l'extrapolation est |
| |
effet de levier, ce qui est vrai dans le |
| |
s'adapter à la plateforme des moindres carrés. |
| |
Et le seuil qui est en train d'être franchi |
| |
utilisé par défaut initialement est |
| |
va être un effet de levier maximal, |
| |
mais c'est quelque chose que je peux |
| |
change et je te montrerai que |
| |
dans une minute. Je vois aussi |
| |
quelle est ma métrique d'extrapolation |
| |
est pour mes paramètres actuels. |
| |
C'est ce numéro ici, |
| |
qui changera à mesure que je changerai |
| |
mes paramètres de facteur. |
| |
Chaque fois que ce nombre est supérieur |
| |
que le seuil, je vais |
| |
je reçois cet avertissement que je pourrais être |
| |
extrapolation. Si elle descend en dessous, |
| |
Je ne l'aurai plus |
| |
avertissement. Ce seuil n'est pas |
| |
va changer à moins que je ne change |
| |
quelque chose à ajuster dans le menu |
| |
mon seuil. Alors, laissez-moi avancer |
| |
et je le fais tout de suite. Alors je vais |
| |
pour aller au menu |
| |
et je vais aller sur le plateau |
| |
critère de seuil. Donc |
| |
dans la méthode des moindres carrés, vous avez deux |
| |
options pour le seuil |
| |
au départ, il est réglé au maximum |
| |
effet de levier, qui va maintenir |
| |
vous dans l'enveloppe convexe de |
| |
les données, ou vous pouvez passer à un |
| |
multiplicateur multiplié par la moyenne |
| |
termes de levier ou de modèle sur |
| |
observations. Et je veux |
| |
passer à ce seuil. Donc c'est |
| |
définir sur 3 comme multiplicateur |
| |
par défaut. Donc, cela va |
| |
être 3 fois l'effet de levier moyen |
| |
et je clique sur OK, et je remarque que |
| |
mon seuil va changer. |
| |
En fait, il est devenu plus petit, donc ça |
| |
est plus conservateur |
| |
définition de l'extrapolation. |
| |
Et je vais le remettre à |
| |
pour restreindre mes traces de profil. |
| |
Et maintenant je ne peux qu'aller à |
| |
régions où je suis à 3 |
| |
fois l'effet de levier moyen. |
| |
Maintenant, nous avons aussi |
| |
optimisation mise en œuvre |
| |
qui obéit à la |
| |
extrapolation |
| |
contraintes. Donc maintenant, si je |
| |
activer l'ensemble de désirabilité |
| |
et je fais l'optimisation, |
| |
J'obtiendrai une valeur optimale qui |
| |
satisfait l'extrapolation |
| |
contrainte. Notez que ceci |
| |
la métrique est inférieure ou égale à |
| |
le seuil. Alors maintenant, quand j'irai |
| |
à ma diapositive suivante, qui va |
| |
comparer dans un graphique, un nuage de points |
| |
matrice, la différence |
| |
entre la valeur optimale avec |
| |
contrôle d'extrapolation activé |
| |
et avec elle éteinte. |
| |
Voici donc le nuage de points |
| |
matrice que j'ai créée avec JMP, |
| |
et il montre l'original |
| |
données de variables prédictives, ainsi que |
| |
comme valeurs de la variable prédictive |
| |
pour la solution optimale en utilisant |
| |
pas de contrôle d'extrapolation, dans |
| |
bleu, et la solution optimale utilisant |
| |
contrôle d'extrapolation en rouge. |
| |
Et remarquez comment le sans contrainte |
| |
solution ici en bleu, |
| |
ici même, viole la |
| |
structure de corrélation pour le |
| |
données originales pour l'impulsion d'exécution et |
| |
Impulsion maximale, augmentant ainsi la |
| |
l'incertitude de cette prédiction. |
| |
Alors que la solution optimale |
| |
qui a utilisé l'extrapolation |
| |
le contrôle est beaucoup plus en ligne |
| |
avec les données originales. |
| |
Voyons maintenant un exemple |
| |
en utilisant le plus généralisé |
| |
méthode de contrôle par extrapolation, |
| |
que nous appelons un |
| |
méthode du T carré régularisé. Comme |
| |
Chris l'a mentionné plus tôt, nous |
| |
développé cette méthode pour les modèles |
| |
autres que les modèles des moindres carrés. |
| |
Nous allons donc examiner un |
| |
modèle neuronal pour le diabète |
| |
données qui sont également dans l'échantillon |
| |
données. La réponse est une mesure |
| |
de la progression de la maladie et |
| |
les prédicteurs sont la base de référence |
| |
variables. Encore une fois, le |
| |
métrique d'extrapolation utilisée pour |
| |
cet exemple est le |
| |
carré en T régularisé qui |
| |
Jeremy décrira dans |
| |
plus de détails dans quelques minutes. |
| |
J'ai donc les données sur le diabète ouvertes dans |
| |
JMP et moi avons un script enregistré |
| |
de mon modèle neuronal correspond. Je suis |
| |
je vais aller de l'avant et exécuter ça |
| |
script. Il lance le neuronal |
| |
plate-forme, et remarquez que je suis |
| |
en utilisant la méthode de validation, aléatoire |
| |
retiens-toi. Je voulais juste noter |
| |
que chaque fois que vous utilisez un |
| |
méthode de validation, la |
| |
le contrôle par extrapolation est basé |
| |
uniquement sur les données d'entraînement |
| |
et pas votre validation |
| |
ou des données de test. |
| |
J'ai donc le profileur ouvert et |
| |
vous pouvez voir qu'il utilise le |
| |
traces complètes. Extrapolation |
| |
Le contrôle n'est pas activé. Allons |
| |
vas-y et allume-le. |
| |
Et je vais aussi |
| |
allumez les détails. |
| |
Vous pouvez voir que les traces ont |
| |
été restreint et la métrique |
| |
est le carré T régularisé. Le |
| |
le seuil est 3 fois supérieur à |
| |
écart type de l'échantillon |
| |
T au carré régularisé. Jeremy est |
| |
je vais parler davantage de ce que |
| |
tout ce que cela signifie exactement en quelques |
| |
minutes. Et je voulais juste |
| |
mentionner que lorsque nous utilisons |
| |
le T au carré régularisé |
| |
méthode, il n'y a qu'un seul choix |
| |
pour le seuil, mais vous pouvez |
| |
ajuster le multiplicateur. Donc, si vous |
| |
aller au contrôle d'extrapolation, définir |
| |
seuil, vous pouvez ajuster cela |
| |
multiplicateur, mais je vais |
| |
laissez-le à 3. Et maintenant je |
| |
je souhaite exécuter l'optimisation en utilisant |
| |
contrôle d'extrapolation. Donc je suis |
| |
je vais juste maximiser et |
| |
souviens-toi. Maintenant, j'ai un |
| |
solution optimale avec |
| |
contrôle d'extrapolation activé |
| |
sur. Et maintenant je veux regarder |
| |
dans notre matrice de nuage de points, juste |
| |
comme nous l'avons vu auparavant, avec |
| |
les données originales, ainsi que |
| |
avec les valeurs optimales avec |
| |
et sans extrapolation |
| |
contrôle. |
| |
Il s'agit donc d'une matrice de nuages de points |
| |
des données sur le diabète que j'ai |
| |
créé dans JMP. Il a le |
| |
valeurs prédictives originales, comme |
| |
ainsi que la solution optimale |
| |
en utilisant le contrôle d'extrapolation dans |
| |
rouge, et solution optimale sans |
| |
contrôle d'extrapolation en bleu. |
| |
Et vous pouvez voir que le rouge |
| |
les points semblent être beaucoup plus |
| |
au sein de la structure de corrélation |
| |
des données originales que les |
| |
bleu, et c'est particulièrement |
| |
c'est vrai quand on regarde ce LDL |
| |
par rapport au cholestérol total. |
| |
Alors maintenant, regardons un exemple |
| |
en utilisant le profileur qui se trouve sous |
| |
le menu graphique, que j'appellerai |
| |
le profileur de graphes. Il utilise également |
| |
la méthode du T au carré régularisé |
| |
et cela nous permet d'utiliser |
| |
contrôle d'extrapolation sur tout |
| |
type de modèle qui peut être |
| |
créé et enregistré en tant que JSL |
| |
formule. Cela nous permet également de |
| |
avoir un contrôle d'extrapolation sur |
| |
plus d'un modèle à la fois. |
| |
Alors regardons un exemple |
| |
pour une entreprise qui utilise de la poudre |
| |
technologie de la métallurgie |
| |
produire des arbres de transmission en acier pour |
| |
l'industrie automobile. |
| |
Ils veulent pouvoir trouver |
| |
paramètres optimaux pour leur |
| |
production qui minimisera |
| |
rétrécissement et aussi minimiser... |
| |
minimiser les échecs dus à de mauvaises |
| |
conditions de service. Nous avons donc |
| deux |
rétrécissement des réponses (qui est |
| |
continue et nous allons |
| |
ajuster un modèle des moindres carrés pour |
| |
que) et l'état de surface (qui |
| |
est réussi/échoué et nous allons |
| |
adapter un modèle logistique nominal pour |
| |
celui-là). Et notre prédicteur |
| |
les variables ne sont que quelques clés |
| |
variables de processus en production. |
| |
Et encore une fois l'extrapolation |
| |
la métrique est le carré T régularisé. |
| |
Alors j'ai la poudre |
| |
données de métallurgie ouvertes dans JMP |
| |
et j'en ai déjà au moins adapté |
| |
modèle de carrés pour mon rétrécissement |
| |
réponse, et j'ai déjà adapté un |
| |
modèle logistique nominal pour le |
| |
état de surface réussi/échoué |
| |
réponse, et j'ai enregistré le |
| |
formules de prédiction des données |
| |
table afin qu'ils soient prêts à |
| |
être utilisé dans le profileur de graphiques. |
| |
Donc si je vais dans le menu graphique |
| |
profileur, je peux charger le |
| |
formule de prédiction du rétrécissement |
| |
et ma formule de prédiction est pour |
| |
l'état de surface. |
| |
Cliquez sur OK. Et maintenant, j'ai |
| |
mes deux modèles ont été lancés dans |
| |
le profileur de graphes. |
| |
Et avant d'allumer |
| |
contrôle d'extrapolation, vous |
| |
je peux voir que j'ai le plein |
| |
traces de profil. Une fois que j'ai activé |
| |
contrôle d'extrapolation |
| |
vous pouvez voir que les traces |
| |
rétrécir un peu, et je vais aussi |
| |
pour activer les détails, |
| |
juste pour montrer qu'en effet je le suis |
| |
en utilisant le carré T régularisé |
| |
ici dans cette méthode. |
| |
Donc ce que je veux vraiment faire, c'est |
| |
je veux trouver l'optimum |
| |
conditions dans lesquelles je minimise |
| |
rétrécissement et je minimise |
| |
échecs avec extrapolation |
| |
contrôle et je veux m'assurer |
| |
Je n'extrapole pas. Je veux |
| |
trouver une solution utile. Et |
| |
avant de pouvoir faire l'optimisation, |
| |
En fait, j'ai besoin de régler mon |
| |
désirabilités. Je vais donc |
| |
définir les désirs. C'est déjà |
| |
correct pour le rétrécissement, mais je |
| |
il faut les configurer pour le service |
| |
condition. Je vais essayer de maximiser |
| |
passe et minimise les échecs. |
| |
K. |
| |
Et maintenant je devrais être capable de faire |
| |
l'optimisation avec |
| |
contrôles d'extrapolation activés. |
| |
Maximisez et souvenez-vous. |
| |
Et maintenant j'ai mon optimal |
| |
solution avec extrapolation |
| |
Contrôle activé. Voyons maintenant |
| |
encore une fois à la |
| |
matrice de nuage de points de la |
| |
données originales, ainsi que les |
| |
solution avec extrapolation |
| |
contrôle sur la solution, |
| |
avec le contrôle d'extrapolation |
| |
désactivé. |
| |
Il s'agit donc d'une matrice de nuages de points |
| |
des données de la métallurgie des poudres |
| |
que j'ai créé dans JMP. Et il |
| |
a également la solution optimale |
| |
avec contrôle d'extrapolation comme |
| |
point rouge et l'optimum |
| |
solution sans extrapolation |
| |
contrôle comme un point bleu. Et une fois |
| |
encore une fois, vous pouvez voir que lorsque nous |
| |
ne pas mettre en œuvre l'extrapolation |
| |
contrôle, la solution optimale |
| |
est assez loin en dehors de la |
| |
structure de corrélation de la |
| |
données. On peut notamment voir |
| |
qu'ici avec ratio versus |
| |
pression de compactage. |
| |
Alors maintenant je veux passer la main |
| |
la présentation à Jeremy |
| |
pour aller beaucoup plus loin |
| |
détails sur nos méthodes. |
| |
Bonjour, voici donc un certain nombre de |
| |
objectifs du contrôle de l'extrapolation |
| |
que nous avons disposés à la |
| |
début du projet. Nous |
| |
besoin d'une métrique d'extrapolation |
| |
qui pourrait être calculé rapidement |
| |
avec un grand nombre de |
| |
observations et variables, et |
| |
nous avions besoin d'un moyen rapide d'évaluer |
| |
si la métrique indiquée |
| |
extrapolation ou non. C'était |
| |
pour maintenir l'interactivité de |
| |
le profileur trace et |
| |
nous avions besoin de cela pour |
| |
effectuer une optimisation. |
| |
Nous voulions pouvoir |
| |
prendre en charge les différentes variables |
| |
types disponibles dans le |
| |
profileur. Ce sont |
| |
essentiellement continue, |
| |
catégorique et ordinal. |
| |
Nous voulions utiliser |
| |
observations avec cellules manquantes, |
| |
parce que certaines méthodes de modélisation |
| |
inclura ces observations |
| |
dans ???. |
| |
Nous voulions une méthode qui soit |
| |
robuste aux dépendances linéaires dans |
| |
les données. Cela se produit lorsque |
| |
le nombre de variables est plus grand |
| |
que le nombre d'observations, |
| |
par exemple. Et nous voulions |
| |
quelque chose qui était facile à |
| |
automatiser sans avoir besoin d'un |
| |
beaucoup de saisie utilisateur. |
| |
Pour les modèles des moindres carrés, nous |
| |
atterri sur l'effet de levier, qui est |
| |
souvent utilisé pour identifier les valeurs aberrantes |
| |
dans les modèles linéaires. L'effet de levier |
| |
pour le nouveau point de prédiction est |
| |
calculé selon ceci |
| |
formule. Il existe de nombreuses |
| |
interprétations pour l'effet de levier. |
| |
Une interprétation est que c'est |
| |
la distance multivariée d'un |
| |
point de prédiction depuis le centre |
| |
des données d'entraînement. Un autre |
| |
l'interprétation est qu'il s'agit d'un |
| |
variance de prédiction à l'échelle. Donc |
| |
à mesure que le point de prédiction se déplace |
| |
plus loin du centre |
| |
des données, l'incertitude |
| |
de prédiction augmente. Et nous |
| |
utiliser deux seuils communs dans |
| |
la littérature statistique pour |
| |
déterminer si cette distance |
| |
est trop grand. Le premier est |
| |
effet de levier maximal, prédiction |
| |
points au-delà de ce seuil |
| |
ou à l'extérieur de l'enveloppe convexe de |
| |
les données de formation. |
| |
Et le deuxième est 3 fois plus |
| |
moyenne des leviers. Il |
| |
on peut montrer que c'est |
| |
équivalent à trois fois le |
| |
nombre de termes modèles divisés |
| |
par le nombre d'observations. |
| |
Et comme Laura l'a décrit |
| |
plus tôt, vous pouvez modifier le |
| |
multiplicateur de ceux-ci |
| |
seuils. |
| |
Enfin, lorsque les désirs |
| |
sont en cours d'optimisation, les |
| |
la contrainte d'extrapolation est une |
| |
contrainte non linéaire, et |
| |
auparavant le profileur permettait |
| |
optimisation contrainte avec |
| |
contraintes linéaires. Ce type de |
| |
l'optimisation est plus |
| |
difficile, alors Laura a mis en œuvre |
| |
un algorithme génétique. Et si vous |
| |
ne sont pas familiers avec ceux-ci, |
| |
les algorithmes génétiques utilisent le |
| |
principes de la biologie moléculaire |
| |
évolution pour optimiser |
| |
fonctions de coût compliquées. |
| |
Ensuite, je parlerai de la |
| |
approche que nous avons utilisée pour généraliser |
| |
contrôle d'extrapolation aux modèles |
| |
autres que les modèles linéaires. Lorsque |
| |
vous construisez une prédiction |
| |
modèle dans JMP, vous commencez avec un |
| |
ensemble de variables prédictives et un |
| |
ensemble de variables de réponse. Certaines |
| |
le modèle supervisé est formé, et |
| |
alors un profileur peut être utilisé pour |
| |
visualiser la surface du modèle. |
| |
Il existe de nombreuses variantes dans |
| |
le profileur dans JMP. Vous pouvez |
| |
utiliser le profileur en interne dans |
| |
plateformes de modélisation. Vous pouvez |
| |
formules de prédiction de sortie et |
| |
créer un profileur pour plusieurs |
| |
modèles. Comme Laura l'a démontré, |
| |
vous pouvez construire des profileurs pour |
| |
modèles d'ensemble. Nous voulions un |
| |
méthode de contrôle par extrapolation |
| |
cela généraliserait tout cela |
| |
scénarios, donc au lieu de |
| |
lier notre méthode à un |
| |
modèle spécifique, nous allons |
| |
utiliser un appareil non supervisé |
| |
approche. |
| |
Et nous allons seulement signaler un |
| |
point de prédiction comme |
| |
extrapolation si c'est loin |
| |
à l'extérieur où se trouvent les données |
| |
concentré dans le prédicteur |
| |
l'espace. Et cela nous permet de |
| |
être cohérent |
| |
profileurs afin que notre |
| |
méthode de contrôle par extrapolation |
| |
se branche sur n'importe quel profileur. |
| |
La distance multivariée |
| |
interprétation de l'effet de levier |
| |
suggéré le T au carré de Hotelling comme |
| |
une distance pour le général |
| |
contrôle d'extrapolation. En fait, |
| |
quelques manipulations algébriques |
| |
montrer que le T au carré de Hotelling est |
| |
juste l'effet de levier déplacé et |
| |
mis à l'échelle. Cette figure montre comment |
| |
Mesures du carré en T de Hotelling |
| |
quelle ellipse une observation |
| |
se trouve là où se trouvent les ellipses |
| |
centré sur la moyenne de la |
| |
données et la forme est définie |
| |
par la matrice de covariance. |
| |
Puisque nous ne sommes plus là |
| |
modèles linéaires, cette métrique |
| |
n'a pas le même |
| |
lien avec la prédiction |
| |
variance. Donc, au lieu de |
| |
en s'appuyant sur les seuils utilisés |
| |
de retour dans les modèles linéaires, nous sommes |
| |
je vais en faire |
| |
hypothèses de distribution |
| |
pour déterminer si T au carré |
| |
pour le point de prédiction devrait |
| |
être considéré comme une extrapolation. |
| |
Ici, je montre la formule pour |
| |
T carré de Hotelling. La moyenne et |
| |
la matrice de covariance est estimée |
| |
en utilisant les données d'entraînement pour le |
| |
modèle. Si P est inférieur à N, |
| |
où P est le nombre de |
| |
prédicteurs, N est le nombre |
| |
des observations et si le |
| |
prédicteurs de multivariés |
| |
normal, puis T au carré pour |
| |
le point de dépendance a un F |
| |
distribution. Cependant, nous voulions |
| |
une méthode pour généraliser la |
| |
ensembles de données contenant des données complexes |
| |
types, comme un mélange de continu |
| |
et des ensembles de données catégorielles où P |
| |
est plus grand que N, ensembles de données avec |
| |
valeurs manquantes. Donc, au lieu de |
| |
élaborer les distributions |
| |
analytiquement dans chaque cas, nous |
| |
utilisé un conservateur simple |
| |
limite de contrôle que nous avons trouvée |
| |
fonctionne bien dans la pratique. C'est |
| |
une limite de contrôle trois Sigma |
| |
en utilisant la distribution empirique |
| |
de T au carré de la formation |
| |
données et, comme Laura l'a mentionné, vous |
| |
peut également régler ce multiplicateur. |
| |
Une complication est que lorsque P |
| |
est plus grand que N, T de Hotelling |
| |
au carré n'est pas défini. Il y a |
| |
trop de paramètres dans le |
| |
matrice de covariance à estimer |
| |
avec les données disponibles, et |
| |
cela se produit souvent lors d'une utilisation typique |
| |
cas de contrôle par extrapolation |
| |
comme dans les moindres carrés partiels. |
| |
Nous avons donc décidé d'écrire un roman |
| |
approche du calcul du T de Hotelling |
| |
au carré, qui traite de ces |
| |
cas, et nous l'appelons un |
| |
T au carré régularisé. |
| |
Pour calculer la covariance |
| |
matrice, nous utilisons une matrice régularisée |
| |
estimateur à l'origine |
| |
développé par Schafer et |
| |
Débroussailleuse pour haut |
| |
données génomiques dimensionnelles. |
| |
C'est juste un poids |
| |
combinaison du plein |
| |
exemple de matrice de covariance, |
| |
qui est U ici et un |
| |
matrice cible de contrainte |
| |
qui est D. |
| |
Pour le poids Lambda |
| |
paramètres, Schafer et Strimmer |
| |
dérivé une analyse |
| |
expression qui minimise la |
| |
MSE, l'estimateur |
| |
asymptotiquement. |
| |
Schafer et Strimmer ont proposé |
| |
plusieurs cibles possibles |
| |
matrices. La matrice cible que nous |
| |
choisi était une matrice diagonale avec |
| |
les variances d'échantillon de la |
| |
variables prédictives sur le |
| |
diagonale. Cette matrice cible a |
| |
un certain nombre d'avantages pour |
| |
contrôle d'extrapolation. Tout d'abord, nous |
| |
ne supposez aucune corrélation |
| |
structure entre les variables |
| |
avant de voir les données, qui |
| |
fonctionne bien comme priorité générale. |
| |
De plus, lorsqu'il y a peu de données |
| |
pour estimer la covariance |
| |
matrice, soit en raison d'un petit N ou |
| |
une grande fraction manquante, la |
| |
la contrainte elliptique est |
| |
élargi par un poids important sur |
| |
la matrice diagonale, et ceci |
| |
aboutit à une approche plus conservatrice |
| |
test de contrôle d'extrapolation. |
| |
Nous avons trouvé que cela était nécessaire pour |
| |
obtenir un contrôle raisonnable de la |
| |
taux de faux positifs. Pour le dire autrement |
| |
plus simplement, quand il y a |
| |
données de formation limitées, la |
| |
T au carré régularisé est inférieur |
| |
susceptibles d'étiqueter les prédictions comme |
| |
extrapolation, c'est ce que vous |
| |
veux, parce que tu es plus |
| |
susceptible d'observer des covariances |
| |
par hasard. Nous avons quelques |
| |
résultats de simulation |
| |
démontrant ces détails, |
| |
mais je n'ai pas le temps d'y aller |
| |
dans tout ça. Au lieu de |
| |
la page Web de la communauté, nous avons mis un |
| |
lien vers un article sur les archives et |
| |
nous prévoyons de soumettre ceci au |
| |
Journal de calcul |
| |
Statistiques graphiques. |
| |
Cette diapositive suivante montre d'autres |
| |
détails importants dont nous avions besoin |
| |
considérer. Nous devions comprendre |
| |
comment gérer les catégoriques |
| |
variables. Nous sommes juste |
| |
les convertir en indicateurs |
| |
variables fictives codées. Ceci est |
| |
comparable à un multiple |
| |
analyse des correspondances. Un autre |
| |
la complication est de savoir comment calculer |
| |
T au carré de Hotelling lorsque |
| |
il manque des données. Plusieurs |
| |
Modélisation prédictive JMP |
| |
les plateformes utilisent des observations avec |
| |
données manquantes pour former leurs |
| |
modèles. Ceux-ci incluent des modèles naïfs |
| |
Forêt bayésienne et bootstrap. Et |
| |
ces formules montrent la |
| |
méthode de suppression par paires nous |
| |
utilisé pour estimer la covariance |
| |
matrice. Il est plus courant d'utiliser |
| |
suppression ligne par ligne. Cela signifie |
| |
toutes les observations avec des éléments manquants |
| |
les valeurs sont supprimées avant |
| |
calcul de la matrice de covariance. |
| |
Et c'est le plus simple, mais cela peut |
| |
aboutir à jeter des informations utiles |
| |
données si la taille de l'échantillon |
| |
les données d'entraînement sont petites. Avec |
| |
observations de suppression par paires |
| |
et supprimés uniquement s'il y a |
| |
valeurs manquantes dans la paire de |
| |
variables utilisées pour calculer la |
| |
entrée correspondante et c'est |
| |
ce que montrent ces formules. |
| |
Cela semble être une chose simple à faire. |
| |
Vous utilisez simplement toutes les données |
| |
c'est disponible, mais il |
| |
peut en fait conduire à une multitude de |
| |
problèmes parce qu'il y a |
| |
différentes observations utilisées pour |
| |
calculer chaque entrée. Cela peut |
| |
provoquer des choses étranges, |
| |
comme les matrices de covariance avec |
| |
valeurs propres négatives, ce qui est |
| |
quelque chose à laquelle nous avons dû faire face. |
| |
Voici quelques avantages de |
| |
le T au carré régularisé nous |
| |
trouvé en comparant à d'autres |
| |
méthodes dans nos évaluations. Une |
| |
est-ce que c'est la régularisation |
| |
fonctionne de la même manière que la régularisation |
| |
fonctionne normalement. Il frappe un |
| |
équilibre entre le surapprentissage du |
| |
données d'entraînement et biais excessifs |
| |
l'estimateur. Cela rend le |
| |
estimateur plus robuste au bruit |
| |
et une mauvaise spécification du modèle. |
| |
Ensuite, Schafer et Strimmer |
| |
ont montré dans leur article que |
| |
la régularisation aboutit à une |
| |
estimateur plus précis dans |
| |
paramètres de haute dimension. |
| |
Cela aide avec l'écriture cursive |
| |
dimensionnalité qui afflige |
| |
la plupart des méthodes basées sur la distance |
| |
pour le contrôle de l'extrapolation. |
| |
Puis dans les champs qui ont |
| |
développé la méthodologie pour |
| |
contrôle d'extrapolation, |
| |
souvent, ils ont tous les deux des niveaux élevés |
| |
données dimensionnelles et hautement |
| |
prédicteurs corrélés. Pour |
| |
exemple en chimioinformatique et |
| |
chimiométrie, la chimie |
| |
les fonctionnalités sont souvent très |
| |
corrélé. Contrôle par extrapolation |
| |
est souvent utilisé en combinaison |
| |
avec les modèles PCA et PLS, où |
| |
Les T au carré DModX sont utilisés pour |
| |
détecter les violations de corrélation |
| |
structure. Ceci est similaire à |
| |
ce que nous faisons dans le modèle piloté |
| |
carte de contrôle multivariée. |
| |
Comme il s’agit d’un cas d’utilisation courant, |
| |
nous voulions avoir une option qui |
| |
ne s'est pas trop éloigné de |
| |
ces méthodes. Notre T régularisé |
| |
au carré fournit le même type |
| |
du contrôle d'extrapolation, mais il |
| |
ne nécessite pas d'étape de projection |
| |
ce qui présente certains avantages. |
| |
Nous avons constaté que cela nous permet de |
| |
mieux généraliser les autres types |
| |
des modèles prédictifs. De plus, |
| |
nos évaluations nous ont permis d'observer que |
| |
si une projection linéaire ne le fait pas |
| |
fonctionnent bien pour vos données, comme |
| |
vous avez des relations non linéaires |
| |
entre les prédicteurs, les erreurs |
| |
peut gonfler les limites de contrôle |
| |
des méthodes basées sur la projection, |
| |
ce qui conduira à une mauvaise |
| |
protection contre |
| |
extrapolation et notre approche |
| |
est plus robuste que cela. |
| |
Et puis un autre point important |
| |
c'est que nous avons trouvé le |
| |
métrique d'extrapolation unique |
| |
était beaucoup plus simple à utiliser et |
| |
interpréter. |
| |
Et voici un bref résumé de |
| |
les caractéristiques de l'extrapolation |
| |
contrôle. La méthode offre une meilleure |
| |
visualisation du faisable |
| |
régions en haute dimension |
| |
modèles dans le profileur. |
| |
Un nouvel algorithme génétique a |
| |
été mis en œuvre pour la flexibilité |
| |
optimisation contrainte. |
| |
Notre T au carré régularisé |
| |
gère les observations désordonnées |
| |
données, cas comme P plus grand |
| |
que N, et continue et |
| |
variables catégorielles. |
| |
La méthode est disponible dans la plupart des |
| |
des modèles prédictifs dans JMP |
| |
16 Pro et prend en charge de nombreux |
| |
leurs particularités. C'est aussi |
| |
disponible dans le profileur en |
| |
graphique, qui ouvre vraiment ses |
| |
utilité car vous pouvez opérer |
| |
sur n'importe quelle formule de prédiction. |
| |
Et puis comme direction future, |
| |
nous envisageons de mettre en œuvre |
| |
un voisin K-plus proche basé |
| |
contrainte qui irait au-delà |
| |
la corrélation actuelle |
| |
contrainte de structure. Souvent |
| |
les prédicteurs sont générés par |
| |
distributions multiples résultant |
| |
dans le clustering dans le prédicteur |
| |
espace. Et un K-plus proche voisin |
| |
approche basée sur la technologie permettrait |
| |
nous permet de contrôler l'extrapolation |
| |
entre les clusters. |
| |
Alors merci à tous ceux qui |
| |
connecté pour regarder ça et |
| |
voici nos emails si vous avez |
| |
d'autres questions. |
