756832_fr-FR

liliconcom

Contrôle de l'extrapolation dans le profileur de prédiction de JMP Pro 16 (2021-US-45MP-838)

Laura Lancaster, statisticienne de recherche principale JMP, développeuse, SAS
Jeremy Ash, testeur de logiciels JMP Analytics, SAS
Christopher Gotwalt, directeur de la recherche et du développement statistiques du JMP, SAS

L'extrapolation incontrôlée d'un modèle entraîne deux types d'erreurs graves : (1) le modèle peut être totalement invalide loin des données ; et (2) les combinaisons de valeurs des variables peuvent être physiquement irréalisables. L'utilisation du Profiler pour optimiser des modèles adaptés aux données d'observation peut conduire, sans avertissement, à des solutions extrapolées inutiles en pratique. JMP Pro 16 introduit le contrôle d'extrapolation dans de nombreuses plateformes de modélisation prédictive et dans la plateforme Profiler elle-même. Cette nouvelle fonctionnalité du Profiler de Prédiction alerte l'utilisateur d'une éventuelle extrapolation ou évite complètement de tracer des points extrapolés où le modèle pourrait être invalide. De plus, l'utilisateur peut effectuer une optimisation sur une région contrainte, évitant ainsi l'extrapolation. Dans cette présentation, nous expliquons la motivation et l'utilité du contrôle d'extrapolation, démontrons son utilisation facile dans JMP et décrivons nos méthodes en détail.

Transcription générée automatiquement...

Conférencier	Transcription
Tim Pierce	Aller.
	Bon, je vais aussi passer en mode muet.
	Bonjour, je suis Chris Gotwalt. Mes co-présentateurs, Laura Lancaster et Jeremy Ash, et moi-même présentons une nouvelle fonctionnalité utile de JMP Pro appelée contrôle d'extrapolation.
	Presque tous les modèles que vous souhaitez utiliser pour faire des prédictions ont une certaine plage d’applicabilité,
	une région de l'espace d'entrée où leurs prédictions sont considérées comme étant
	Suffisamment fiable. En dehors de cette région, nous commençons à extrapoler le modèle à deux points, loin des données utilisées pour l'ajuster. Utiliser les prédictions de ce modèle à ces points pourrait conduire à des prédictions totalement incertaines.
Il existe deux sources principales d’extrapolation	Extrapolation statistique et extrapolation par domaine. Ces deux types d'extrapolation sont couverts par cette nouvelle fonctionnalité.
	L'extrapolation statistique se produit lorsque l'on tente de prédire à l'aide d'un modèle un X qui n'est pas proche des valeurs utilisées pour entraîner ce modèle.
	L'extrapolation basée sur le domaine se produit lorsque vous essayez d'évaluer un X qui est impossible en raison de considérations scientifiques.
	ou des contraintes d'ingénierie. L'exemple ci-dessous illustre les deux types d'extrapolation en un seul. Nous voyons ici un profileur issu d'un modèle de procédé de production métallurgique.
	La prédiction indique -2,96 sans aucune indication que nous évaluons une combinaison de température et de pression qui est impossible
	Dans un domaine précis, cette machine doit atteindre des objectifs précis. Nous disposons également d'une extrapolation statistique, car elle est éloignée des données utilisées.
	pour ajuster le modèle, comme le montre le nuage de points des données d'entraînement à droite. Dans JMP Pro 16, Jeremy, Laura et moi avons collaboré pour ajouter une nouvelle fonctionnalité permettant d'émettre un avertissement lorsque le profileur suspecte une extrapolation.
	Ou si vous activez le contrôle d'extrapolation, il limitera l'ensemble des points que vous voyez à ceux qui, selon lui, ne sont pas extrapolés.
	Nous avons deux types de contrôle d’extrapolation.
	L'un d'eux est basé sur le concept d'effet de levier et utilise un modèle des moindres carrés. Ce premier type est uniquement disponible dans la version Pro du modèle d'ajustement des moindres carrés.
	L'autre type est appelé contrôle d'extrapolation d'apprentissage automatique général, et il est disponible dans la plate-forme de profilage et dans plusieurs des plates-formes d'apprentissage automatique les plus courantes dans JMP Pro.
	Sur demande, nous pourrions même l'ajouter à plus. Le contrôle par extrapolation des moindres carrés utilise le concept d'effet de levier, qui est une sorte de version à l'échelle de la variance de prédiction. Il est basé sur un modèle et donc
	il utilise des informations sur les interactions des effets principaux et les termes d'ordre supérieur pour déterminer l'extrapolation.
	Pour le cas général de contrôle par extrapolation de l'apprentissage automatique, nous devons élaborer notre propre approche. Nous souhaitions une méthode robuste en termes de valeurs manquantes.
	dépendances linéaires, calcul plus rapide, possibilité de gérer des mélanges de variables d'entrée continues et catégorielles, et nous voulions également explicitement séparer le modèle d'extrapolation du modèle utilisé pour ajuster les données.
	Ainsi, lorsque le contrôle d'extrapolation général est activé, il n'y a qu'un seul modèle supervisé qui adapte les variables d'entrée aux réponses que nous voyons dans les traces du profileur.
	Le profil qui propose un modèle non supervisé rapide et sale pour décrire l'ensemble d'entraînement Xs, et ce modèle non supervisé est utilisé en coulisses par le profileur pour déterminer la contrainte de contrôle d'extrapolation.
	Je dois donc changer car PowerPoint et ma caméra ne fonctionnent pas en ce moment, pour une raison quelconque.
	Nous savons que des extrapolations risquées sont faites chaque jour par des personnes travaillant dans le domaine de la science des données et nous sommes convaincus que l’utilisation d’extrapolations conduit à de mauvaises prévisions et, en fin de compte, à de mauvais résultats commerciaux.
	Le contrôle d'extrapolation place des garde-fous sur les prédictions du modèle et conduira à des décisions quantifiables meilleures de la part des utilisateurs de JMP Pro.
	Lorsque les utilisateurs constatent une extrapolation, ils doivent décider si la prédiction doit être utilisée ou non, en fonction de leurs connaissances du domaine et de leur familiarité avec le problème en question.
	Si vous commencez à voir des avertissements de contrôle d'extrapolation se produire, il s'agit souvent de la fin du cycle de vie de ce modèle et du moment de le réadapter à de nouvelles données, car la distribution des entrées s'est éloignée de celle des données d'entraînement.
	Nous sommes honnêtement assez surpris et alarmés que la nécessité d’identifier l’extrapolation ne soit pas mieux appréciée par la communauté des scientifiques des données.
	et avons rendu le contrôle de l'extrapolation aussi simple et automatique que possible. Laura, qui l'a développé dans JMP Pro, présentera ensuite cette option. Jeremy, qui a réalisé une grande partie des recherches au sein de notre équipe, détaillera ensuite les détails mathématiques et la justification statistique de cette approche.
	Bonjour. Je m'appelle Laura Lancaster et je suis ici pour vous présenter le contrôle d'extrapolation ajouté à JMP Pro 16. Je voulais commencer par un exemple simple utilisant la plateforme des moindres carrés du modèle d'ajustement.
	Je vais utiliser des données qui vous sont peut-être familières. Il s'agit des données de condition physique contenues dans les données d'échantillon.
	Je vais utiliser la consommation d'oxygène comme réponse, et le temps d'exécution, le pouls et le pouls maximal comme prédicteurs. Je tiens à rappeler que dans la méthode des moindres carrés, l'extrapolation utilisée est l'effet de levier. Commençons donc par JMP.
	Alors maintenant, j'ai les données de fitness ouvertes dans JMP et j'ai un script à enregistrer dans la table de données pour lancer automatiquement mon modèle d'ajustement des moindres carrés.
	Je vais donc exécuter ce script. Il lance la plateforme des moindres carrés.
	Et j'ai le profileur ouvert automatiquement et nous pouvons voir que le profileur ressemble à ce qu'il a toujours été dans le passé,
	où les limites des facteurs sont définies par la plage de chaque facteur individuellement, ce qui nous donne des contraintes de limites rectangulaires.
	Et lorsque je modifie les paramètres des facteurs, en raison de ces contraintes de limites, il peut être très difficile de savoir si vous vous éloignez de la structure de corrélation des données.
	C'est pourquoi nous avons souhaité ajouter le contrôle d'extrapolation. Ce contrôle a été ajouté à plusieurs plateformes de JMP Pro 16.
	y compris l'ajustement par la méthode des moindres carrés. Pour accéder au contrôle d'extrapolation, accédez au menu sous le menu du profileur. Si je regarde ici, je vois une nouvelle option appelée « Contrôle d'extrapolation ».
	Par défaut, cette option est désactivée, mais je peux l'activer ou l'activer pour activer le contrôle d'extrapolation. Si je l'active, je constate que mes traces de profil sont limitées aux valeurs pour lesquelles je n'extrapole pas.
	Si je devais l'activer en mode avertissement, je verrais les traces de profil complètes, mais je recevrais un avertissement lorsque j'irais dans une région où cela serait considéré comme une extrapolation.
	Je peux également activer les détails d'extrapolation, ce que je trouve très utile,
	Et cela m'apporte beaucoup plus d'informations. Tout d'abord, cela m'indique que la mesure que j'utilise pour définir l'extrapolation est l'effet de levier, ce qui est vrai dans la plateforme des moindres carrés.
	et le seuil utilisé par défaut au départ sera l'effet de levier maximal, mais c'est quelque chose que je peux changer et je vous le montrerai dans une minute.
	Je peux également voir ma métrique d'extrapolation pour mes paramètres actuels. C'est ce chiffre ici, qui changera à mesure que je modifierai mes paramètres de facteur.
	Chaque fois que ce nombre dépasse le seuil, je reçois un avertissement indiquant que je suis peut-être en train d'extrapoler. S'il passe en dessous, je ne reçois plus cet avertissement.
	Ce seuil ne changera pas, sauf si je modifie quelque chose dans le menu pour l'ajuster. Je vais donc le faire maintenant. Je vais aller dans le menu.
	Je vais maintenant définir le critère de seuil. Dans la méthode des moindres carrés, vous avez deux options pour le seuil. Initialement, il est réglé sur l'effet de levier maximal, ce qui vous permet de rester dans la zone convexe des données.
	Ou vous pouvez passer à un multiplicateur multiplié par l'effet de levier moyen ou les termes du modèle par rapport aux observations. Je souhaite passer à ce seuil, donc il est fixé à trois.
	Comme multiplicateur par défaut, il s'agit donc de trois fois l'effet de levier moyen. Cliquez sur OK et remarquez que mon seuil va changer. Il a en fait diminué, ce qui correspond à une définition plus prudente de l'extrapolation.
	Et je vais le réactiver pour restreindre les traces de mon profil, et maintenant je ne peux accéder qu'aux régions
	où je suis à trois fois l'effet de levier moyen.
	Nous avons également implémenté une optimisation respectant les contraintes d'extrapolation. Si j'active la désirabilité définie,
	et je fais l'optimisation,
	J'obtiendrai une valeur optimale qui satisfasse la contrainte d'extrapolation. Notez que cette métrique est inférieure ou égale au seuil.
	Alors maintenant, quand je passe à ma diapositive suivante, qui va comparer dans un graphique (une matrice de nuages de points), la différence entre la valeur optimale avec le contrôle d'extrapolation activé et avec celui désactivé.
	Voici donc la matrice de nuage de points que j'ai créée avec JMP, et elle montre les données de la variable prédictive d'origine, ainsi que les valeurs de la variable prédictive
	Pour la solution optimale sans contrôle d'extrapolation (en bleu) et la solution optimale avec contrôle d'extrapolation (en rouge). Remarquez la solution sans contrainte (en bleu, à droite).
	ici, viole la structure de corrélation des données originales pour l'impulsion d'exécution et l'impulsion maximale, augmentant ainsi l'incertitude de cette prédiction, alors que la solution optimale qui a utilisé le contrôle d'extrapolation est beaucoup plus conforme aux données originales.
	Voyons maintenant un exemple utilisant la méthode de contrôle d’extrapolation plus généralisée, que nous appelons méthode T au carré régularisée.
	Comme Chris l'a mentionné précédemment, nous avons développé cette méthode pour des modèles autres que les modèles des moindres carrés. Nous allons examiner un modèle neuronal pour les données sur le diabète, également présentes dans l'échantillon de données.
	La réponse est une mesure de la progression de la maladie et les prédicteurs sont les variables de base. Une fois encore, la mesure d'extrapolation utilisée pour cet exemple est le T carré régularisé que Jeremy décrira plus en détail dans quelques minutes.
	J'ai donc des données sur le diabète ouvertes dans JMP et un script contenant les ajustements de mon modèle neuronal est enregistré. Je vais exécuter ce script.
	Cela lance la plateforme neuronale. Notez que j'utilise la méthode de validation aléatoire. Je voulais juste souligner que chaque fois qu'on utilise une méthode de validation, le contrôle d'extrapolation est basé uniquement sur les données d'entraînement.
	et non vos données de validation ou de test.
	J'ai donc ouvert le profileur et vous pouvez constater qu'il utilise les traces complètes. Le contrôle d'extrapolation n'est pas activé.
	Allons-y et activons-le.
	Et je vais aussi aborder les détails.
	Vous pouvez voir que les traces ont été restreintes et que la métrique est le carré T régularisé.
	Le seuil est égal à trois fois l'écart type du T carré régularisé de l'échantillon. Jeremy vous expliquera plus en détail ce que cela signifie exactement dans quelques minutes.
	Je voulais juste mentionner que, lorsque nous utilisons la méthode du T au carré régularisé, il n'y a qu'un seul choix de seuil, mais vous pouvez ajuster le multiplicateur. Donc, si vous allez à
	Contrôles d'extrapolation, définition de seuils, ajustement possible de ce multiplicateur, mais je vais le laisser à trois. Je souhaite maintenant exécuter l'optimisation avec
	Contrôle d'extrapolation : je vais donc simplement maximiser et mémoriser. J'ai maintenant une solution optimale avec le contrôle d'extrapolation activé.
	Et maintenant, je veux regarder notre matrice de nuage de points, tout comme nous l'avons vu auparavant avec les données d'origine, ainsi qu'avec les valeurs optimales avec et sans contrôle d'extrapolation.
	Voici une matrice de nuages de points des données sur le diabète que j'ai créée dans JMP. Elle contient les valeurs prédictives d'origine.
	ainsi que la solution optimale avec contrôle d'extrapolation en rouge et la solution optimale sans contrôle d'extrapolation en bleu. Vous pouvez constater que
	Les points rouges semblent bien plus proches de la structure de corrélation des données originales que les points bleus. C'est particulièrement vrai lorsqu'on compare le cholestérol LDL au cholestérol total.
	Voyons maintenant un exemple utilisant le profileur qui se trouve sous le menu graphique, que j'appellerai le profileur graphique.
	Il utilise également la méthode du T carré régularisé et permet d'appliquer le contrôle d'extrapolation à tout type de modèle pouvant être créé et enregistré sous forme de formule JSL. Il permet également d'appliquer le contrôle d'extrapolation à plusieurs modèles simultanément.
	Prenons l’exemple d’une entreprise qui utilise la technologie de la métallurgie des poudres pour produire des arbres de transmission en acier pour l’industrie automobile.
	Ils souhaitent trouver des réglages optimaux pour leur production, afin de minimiser le retrait et les défaillances dues à de mauvaises conditions de surface. Deux solutions s'offrent donc à eux.
	le rétrécissement, qui est continu et nous allons adapter le modèle des moindres carrés pour cela, et l'état de surface, qui est réussite/échec et nous allons adapter un modèle logistique nominal pour celui-ci.
	Nos variables prédictives ne sont que quelques-unes des variables clés du processus de production. Et encore une fois, la mesure d'extrapolation est le T carré régularisé.
	J'ai donc les données de métallurgie des poudres ouvertes dans JMP, et j'ai déjà ajusté un modèle des moindres carrés pour ma réponse au retrait,
	J'ai déjà ajusté un modèle logistique nominal pour la réponse réussite/échec de l'état de surface. J'ai également enregistré les formules de prédiction dans la table de données afin qu'elles soient prêtes à être utilisées dans le profileur graphique.
	Donc, si je vais dans le menu graphique du profileur, je peux charger la formule de prédiction pour le rétrécissement, et ma formule de prédiction concerne l'état de surface.
	Cliquez sur OK.
	Et maintenant, j'ai lancé mes deux modèles dans le profileur graphique.
	Avant d'activer le contrôle d'extrapolation, vous pouvez voir que j'ai les traces complètes du profil. Une fois le contrôle d'extrapolation activé,
	Vous pouvez voir que les traces rétrécissent légèrement. Je vais aussi activer les détails.
	juste pour montrer que, effectivement, j'utilise le carré T régularisé ici dans cette méthode.
	Donc ce que je veux vraiment faire, c'est trouver les conditions optimales dans lesquelles je minimise le retrait et les échecs.
	avec le contrôle d'extrapolation activé. Je veux être sûr de ne pas extrapoler. Je veux trouver une solution utile.
	Avant de procéder à l'optimisation, je dois définir mes désirabilités. Je vais le faire ; les désirabilités sont déjà correctes pour le retrait, mais je dois les définir pour l'état de surface.
	Je vais essayer de maximiser les passes et de minimiser les échecs.
	D'ACCORD.
	Et maintenant, je devrais pouvoir faire l'optimisation avec les contrôles d'extrapolation activés, maximiser et mémoriser.
	Maintenant, j'ai ma solution optimale
	avec le contrôle d'extrapolation activé. Regardons maintenant à nouveau la matrice de nuages de points des données d'origine, ainsi que la solution avec le contrôle d'extrapolation activé et la solution sans le contrôle d'extrapolation.
	Il s'agit donc d'une matrice de nuages de points des données de métallurgie des poudres que j'ai créée dans JMP et elle contient également la solution optimale
	avec le contrôle d'extrapolation représenté par un point rouge et la solution optimale sans contrôle d'extrapolation représentée par un point bleu. Et, encore une fois, vous pouvez constater que lorsque nous n'appliquons pas le contrôle d'extrapolation,
	La solution optimale se situe bien en dehors de la structure de corrélation des données. On le constate notamment ici avec le rapport entre le rapport et la pression de compactage.
	Alors maintenant, je veux laisser la parole à Jeremy pour qu'il nous explique plus en détail nos méthodes.
	Bonjour. Voici donc quelques objectifs de contrôle d'extrapolation que nous avons définis au début du projet.
	Nous avions besoin d'une mesure d'extrapolation pouvant être calculée rapidement à partir d'un grand nombre d'observations et de variables, et d'un moyen rapide d'évaluer si la mesure indiquait une extrapolation ou non. Cela visait à maintenir l'interactivité des traces du profileur et
	nous en avions besoin pour effectuer une optimisation.
	Nous souhaitons qu'il puisse prendre en charge les différents types de variables disponibles dans le profileur. Il s'agit essentiellement de variables continues, catégorielles et ordinales.
	Nous voulions utiliser des observations avec des cellules manquantes car certaines méthodes de modélisation incluront ces observations et ???.
	Nous souhaitions une méthode résistante aux dépendances linéaires des données. Celles-ci surviennent lorsque le nombre de variables est supérieur au nombre d'observations, par exemple.
	Et nous voulions quelque chose qui soit facile à automatiser sans nécessiter beaucoup d’intervention de la part de l’utilisateur.
	Pour les modèles des moindres carrés, nous avons opté pour l’effet de levier, qui est souvent utilisé pour identifier les valeurs aberrantes dans les modèles linéaires.
	L'effet de levier pour un nouveau point de prédiction est calculé selon cette formule. Il existe de nombreuses interprétations de cet effet de levier. L'une d'elles est la suivante :
	Il s'agit de la distance multivariée entre un point de prédiction et le centre des données d'apprentissage. Une autre interprétation est qu'il s'agit d'une variance de prédiction échelonnée : plus le point de prédiction s'éloigne du centre des données, plus l'incertitude de la prédiction augmente.
	Et nous utilisons deux seuils courants dans la littérature statistique pour déterminer si cette distance est trop grande.
	Le premier est l'effet de levier maximal. Les points de prédiction au-delà de ce seuil se situent en dehors du trou convexe des données d'entraînement.
	Le second est trois fois la moyenne des effets de levier. On peut montrer que cela équivaut à trois fois le nombre de termes du modèle divisé par le nombre d'observations.
	Et comme Laura l’a décrit plus tôt, vous pouvez modifier le multiplicateur de ces seuils.
	Enfin, lors de l'optimisation des désirabilités, la contrainte d'extrapolation est une contrainte non linéaire. Auparavant, le profileur permettait une optimisation contrainte par des contraintes linéaires.
	Mais ce type d'optimisation est plus complexe, c'est pourquoi Laura a mis en œuvre un algorithme génétique. Si vous ne le connaissez pas, sachez que les algorithmes génétiques utilisent les principes de l'évolution moléculaire pour optimiser des fonctions de coût complexes.
	Ensuite, je parlerai de l’approche que nous utilisons pour généraliser le contrôle d’extrapolation à deux modèles autres que les modèles linéaires.
	Lorsque vous construisez un modèle prédictif dans JMP, vous commencez avec un ensemble de variables prédictives et un ensemble de variables de réponse.
	Un modèle supervisé est formé, puis un profileur peut être utilisé pour visualiser la surface du modèle.
	Il existe de nombreuses variantes du profileur dans JMP. Vous pouvez l'utiliser en interne sur des plateformes de modélisation, générer des formules de prédiction et construire des modèles.
	Un profileur pour plusieurs modèles, comme l'a démontré Laura. Il est possible de construire des profileurs pour des modèles d'ensemble. Nous souhaitions une méthode de contrôle par extrapolation généralisable à tous ces scénarios. Au lieu de lier notre méthode à un modèle spécifique, nous allons donc utiliser une approche non supervisée.
	Nous ne signalerons un point de prédiction comme extrapolation que s'il se situe loin de la zone de concentration des données dans l'espace prédicteur. Cela nous permet d'être cohérents entre les profileurs, de sorte que notre méthode de contrôle d'extrapolation s'adapte à tous les profileurs.
	L'interprétation de la distance multivariée de l'effet de levier suggère que le T au carré de Hotelling est une distance permettant un contrôle général de l'extrapolation. En fait, quelques manipulations algébriques montreront que le T au carré de Hotelling n'est qu'un effet de levier décalé et mis à l'échelle.
	Cette figure montre comment le T au carré de Hotelling mesure l'ellipse sur laquelle se trouve une observation, où les ellipses sont centrées sur la moyenne des données et la forme est définie par la matrice de covariance.
	Puisque nous ne sommes plus dans des modèles linéaires, cette mesure n'a plus le même lien avec la variance de prédiction. Ainsi, au lieu de nous appuyer sur les seuils utilisés dans les modèles linéaires, nous allons formuler des hypothèses de distribution pour déterminer si
	Le T au carré pour le point de prédiction doit être considéré comme une extrapolation.
	Je présente ici la formule du T au carré de Hotelling. La matrice de moyenne et de covariance est estimée à partir des données d'apprentissage du modèle.
	Si P est inférieur à N, où P est le nombre de prédicteurs et N le nombre d'observations,
	et si le prédicteur est en distribution normale multivariée, alors T au carré pour un point de prédiction a une distribution F. Cependant, nous souhaitions une méthode pour
	généraliser les ensembles de données avec des types de données compliqués, comme un mélange d’ensembles de données continus et catégoriels, où P est supérieur à N ;
	Ensembles de données avec valeurs manquantes. Ainsi, au lieu de calculer la distribution analytiquement dans chaque cas, nous utilisons une limite de contrôle prudente simple qui, selon nous, fonctionne bien en pratique.
	Il s'agit d'une limite de contrôle trois Sigma utilisant la distribution empirique de T au carré à partir des données d'entraînement et, comme Laura l'a mentionné, vous pouvez également régler ce multiplicateur.
	Une complication réside dans le fait que lorsque P est supérieur à N, le T au carré de Hotelling est indéfini. La matrice de covariance comporte trop de paramètres pour être estimée avec les données disponibles.
	Cela se produit souvent dans les cas d'utilisation courants du contrôle par extrapolation, comme les moindres carrés partiels. Nous avons donc opté pour une nouvelle approche de calcul du T carré de Hotelling, adaptée à ces cas, que nous appelons T carré régularisé.
	Pour calculer la matrice de covariance, nous utilisons un estimateur régularisé initialement développé par Schafer et Strimmer pour les données génomiques de grande dimension. Il s'agit simplement d'une combinaison pondérée de la matrice de covariance de l'échantillon complet, ici U, et d'une matrice cible contrainte, ici D.
	Pour le paramètre de poids Lambda, Schafer et Strimmer ont dérivé une expression analytique qui minimise l'erreur quadratique moyenne, l'estimateur asymptotiquement.
	Schafer et Strimmer ont proposé plusieurs matrices cibles possibles. La matrice cible que nous avons choisie était une matrice diagonale avec les variances d'échantillon des variables prédictives sur la diagonale. Cette matrice cible présente de nombreux avantages pour le contrôle de l'extrapolation.
	Premièrement, nous ne supposons aucune structure de corrélation entre les variables avant de voir les données, ce qui fonctionne bien comme une loi a priori générale.
	De plus, lorsqu'il y a peu de données pour estimer la matrice de covariance, soit en raison d'un petit N, soit d'une grande fraction manquante,
	La contrainte elliptique est étendue par un poids important sur la matrice diagonale, ce qui permet un test plus conservateur pour le contrôle de l'extrapolation. Nous avons constaté que cela est nécessaire pour obtenir un contrôle raisonnable du taux de faux positifs.
	Pour le dire plus simplement, lorsque les données d'entraînement sont limitées, le T au carré régularisé est moins susceptible d'étiqueter les prédictions comme une extrapolation, ce qui est ce que vous souhaitez car vous êtes plus susceptible d'observer des covariances par hasard.
	Nous disposons de quelques résultats de simulation démontrant ces détails, mais je n'ai pas le temps de les approfondir. À la place, nous avons mis sur la page web de la Communauté un lien vers un article archivé que nous prévoyons de soumettre au Journal of Computational Graphical Statistics.
	La diapositive suivante présente d'autres détails importants à prendre en compte. Nous devions déterminer comment gérer les variables catégorielles.
	Nous les convertissons simplement en variables muettes codées par indicateur. Ceci est comparable à une analyse des correspondances multiples.
	Une autre complication réside dans le calcul du T carré de Hotelling en cas de données manquantes. Plusieurs plateformes de modélisation prédictive JMP utilisent des observations avec données manquantes pour entraîner les modèles.
	Il s'agit notamment de Naive Bayes et de la forêt bootstrap, et ces formules montrent la méthode de suppression par paires que nous utilisons pour estimer la matrice de covariance.
	Il est plus courant d'utiliser la suppression ligne par ligne, ce qui signifie que toutes les observations avec des valeurs manquantes sont supprimées avant le calcul de la matrice de covariance. C'est la méthode la plus simple, mais elle peut entraîner l'élimination de données utiles si la taille de l'échantillon des données d'apprentissage est faible.
	Avec la suppression par paires, les observations sont supprimées uniquement s'il existe des valeurs manquantes dans la paire de variables utilisée pour calculer une entrée correspondante.
	Et c'est ce que montrent ces formules. Cela paraît simple : il suffit d'utiliser toutes les données disponibles, mais cela peut en réalité engendrer de nombreux problèmes, car différentes observations sont utilisées pour calculer chaque entrée.
	Cela peut entraîner des phénomènes étranges, comme des matrices de covariance avec des valeurs propres négatives, ce à quoi nous avons dû faire face.
	Voici quelques avantages du T au carré régularisé que nous avons trouvés en le comparant à d’autres méthodes dans nos évaluations.
	La première est que la régularisation fonctionne normalement. Elle établit un équilibre entre le surajustement des données d'apprentissage et la sur-polarisation de l'estimateur. Cela rend l'estimateur plus résistant au bruit et aux erreurs de spécification du modèle.
	Ensuite, Schafer et Strimmer ont montré dans leur article que la régularisation permet d'obtenir un estimateur plus précis dans les contextes de grande dimension. Cela permet de pallier le problème de la dimensionnalité qui affecte la plupart des méthodes de contrôle par extrapolation basées sur la distance.
	Et puis, dans les domaines qui ont développé la méthodologie de contrôle par extrapolation,
	Elles présentent souvent à la fois des données de grande dimension et des prédicteurs fortement corrélés. Par exemple, en chimioinformatique et en chimiométrie, les caractéristiques chimiques sont souvent fortement corrélées.
	Le contrôle par extrapolation est souvent utilisé en combinaison avec les modèles ACP et PLS, où T au carré et DModX sont utilisés pour détecter les violations de la structure de corrélation. Cette approche est similaire à celle utilisée dans les cartes de contrôle multivariées pilotées par modèle.
	Comme il s’agit d’un cas d’utilisation courant, nous voulions avoir une option qui ne s’écarte pas trop de ces méthodes.
	Notre T au carré régularisé fournit
	même type de contrôle d'extrapolation, mais il ne nécessite pas d'étape de projection, ce qui présente certains avantages.
	Nous avons constaté que cela nous permet de mieux généraliser à d’autres types de modèles prédictifs.
	Dans nos évaluations, nous avons également observé que si une projection linéaire ne fonctionne pas bien pour vos données, comme si vous aviez des relations non linéaires entre les prédicteurs,
	les erreurs peuvent gonfler les limites de contrôle des méthodes basées sur la projection, ce qui entraînera une mauvaise protection contre l'extrapolation, et notre approche est plus robuste que cela.
	Et puis un autre point important c'est que nous avons trouvé le
	La métrique d’extrapolation unique était beaucoup plus simple à utiliser et à interpréter.
	Voici un bref résumé des caractéristiques du contrôle par extrapolation. Cette méthode permet une meilleure visualisation des régions réalisables.
	Modèles de grande dimension dans le profileur. Un nouvel algorithme génétique a été implémenté pour une optimisation flexible sous contraintes.
	Et notre T au carré régularisé gère les données d'observation désordonnées dans des cas comme P supérieur à N et les variables continues et catégorielles.
	Cette méthode est disponible dans la plupart des modèles prédictifs de JMP 16 Pro et prend en charge nombre de leurs particularités. Elle est également disponible dans le profileur graphique, ce qui accroît considérablement son utilité car elle peut fonctionner sur n'importe quelle formule de prédiction.
	Et puis, comme orientation future, nous envisageons de mettre en œuvre une contrainte basée sur les K plus proches voisins qui irait au-delà de la contrainte actuelle de la structure de corrélation.
	Souvent, les prédicteurs sont générés par plusieurs distributions, ce qui entraîne un regroupement dans l'espace des prédicteurs et une approche basée sur les K plus proches voisins nous permettrait de contrôler l'extrapolation entre les clusters.
	Alors, merci à tous ceux qui ont regardé ceci, et voici des e-mails si vous avez d'autres questions.
Jeremy Ash, JMP	Vous êtes toujours là.
Chris Gotwalt	Ouais, je le suis.
Laura Lancaster	Juste.

Modélisation statistique avancéeAnalyse et modélisation des données de baseÉtudes de marché et de consommationExploration et visualisation des donnéesPlan d'expériencesModélisation prédictive et apprentissage automatiqueIngénierie de la qualité et des procédésAnalyse de fiabilité