Nous étions très heureux d'avoir eu autant d'intérêt pour la récente Techniquement parlant avec Model Screening, une nouvelle fonctionnalité puissante de JMP Pro 16. Lorsque vous créez des modèles, vous ne savez jamais quelle méthode fonctionnera le mieux sur un ensemble de données donné.
Avec le filtrage de modèle, vous pouvez essayer plusieurs approches à la fois, évaluer les performances du modèle et choisir le modèle le plus performant, notamment en personnalisant les seuils de décision en fonction de vos besoins. Cette nouvelle fonctionnalité puissante a généré tellement de questions que nous n'avons pas pu y répondre. Nous les abordons donc dans ce billet de blog. Vous pouvez voir la vitesse et la puissance du filtrage de modèles dans cet épisode de Technically Speaking .
Kemal Oflus prépare le terrain pour montrer la plate-forme de sélection des modèles.
Questions générales
Lorsque nous essayons d'ajuster des modèles non paramétriques, nous pouvons atteindre une prévisibilité élevée, mais nous perdons l'interprétabilité du modèle. Comment parvenir à cet équilibre entre prévisibilité et interprétabilité dans les problèmes de fabrication du monde réel?
Dans ce épisode d'Analytically Speaking , Galit Shmueli plonge dans les détails de ce sujet avec son article très cité, Expliquer ou prédire . Nous avons des métriques comme RSquare qui résument les performances du modèle en termes de la part de la variance qui peut être expliquée par le modèle sous-jacent. Un modèle avec RSquare plus élevé est techniquement meilleur qu'un modèle inférieur. L'interprétabilité du modèle donne un aperçu de la relation entre les entrées et la sortie. Un modèle interprété peut répondre à des questions sur la raison pour laquelle les entités indépendantes prédisent l'attribut dépendant. Le problème se pose car à mesure que la précision du modèle augmente, la complexité du modèle augmente également, au détriment de l'interprétabilité. Dans ce cas, le JMP Profiler nous aide à visualiser le modèle sous-jacent afin que nous puissions utiliser l'expertise en la matière pour vérifier la cohérence et la faisabilité du modèle. Un modèle avec moins de paramètres est plus facile à interpréter. C'est intuitif. Un modèle de régression linéaire a un coefficient par entité d'entrée et un terme d'interception. Par exemple, vous pouvez examiner chaque terme et comprendre comment ils contribuent à la sortie. Le passage à la régression logistique donne plus de pouvoir en termes de relations sous-jacentes qui peuvent être modélisées au détriment d'une fonction transformée en sortie qui doit maintenant aussi être comprise avec les coefficients. Un arbre de décision (de taille modeste) peut être compréhensible, un arbre de décision ensaché nécessite une perspective différente pour interpréter pourquoi un événement est prévu pour se produire. En poussant plus loin, le mélange optimisé de plusieurs modèles en une seule prédiction peut aller au-delà d'une interprétation significative ou opportune. Encore une fois, JMP Profiler est l'outil parfait pour visualiser et interpréter les modèles que nous construisons.
Lors de l'évaluation des modèles de régression, existe-t-il une plage standard pour une bonne métrique RSquare qui signifie un bon modèle, ou dépend-elle du contexte?
Cela dépendra du contexte; si vous essayez de prédire le marché boursier, 55% RSquare sera plus que suffisant par rapport au moment où vous essayez de prédire si une valve cardiaque échouera.
Quelle est la différence entre l'ensemble d'apprentissage et l'ensemble de validation? Pouvez-vous donner plus de détails sur le type de scénarios de données dans ces ensembles?
L'ensemble de formation est ce que nous utilisons pour apprendre des données (et construire le modèle); l'ensemble de validation consiste à valider ce que nous avons appris de l'ensemble d'apprentissage. S'il y a suffisamment de données, il est préférable de disposer également d'un ensemble de données de test pour affiner davantage le modèle, puis de valider les résultats avec l'ensemble de validation.
Y a-t-il une raison de ne pas utiliser PLS?
Aucune raison particulière, juste qu'il est plus difficile à interpréter et pas vraiment approprié pour les ensembles de données que nous avons examinés pendant le webinaire.
Certains tests ont une erreur plus importante. Existe-t-il un moyen de saisir l'erreur attendue dans les modèles?
S'il s'agit d'une question sur l'utilisation d'un classificateur, par défaut le seuil de classification est fixé à 50%, mais en fonction de vos circonstances, vous pouvez modifier ce seuil.
En ce qui concerne l'échantillon sur le café, pourquoi la méthode neuronale a-t-elle une taille d'échantillon inférieure à celle de tous les autres modèles (qui étaient identiques les uns aux autres)? La valeur RSquare pour neuronal boosté a-t-elle reçu un avantage en sélectionnant des données plus appropriées?
C'est parce que quelques-uns des facteurs d'entrée sélectionnés avaient des valeurs manquantes; certains algorithmes peuvent gérer les valeurs manquantes et, par conséquent, utiliser le reste des informations de l'observation donnée. Cependant, comme les réseaux de neurones ne le peuvent pas, un plus petit nombre d'observations sont inclus dans l'échantillon.
Comment ajuster et comparer les réglages des paramètres de plusieurs modèles?
Les plates-formes de filtrage et de comparaison de modèles permettent de faire la moyenne / combiner / agréger plusieurs modèles afin que vous puissiez créer un modèle d'ensemble, que vous pouvez ensuite utiliser pour optimiser les réglages des paramètres.
Il semble que ce processus puisse être sujet à un surajustement. Comment compareriez-vous cela avec AIC?
Les valeurs AIC sont présentées pour les modèles appropriés dans la section récapitulative des modèles individuels de la plateforme de sélection des modèles. Les détails dans le aide en ligne couvrir cela et plus encore dans le rapport de comparaison des modèles.
Le data scientist ne remplit-il pas un rôle critique que JMP ne peut pas? Par exemple, le scientifique des données peut trouver un équilibre entre l'obtention de plus de vrais positifs (TP) au risque d'augmenter la PF dans un problème de classification. Comment JMP gère-t-il ce compromis et le communique-t-il au modélisateur?
Le logiciel ne peut pas remplacer le rôle d'un expert en la matière (dans ce cas, le data scientist), qui est le pont entre les données et les cas d'utilisation applicables. Cependant, les outils et les rapports fournis par JMP avec les métriques d'évaluation du modèle (RSquare, RSquare ajusté, taux d'erreurs de classification, matrice de confusion et, plus important encore, le profileur) facilitent la communication des résultats aux différents niveaux de l'organisation.
Questions sur les capacités JMP
Pouvons-nous faire de la modélisation logistique dose-réponse dans JMP?
Oui ca Publier dans la Communauté et ce une du partenaire JMP, Pega Analytics, explique comment procéder dans JMP.
Pouvons-nous exécuter une modélisation basée sur des agents dans JMP?
Pas en ce moment.
L'utilisateur peut-il spécifier les valeurs des paramètres du modèle ou les valeurs par défaut sont-elles prises en compte?
La plateforme Model Screening est conçue pour trouver les paramètres optimaux (par exemple, le nombre d'arbres, les couches boostées, etc.). Vous pouvez inclure des termes d'interaction pour les modèles linéaires. Une fois que le meilleur modèle (ou un ensemble de modèles) est trouvé, chaque modèle peut être personnalisé davantage.
Y a-t-il une colonne de validation dans votre feuille de calcul? Est-ce que cela se remplit automatiquement?
Si vous avez une colonne de validation, vous pouvez l'utiliser. Sinon, JMP propose plusieurs façons de créer une colonne de validation. Voir options comment faire cela.
Existe-t-il un moyen d'obtenir une analyse de modèle (comme Prediction Profiler) pour un modèle créé en Python si je place les données et les prédictions dans JMP?
Il existe un profileur Excel dans le complément Excel JMP qui ne peut être utilisé que pour les modèles créés dans Excel. Cependant, JMP peut exécuter vos scripts Python, R ou MATLAB et / ou échanger des données dans les deux sens, à condition que vous ayez accès au logiciel.
Qu'en est-il de la création de variables personnalisées qui pourraient fonctionner le mieux dans un modèle créé à partir de données brutes? Cette plate-forme gère-t-elle cela ou est-il nécessaire de les créer d'abord pour les avoir comme entrées?
La plate-forme de sélection des modèles utilise les données telles quelles; si vous pensez qu'il devrait y avoir des variables composées telles que les composants principaux, elles devront être créées séparément. Des variables d'interaction simples comme a * b ou quadratiques peuvent être sélectionnées via la case à cocher dans la boîte de dialogue. De plus, chaque nœud du réseau neuronal correspond également à une variable composée qui pourrait avoir une signification physique (mais encore une fois, nous n'avons aucun contrôle sur celles-ci).
JMP peut-il incorporer un modèle créé en R ou Python?
Si vous disposez d'un script R ou Python qui utilise un modèle pour prédire les résultats, vous pouvez demander à JMP d'exécuter le script R / Python et d'utiliser les résultats comme une nouvelle variable de colonne, si nécessaire. Cette papier blanc , «JMP Synergies: Utilisation de JMP et JMP Pro avec Python et R», est une excellente ressource.
Avez-vous utilisé JMP contre des données textuelles?
JMP dispose d'une plate-forme intégrée de l'explorateur de texte. Cette Conférence JMP Discovery Summit a quelques bons exemples et le aide en ligne donne un bon aperçu.
Dans Prediction Profiler, lorsque nous voyons le comportement de y par rapport à l'un de nos x, est-il établi, considérant qu'il s'agit du seul x ou suppose-t-il le comportement sachant qu'il existe également d'autres x dans le modèle?
Le profileur fournit un moyen d'étudier et d'optimiser la relation entre plusieurs variables d'entrée et la variable de sortie souhaitée. Les variables d'entrée peuvent être configurées pour être indépendantes les unes des autres ou peuvent interagir les unes avec les autres. Cette vidéo montre comment utiliser le Profiler. Notre propre Bradley Jones, chercheur distingué en R&D, a écrit ceci Article sur l'avant-propos du JMP pour célébrer le 30e anniversaire du Profiler, l'une de nos visualisations interactives les plus populaires.
