Le la plupart célèbre citation dans tous de statistiques est George Les boîtes
"Tous des modèles sont faux, mais quelques sont utile."
j'ai entendu ce citation à presque chaque conférence
j'ai jamais a été à, et parce que de ce,
à mon souvenir, j'ai en fait évité en utilisant ce citation dans n'importe lequel parler avant.
Mais quand je regardé en haut
le d'abord temps il était jamais ensemble dans imprimer, il était dans un 1976 journal
de le Américain Statistique Association article.
C'est trouvé dans un section appelé Parcimonie.
Immédiatement après que d'abord exemple
de le citation, il pourparlers à propos le importance de découverte
le le plus simple modèle que décrit le observé phénomènes.
Ce les montants à découverte des modèles que offre un raisonnable équilibre
de qualité de l'ajustement contre modèle complexité et est exactement
quoi Je suis en allant à être parler à propos aujourd'hui dans ce présentation.
JMP et JMP Pro offre un parcelle de différent la modélisation capacités,
chaque avec un parcelle de sortir en rapport à choisir un modèle.
Aujourd'hui Je suis en allant à aller dans quelques détail dans quelques de le la plupart important de ces,
mise en évidence leur motivation et le hypothèses derrière eux.
UN parcelle de le discussion volonté être à propos le AICc et Modèle BIC sélection critères,
lequel sont direct et très données- efficace outils pour adressage le problème.
Boîte avait dans esprit avec son citation,
lequel est comment à trouver un utile modèle depuis un ensemble de défectueux ou faux ceux.
Comme je était en mettant ce présentation ensemble,
je est allé à travers le dérivations de le AIC et le Bic.
je recherché à obtenir un clair compréhension
de quoi ces similaire- regarder méthodes vraiment sont et quoi hypothèses ils fait.
Après, dehors de curiosité,
je a fait un l'Internet recherche de AIC contre BIC contre validation croisée.
Il était intéressant à voir dans tous ces l'Internet formes que là est toujours
donc beaucoup débat, même cependant ces méthodes avoir a été autour pour 50 années.
Ayant récemment examiné le dérivations de le méthodes,
il regards comme là sont toujours un parcelle de idées fausses dehors là.
je pense le raison pour ce est que les deux modèle sélection critères
avoir très profond et technique dérivations
malgré le simplicité de leur des formules, les deux de eux sont égal à moins deux fois
le log de vraisemblance de le équipé modèle,
plus un simple peine basé sur le nombre de modèle paramètres.
Toi ne peut pas deviner le les raisons
pour le peine termes depuis le formule seul,
lequel fait du eux sembler mystique et arbitraire.
Un de mon objectifs aujourd'hui est à essayer
à démystifier ces sans en allant à la mer sur le mathématiques.
À mettre ce tous dans le contexte de un analyse flux de travail,
nous peut pense de un analyse projet comme ayant quatre majeur pas.
Nous d'abord avoir à acquérir le données, obtenir il organisé et nettoyé en haut.
Alors nous ajuster plusieurs des modèles à il dans un chemin
que est soit manuel ou automatique par logiciel comme JMP ou JMP Pro.
Une fois nous avons fait que, alors nous besoin à choisir un de eux
comme le modèle que étaient en allant à travail avec en mouvement avant.
Ce est un critique étape dans le processus que Bien être se concentrer sur aujourd'hui.
C'est important que nous obtenir le modèle sélection droite
parce que le qualité de le résultats et le conclusions nous faire
à le fin a besoin que nous avoir un raisonnablement bien modèle.
Ici sont le principal façons que j'ai vu personnes faire les décisions à propos des modèles.
Hypothèse essai est probablement le d'abord un personnes apprendre à propos de.
Ces sont la plupart communément utilisé à déterminer si un régression coefficient
est statistiquement significativement différent depuis zéro,
lequel des sons comme un modèle sélection problème.
Alors que ils sont souvent utilisé dans que chemin,
hypothèse essais sont dérivé sous un spécifique ensemble de hypothèses
que explicitement fait pas compte pour ayant modifié le modèle
ou ayant utilisé un modèle que était choisi comme le meilleur
parmi plusieurs alternatives.
Alors nous avoir le général empirique procédures que évaluer des modèles basé
sur données détenu dehors depuis le modèle raccord processus.
Ces techniques peut être appliqué à les deux classique statistique des modèles
comme Bien comme machine apprentissage des modèles.
Dans mon avis, résistant validation, dans particulier, est le chemin à aller
si toi avoir un entier parcelle de données.
Alors nous avoir quoi tous appelé le petit données analytique procédures.
Ces étaient dérivé pour situations quand toi avoir à faire un décision
à propos lequel modèle à utiliser, mais toi ne le faites pas avoir assez données
à prise dehors n'importe lequel observations.
Le la plupart communément utilisé de ces sont le AIC et le BIC.
Mais là sont autre Bien- connu techniques
comme C généralisé Ross-Validation et Mauve C P.
Il se tourne dehors que ces deux sont en fait asymptotiquement équivalent
à le AIC, donc dans grand échantillons toi devrait obtenir le même conclusions depuis GVC,
Mauve CP, et le AIC, dans particulier, pour à moins carrés- basé des modèles.
Alors nous aussi avoir quoi Je vais appel modèle- spécifique approches comme VIP
et partiellement carrés des modèles et le cubique regroupement critère
en cluster des modèles.
Ces sont joli niche et je ne le fera pas être parler à propos eux n'importe lequel plus ici aujourd'hui.
Alors nous aussi avoir visuel outils comme réel par prédit parcelles
et ROC courbes.
Indépendamment de de comment toi choisir ton modèle,
ces parcelles sont bien à prendre un regarder à avant en mouvement avant avec un modèle
parce que ils fournir plus intéressant information
que n'importe lequel individuel statistique volonté et peut dire nous si le meilleur modèle
que nous avons considéré donc loin est toujours un bien assez modèle pour nous à utiliser.
Mon propre d'abord rencontre avec modèle sélection critères dans mon professionnel vie
était dos dans le milieu- 2000, autour quand JMP5 et JMP 6 étaient dehors.
JMP avait ajoutée le capacité à fournir aptitude analyses
pour non- normale distributions.
Aptitude analyse est un très important outil
pour évaluer si un fabrication processus est " capable"
de livrer des produits que sont dans spécification.
JMP utilisateurs recherché à déterminer le " meilleur distribution" pour le données
donc leur processus aptitude métrique serait meilleur refléter le réalité
de leur situation.
JMP clients compris que toi pourrait ajuster différent distributions avec JMP
et savait que beaucoup de le distributions est venu avec un qualité de l'ajustement test dans un cas
de ayant un marteau provoquant toi à trouver clous partout.
Ils étaient en essayant tous le distributions ils pourrait trouver et étaient choisir le un
avec le le plus grand valeur p comme le distribution
pour leur aptitude analyse.
Ils recherché nous à codifier ce dans un nouveau ajuster tous distributions fonctionnalité
que serait automatiser ce processus pour eux.
Mais nous étaient plutôt inconfortable avec ce demande pour un nombre de les raisons.
Pour un chose, le différent distributions s'intégrer JMP
est venu avec différent sortes de qualité de l'ajustement essais.
Le normale avait un Shapiro- Wilk test.
Le Weibull avait un Cramér–von Mises test, et le JournalNormal avait un Kolmogorov test.
C'est très étrange à comparer essais
que sont plutôt différent depuis un un autre.
Un autre problème avec ce approche est que distributions avec plus paramètres
sont en allant à tendre à avoir un bord sur ceux avec moins de.
Si nous choisir le distribution basé sur le le plus grand valeur p,
il volonté toujours service distributions
avec plus paramètres comme nous voir ici avec le deux- paramètre normale par rapport
avec le quatre- paramètre Johnson Su distribution.
Alors pour quelques de le distributions
comme le de Weibull Cramer von Mises W test,
nous seulement avait tableau valeurs de valeurs p en allant en haut à quelque chose comme P. équivaut à 25.
Mais même si nous consolidé tous le qualité de l'ajustement essais vers le bas
à juste un et a obtenu précis valeurs p pour tous de eux,
il y a toujours un plus grand philosophique problème à miser et c'est que hypothèse test
comme ces peut seulement quantifier preuve contre le nul hypothèse.
Si le nul hypothèse est vrai,
alors le valeur p est un uniformément distribué aléatoire variable.
Dans autre mots, si le nul hypothèse est vrai,
alors le probabilité que le valeur p est entre 0,1 et 0,2 est exactement
le même comme le probabilité que il est entre 0,8 et 0,9.
S eeing un valeur p de 0,9 n'est-ce pas plus preuve que le hypothèse
est vrai que un valeur p de 0,3.
De retour à notre exemple, parce que tous quatre de ces distributions
avoir bonté- de- ajuster valeurs p plus grand que 0,05.
À travers ce lentille, tous quatre distributions
ajuster le données raisonnablement Bien, même cependant le qualité de l'ajustement essais dire
tous le distributions sont bien, le conclusions à propos le processus
générateur le données sont différent en fonction, dépendemment sur le distribution.
Si toi utiliser un culminer référence valeur de 1,33
à déterminer si le processus est capable, alors choisir le viable indique
que le processus est pas suffisamment capable à rencontrer le Caractéristiques,
alors que le autre distributions indiquer que le processus est capable.
Nous reconnaître que là avait à être un mieux chemin à déterminer
le distribution automatiquement et est venu à le conclusion
que ce devrait être vu comme un très basique gentil de modèle sélection problème.
Dans notre recherche pour un son méthode pour choisir un distribution,
nous trébuché sur ce très bien livre sur modèle sélection par Burnham et Anderson.
Ils donner prudent dérivations de le AIC depuis le points de vue
de information, théorie, et validation croisée.
Ils aussi donner un dérivation de le BIC dans comment le AIC peut être dérivé
dans le même chemin avec un différent hypothèse à propos le avant distribution.
Burnham et Anderson aussi soigneusement montrer
hypothèse essai est plutôt incohérent comme un modèle sélection stratégie.
Le livre avait un joli grand impact sur mon propre vues de la modélisation
et aussi sur JMP statistique la modélisation plates-formes.
De retour à le distribution sélection problème pour le moment,
quand nous est allé devant et ajoutée un distribution sélecteur,
nous terminé en haut appel il ajuster tous et nous base il sur le AICc.
Ici sur le gauche,
nous avoir deux distributions de le aptitude analyse données
nous étaient regarder à avant, le normale et le Johnson Su.
Le Johnson Su qualité de l'ajustement valeur p est plus grand que le normal parce que il a
deux plus paramètres que le normale distribution.
Maintenant sur le droite,
nous voir le résultats de un ajuster tous en utilisant le AICc.
Le normale vient dehors comme le meilleur- raccord distribution,
mais le Johnson Su est près le bas.
Ce est parce que le AICc est pénalisation il pour ayant ces deux supplémentaire paramètres.
Ce fonctionnalité a maintenant a été utilisé beaucoup, beaucoup fois
et je croire personnes sont en général joli heureux avec il.
Maintenant Je suis en allant à aller à travers
un quelque peu mathy mais avec un peu de chance accessible explication
de quoi le AICc vraiment est.
Tous droite.
Maintenant Je suis en allant à aller dans quelques basique théorie derrière le AIC.
Je vais être comme bref comme possible et utiliser le meilleur analogies comme je peut,
mais je pense il est important à être exposé à le sous-jacent notions donc toi peut voir
que le AIC a un rigoureux fondation que a quelques sens à il.
Le AIC- taper sélection critères sont basé sur un distance- taper métrique
entre probabilité distributions appelé le Kullback- Leibler ou KL divergence.
Il quantifie le montant
de information perdu par en utilisant probabilité distribution deux
un probabilité distribution un est le correct un.
KL divergence a le propriété de toujours être plus grand que ou égal à zéro
et est seulement égal à zéro quand le deux probabilité distributions
sont le même.
Ce est à dire que en utilisant le faux distribution toujours conduit
à un théoriquement quantifiable, strictement positif information perte.
Ce est joli capiteux abstrait truc,
donc Je suis en allant à traduire il dans le langue de statistique la modélisation.
Quand nous sont en utilisant données dans statistiques à apprendre à propos comment quelque chose travaux,
nous sont explicitement ou implicitement raccord probabilité des modèles à le données
à approximatif le vrai modèle que généré il.
Si nous savait le vrai probabilité générateur mécanisme, nous pourrait utiliser le KL divergence
à quantifier comment loin ou comment faux le modèle est depuis le vérité.
Nous pourrait alors essayer plusieurs des modèles et trouver le un que est le le plus proche
à le vérité.
Akaiké reconnu ce et branché le vrai
et le modèle probabilité formules dans le KL divergence formule
et utilisé un petit algèbre à voir que le KL divergence avait deux termes.
Le d'abord terme seulement contient le vrai probabilité- générateur mécanisme
pour le données, lequel nous peut jamais savoir depuis nous peut seulement travail avec des modèles.
Cependant, ce est un constante que est le même pour tous des modèles
que toi ajuster à le données
comme long comme nous jouer par un couple simple règles.
Le deuxième terme est quoi Akaiké découvert est empiriquement estimable et avec un parcelle
de mathématiques, il trouvé un simple formule à estimation ce deuxième terme.
Dans particulier,
il découvert que deux fois le KL divergence est égal à un constante
que est le même pour tous des modèles, plus deux fois le négatif log de vraisemblance
de le données utilisé à ajuster le modèle, plus deux fois le nombre de paramètres.
Tout avait a été multiplié par un facteur de deux juste à suivre le même convention
comme un probabilité rapport test, depuis le constante terme est le même
pour tous des modèles comme long comme nous ne le faites pas changement
le réponse données, nous peut ajuster plusieurs des modèles,
et le un dont AIC est le le plus petit est le un que est estimé
à avoir le le plus petit K L divergence depuis le vérité et dans un sens est le un
que est le moins faux.
En utilisant le AIC pour modèle sélection est entièrement analogue à là être
un collection de îles et toi vouloir à savoir lequel de le îles toi savoir de
est le plus proche à un autre île que toi savoir tu vas jamais être capable
à obtenir à.
Le direct solution à ce problème serait être à calculer le distances
depuis chaque de le îles à le un que nous vouloir à obtenir fermer à.
Maintenant, quoi si le île nous recherché à obtenir fermer à était entouré
par un circulaire haut clôture que nous pourrait approche?
Le île est à la perfection dans le milieu de le clôture,
donc le distance depuis le centre de le île à le clôture
est toujours le même.
Mais le clôture était loin assez loin depuis le île que il enfermé
que nous je ne pouvais pas voir il ou mesure le distance
depuis le clôture à le intérieur île.
Nous peut toujours estimation le distance depuis chaque île à le clôture.
Parce que le principal île est dans le centre de le clôture,
nous savoir que le île le plus proche à le clôture est le le plus proche île.
Ce est exactement le situation avec le AIC.
Avec le AIC, nous peut estimation le distance depuis le vérité à chaque de le des modèles.
Chaque AIC estimation est désactivé par le même montant.
Alors que nous ne peut pas estimation le absolu distance de le des modèles
depuis le vérité, nous peut savoir lequel modèle est le le plus proche
dans un relatif sens.
Le original AIC est basé
sur le probabilité de le entraînement données plus un paramètre peine.
Le entraînement probabilité évalue le bonté de- ajuster de le modèle.
Nous ne peut pas utiliser ce terme par lui-même cependant, parce que il est biaisé vers le bas
comme le modèle paramètres étaient choisi à minimiser
le négatif log de vraisemblance.
Avec un parcelle de mathématiques, Akaiké dérivé un très simple expression
que corrige pour ce biais.
Le original peine est juste 2 K
où K est le total nombre de estimé paramètres.
Pour linéaire régression avec un pente
et un intercepter, nous aussi avoir à compter le variance.
Pour que cas toi serait avoir K équivaut à trois et pas deux.
Là sont important hypothèses que dirigé à les deux K peine.
Nous peut caractériser eux librement que le modèle a à être raisonnablement bien.
Le AIC est toujours en allant à être robuste cependant, parce que si un modèle est mauvais,
alors le probabilité composant volonté être grand et volonté dominer
le peine parmi le bien des modèles.
Le 2K terme volonté service le plus petit des modèles comme long
comme le échantillon taille est grand.
Cependant, il n'a pas prendre long pour personnes à trouver que ce original AIC
souvent montre des modèles que surajustement dans petit des échantillons,
donc un plus précis, plus haut- commande approximation à le biais était dérivé.
Quand ce supplémentaire terme est ajoutée,
le critères devient connu comme le AICc ou le corrigée AIC.
Malheureusement, le réputation que le AIC surajustements
avait devenir banal avant le correction était découvert
et largement connu à propos de.
Le correction devient infini comme K approche N
pousser le modèle sélection critères loin depuis des modèles que sont presque saturé.
Avis aussi que le correction terme va à zéro comme N va à infini.
Dans grand échantillons le AIC et AICc sont équivalent.
Le AICc est quoi nous signalé dans Atout parce que il travaux Bien pour petit échantillons
et bien que il était dérivé pour Gaussienne distributions,
expérience suggère que c'est bien assez avec autre communément utilisé distributions.
Maintenant Je suis en allant à illustrer le AICc
dans un réel exemple que était un cinq- facteur central composite conception avec 31 court,
et le réponse était le montant de p ADN produit par un bioréacteur.
Je vais illustrer le AICc en utilisant le généralisé régression plate-forme,
donnant il un complet réponse surface modèle
avec tous principal effets interaction et deuxième- commande termes.
je ajuster quatre des modèles à le données.
Un est un complet réponse surface modèle en utilisant moins carrés que était ajuster automatiquement.
Alors je utiliser avant sélection
sous le normale, logNormal, et exponentiel distributions.
je choisi le exponentiel distribution à illustrer pauvre modèle ajuster.
Le des modèles avait 2 2, 9, 9, et 1 paramètres respectivement,
et le modèle avec le le plus bas AICc était le logN normal avec un AICc
de à propos 334.8.
Nous peut casser le AIC et AICc calculs
vers le bas à voir comment différent les pièces de le peine sont contribuant.
Le complet moins carrés modèle
a le le plus bas probabilité, mais le le plus élevé AICc dans l'ensemble.
Quand nous regarder à le deuxième- commande corrections et le original AIC valeurs,
nous voir que c'est le deuxième commande correction terme que est pousser
le modèle sélection critères à être très grand pour ce modèle.
Le logN normal avant sélection enregistrer probabilité est un petit inférieur
que le normale avant sélection un.
Ils les deux avoir neuf paramètres, donc leur pénalités sont le même
et le logN normal avant sélection modèle a le inférieur AICc.
Le exponentiel avant sélection modèle a le plus pauvre modèle ajuster comme mesuré
par le log de vraisemblance, mais aussi seulement a un paramètre
dans le modèle.
Dans l'ensemble il a le le plus petit peine contribution à le AICc.
Mais le pauvre ajuster de le modèle est tel que le probabilité domine
et le exponentiel modèle est le deuxième depuis le pire comme mesuré par le AICc.
Si toi revoir le général dérivation
de le AIC dans le Burnham et Anderson livre,
tu vas voir que quoi c'est en fait estimé est le attendu valeur
de un hypothétique test ensemble probabilité pour un données ensemble que a le même taille
et réponse structure, mais pas valeurs comme le entraînement ensemble.
Le attendu valeurs aussi prendre dans considération le variabilité
dans le estimation de le MLE.
je trouver ce validation croisée interprétation de le AIC
à être joli convaincant.
je pense c'est aussi important à indiquer dehors que ce validation croisée dérivation
de le AIC fait pas supposer à tous que nous avoir le correct modèle.
À montrer que ce validation croisée interprétation vraiment travaux,
je créé un simulation formule en utilisant un moyenne de le des modèles j'ai montré
dans le précédent diapositives comme Bien comme quelques autre ceux.
Ce chemin nous savait que aucun de le des modèles étaient en fait le correct un.
je ajuster chaque de le quatre des modèles à nouveau entraînement données un mille fois
et ensemble il en haut donc que emploi serait rapport un indépendant résistant probabilité
en utilisant un autre nouveau données ensemble.
je gardé chaque de le quatre des modèles structure
et distributions intact et a fait pas appliquer variable sélection.
Ce était à à la perfection imiter le exact validation croisée interprétation
de le AIC.
Depuis là, je créé un tableau de simulé
résistant probabilités et calculé leur moyenne pour chaque de le quatre des modèles.
Ce est le AIC et AICc résumé tableau depuis avant,
avec le simulation- basé moyenne résistant enregistrer les probabilités
ajoutée sur ici à le droite, toi peut voir que le complet normale modèle
résistant probabilité est très fermer à c'est AICc valeur
et que le deuxième- commande correction terme était essentiel pour ce correspondre à arriver.
Sur le autre main,
toi voir que le simulé moyenne exponentiel résistant log de vraisemblance
est aussi très fermer à le AICc.
Les deux le normale et logN normal résistant probabilités sont fermer
à le original enregistrer Normale modèles A ICc.
Le normale résistant probabilité est un petit plus petit.
je attribut ce à faire la moyenne un bouquet de simulation des modèles,
fabrication le simulé données un petit peu plus normalement distribué
que le original données était.
Là sont un couple simple règles que sont nécessaire à faire AICc comparaisons
vraiment valide entre différent des modèles.
Le la plupart important est que le stochastique partie de le données
a à rester le même, le même Lignes avoir à être utilisé
et il est le Y dans particulier que doit être le même.
Le X peut être différent, de cours, même si ils étaient initialement aléatoire,
pas seulement doit le Y être le même, mais ils ne peut pas être modifié ou transformé.
Le transformer serait avoir à être construit dans le modèle de manière appropriée.
Le AIC est aussi seulement défini
pour bien élevé maximum probabilité estimateurs
et autre étroitement en rapport méthodes.
Ce explique pourquoi toi ne le faites pas voir AICc
pour neural réseaux et autre machine apprentissage des modèles.
Aussi, toi avoir à garder dans esprit que juste parce que toi trouvé un modèle que le AICc
dit est le meilleur, il n'a pas signifier que il est un bien modèle.
Utiliser ton passé expérience et modèle diagnostique parcelles à assurer
que le modèle est droite assez à être utile.
De retour à le ADNp données, nous voir deux équivalent des modèles.
Sur le haut, nous avoir un logN normal modèle
et sur le bas nous avoir un normale ajuster à le enregistrer- transformé réponse.
Toi peut voir que le généralisé RS carrés
sont le même pour ces deux des modèles, mais le AICcs sont très différent.
Ce est parce que le logN normal ajuster
implicitement construit le transformer dans le probabilité.
Mais le enregistrer échelle normale ajuster fait pas.
Dans ce cas, le droite chose à utiliser est le logN normal.
Voici un rapide manifestation que toi avoir à décider le distribution
et le saisir variables à le même temps.
Ici est simulé données depuis un Tt HNE taper modèle
deux groupes de normalement distribué données avec le même variance,
mais différent moyens.
Si toi ajuster tous dans le distribution plate-forme,
il choisit le normale deux mélange avec un AICc de 1036.
Ce est le correct distribution
si toi ne le faites pas savoir le groupe identité de le Lignes.
Une fois toi inclure le regroupement variable cependant,
toi voir que le normale vient dehors sur haut de un AICc de 717 ou donc.
Nous aussi essayé le Weibull journalNormal
et gamma et le normale toujours est venu dehors sur haut, même cependant ceux distributions
a fait mieux dans distribution sans y compris le regroupement variable.
Vous auriez avoir à essayer différent modèle constructions
et distributions ensemble à trouver le droite combinaison.
Maintenant Je suis en allant à changement engrenages et parler un petit peu à propos le BIC,
lequel est le autre principal analytique modèle sélection critères et JMP.
Le Le BIC est motivé dans un complètement différent chemin
que le AIC.
Schwartz utilisé un grand échantillon argument dans un Bayésien contexte à approximatif
le enregistrer probabilité de le données après ayant intégré le modèle dehors,
en supposant un plat avant sur le paramètres, un expression similaire à le AIC pops dehors
avec un K enregistrer dans taper peine terme plutôt que deux fois k.
Là étaient aussi autre termes dans le intégral que sont toujours ignoré.
Un est K enregistrer 2 pi, lequel était considéré aussi petit
à accord avec et le autre un
est un normalisé variance de le MLE, lequel serait aussi être de commande K.
je n'a pas étude le AIC ou BIC dans n'importe lequel profondeur dans école.
je juste souviens-toi audience le s'abstenir AIC surajustements,
BIC sous convient plusieurs fois dans différent Des classes,
lequel je interprété comme un fort scepticisme à propos les deux de eux.
Comparant le AICc et Pénalités BIC, nous voir que le AICc volonté prévenir
grand des modèles depuis être choisi quand le échantillon taille est petit,
alors que le BIC volonté toujours permettre grand des modèles.
je voir le K enregistrer et normalisation constante peine dans le BIC comme quelque peu
moins convaincant que le validation croisée interprétation de le AIC- taper pénalités.
Quelque chose que conduit
à un marginal probabilité de le données est plus abstrait à moi que quelque chose
que est directement interprétable comme un validation croisée métrique
prise dans compte paramètre incertitude.
Je suis pleinement conscient
que Je suis éditorialisation ici, mais ce est qu'est-ce que c'est travaillé Bien
pour moi donc loin.
De retour à le p ADN Biche un plus temps.
Ici sont le même des modèles ajuster dans le ADNp exemple
en utilisant le BIC en premier sélection sur haut et le AICc sur le bas.
Avis que le BIC de le complet normale modèle
est pas comme loin loin depuis le autre des modèles comme avec le AICc.
Le meilleur modèle dans l'ensemble comme noté par le BIC est un logNormal,
mais avec 13 paramètres ce temps autour plutôt que neuf.
Le avant choisi BIC normal modèle aussi a un couple plus paramètres.
Dans petit des échantillons, contraire à le AIC surajustements,
BIC sous s'adapte, le AICc peut choisir plus petit des modèles que le BIC dans petit des échantillons.
Ici nous voir le effets choisi par le BIC et le AICc.
Le ensemble de BIC sélectionné effets est un surensemble de le ceux choisi
par le AICc.
UN aussi avis, de façon intéressante, que tous quatre effets pas choisi
par le AICc sont statistiquement significatif selon le BIC.
Sous le BIC, le pHcarré terme est très significatif,
mais il n'est-ce pas présent dans le AICc modèle, pour exemple.
je serait dire que tous le significatif effets
devrait avoir astérisques par eux,
mais tous significatif valeurs p avoir astérisques par eux en J Député rapports.
Plutôt, Je vais juste dire que je prendre valeurs p de effets
après sélection avec un grain de sel.
Bien que le deux des modèles choisir différent effets,
quelques de eux très statistiquement significatif dans le modèle.
Si nous regarder à le profil
ou variable importance depuis ces deux des modèles,
ils dire un très similaire histoire.
Alimentation taux est par loin le la plupart important
et après que le commande est le même entre le deux des modèles.
pH uniquement impacts 3% de le variation dans le réponse surface sous le BIC
meilleur modèle et n'est-ce pas inclus à tous dans le AICc meilleur modèle.
Ce est un très clair exemple
de statistique importance et pratique pertinence
être deux différent des choses.
Là sont un parcelle de des avis dehors là à propos le AICc et le BIC.
Pour exemple, Burnham et Anderson
dire que les deux méthodes sont cohérent pour le quasi- vrai modèle comme N va
à infini.
Mais alors il y a autres que dire
que le Le BIC est le seulement un cohérent pour le vérité.
Burnham et Anderson dire que toi peut ensemble en haut simulation à faire un regarder bien,
changement le chemin c'est ensemble en haut un petit peu et ça va retourner le résultats.
Burnham et Anderson,
OMS sont à propos le la plupart irréductible AICc Ventilateurs dehors là dans leur des simulations,
trouvé que le AICc choisit moins vraiment mauvais des modèles que le BIC.
je pense c'est pas un mauvais idée à regarder à les deux BIC et AICc
après postuler variable sélection.
Si le meilleur des modèles sous les deux sont joli beaucoup le même, lequel est souvent le cas,
toi peut sentir joli bien à propos soit de eux, si ils sont différent
c'est bien à pense à propos le les raisons pourquoi et utiliser ton sujet matière compétence
à aide faire un décision.
Mon dernier sujet est modèle sélection critères et linéaire mixte des modèles.
Ce est un joli compliqué situation, en particulier parce que là n'est-ce pas consensus
entre logiciel vendeurs dans comment à calculer le modèle sélection critères.
À illustrer ce, je créé un diviser parcelle conception avec quatre facteurs.
Là sont deux entier parcelle effets et deux diviser parcelle effets.
Si toi prendre le même données et ajuster le même modèle dans JMP Pro
et SAS en utilisant ajuster mixte et procédure mixte,
toi volonté voir que le probabilités et modèle sélection critères ne le faites pas correspondre,
mais le variance estimations faire, toi obtenir différent fixé effets
paramètre estimations, mais le fixé effets essais accepter.
Un de le les raisons pour ce est que JMP et SAS fixé effets conception matrices
utiliser un différent codage stratégie pour catégorique effets.
Sur le gauche je avoir le JMP conception matrice pour le diviser parcelle exemple,
et sur le droite toi voir le SAS un.
JMP crée un rangée de moins ceux
pour le dernier niveau de catégorique effets lequel est vu dans bleu ici
alors que SAS crée un rangée de des zéros.
Ni l'un ni l'autre un de ces est droite ou faux.
C'est comme en changeant unités ou en changeant coordonner systèmes.
JMP catégorique effets somme à zéro, alors que SAS catégorique effets
peut être interprété comme différences depuis le dernier niveau.
Bien que le brut paramètre estimations différer,
prédictions volonté être le même entre le deux codages parce que le des modèles
sont fondamentalement équivalent.
La plupart des choses que matière
ne le fera pas être différent entre le deux logiciel des produits.
Cependant, REML, le méthode utilisé à estimation mixte effets des modèles
a un ambiguïté dans il.
Le base Gaussien probabilité à le haut
volonté être le même dans soit logiciel parce que c'est un réel probabilité.
Mais le REML ou résiduel probabilité signalé par procédure mixte
et JMP avantages ajuster mixte n'est-ce pas un réel probabilité.
Si il était un réel probabilité, alors nous serait obtenir le même valeurs
indépendamment de de lequel codage ou logiciel nous utilisé.
Ce est parce que il y a un supplémentaire peine ajoutée à le Gaussien probabilité
pour REML que réduit le biais de le variance estimations.
Mais ce dépend sur le conception matrice
dans un chemin que est sensible à le codage utilisé.
JMP rapports, le brut Gaussien probabilité, et le AICc et BIC qui il rapports
sont basé sur que plutôt que le résiduel probabilité.
Le nombre de paramètres ajuster mixte compte
est le total y compris les deux fixé effets et variance paramètres.
Nous a fait il ce chemin à faire il donc que toi peut utiliser JMP à comparer des modèles
avec différent fixé- effet constructions comme Bien comme variance des modèles.
Dans SAS, ils seulement rapport le résiduel ou REML log de vraisemblance
et il rapports modèle sélection critères basé sur il.
Toi peut voir ici que il aussi seulement compte variance paramètres comme Bien
parce que le différence entre le SAS probabilité
et c'est AIC est pour impliquant deux paramètres,
un variance composant et un résiduel.
Tous ce moyens est que
toi peut seulement utiliser p roc mixte pour comparant variance des modèles
avec le AIC parce que le modèle sélection critères
comprend le REML peine et c'est seulement compte variance paramètres.
Avec tous exigible respect,
je peut pense de quelques bien les raisons pour le SAS approche,
et là sont probablement quelques autre bien les raisons je ne le faites pas même savoir de.
Mais je personnellement préférer le la flexibilité offert par le JMP approche.
À résumer, si toi comparer résultats à travers logiciel
pour non- mixte des modèles, le signifier paramètre estimations peut différer,
mais sinon tout autre devrait être le même.
Comme long comme le logiciel calcule
le constantes et le probabilité correctement comme JMP fait.
Quand nous obtenir à Gaussienne mixte des modèles,
là sont très important logiciel différences
et le portée de le les décisions toi peut faire à propos le des modèles
en utilisant le logiciel peut être très différent
en fonction, dépendemment sur le détails de comment c'est probabilité est calculé.
JMP modèle sélection critères
sont comparable les deux dans le même plate-forme
et à travers autre la modélisation plates-formes.
Je vais fermer avec ce glisser, lequel donne mon basique recommandations
pour postuler le outils discuté aujourd'hui.
Hypothèse essai est un outil pour quand toi besoin à prouver quelque chose
et est meilleur utilisé dans situations quand toi avoir un bien idée
de le modèle structure dans avance.
Quand tu es fonctionnement sur un problème dans industrie et le échantillon taille est petit,
je serait bâton à classique statistique des modèles
et utiliser le AICc comme le primaire outil pour choisir entre eux.
Avec plus grand données des ensembles, quand je avoir assez données à prise dehors
à moins un troisième de le des observations, je utiliser résistant validation croisée à comparer
classique statistique des modèles comme Bien comme machine apprentissage des modèles.
Dans mon propre travail, je tendre à éviter K- pli validation croisée
et c'est variance.
Le modèle sélection critères sont équivalent à il dans plus grand des échantillons,
et je tendre à bâton avec plus simple des modèles avec plus petit données ensembles.
je savoir que pas tout le monde est en allant à accepter avec moi sur ce,
mais ce est quoi travaux pour moi et est un joli sûr chemin
à approche modèle sélection.
Choisir le la plupart utile modèle depuis un ensemble de alternatives que doit tous être faux
sur quelques niveau est un important décision, et ces sont le principal considérations
je avoir quand décider sur un modèle sélection stratégie.
Remercier toi pour ton attention et je regarder avant à parler avec toi
dans le Rencontrer le Expert Séances.
