Le
la plupart
célèbre
citation
dans
tous
de
statistiques
est
George
Boîtes
"Tous modèles sont faux, mais quelques sont utile."
J'ai entendu ce citation à presque chaque conférence
J'ai jamais a été à, et parce que de ce,
à mon souvenir, J'ai en fait évité en utilisant ce citation dans n'importe lequel parler avant.
Mais quand I regardé en haut
le d'abord temps il était jamais ensemble dans imprimer, il était dans a 1976 journal
de le Américain Statistique Association article.
C'est trouvé dans a section appelé Parcimonie.
Immédiatement après que d'abord exemple
de le citation, il pourparlers à propos le importance de trouver
le le plus simple modèle que décrit le observé phénomènes.
Ce montants à trouver modèles que offre a raisonnable équilibre
de qualité d'ajustement contre modèle complexité et est exactement
quoi Je suis en allant à être parler à propos aujourd'hui dans ce présentation.
JMP et JMP Pro offre a parcelle de différent modélisation capacités,
chaque avec a parcelle de sortir en rapport à choisir a modèle.
Aujourd'hui Je suis en allant à aller dans quelques détail dans quelques de le la plupart important de ces,
mise en évidence leur motivation et le hypothèses derrière eux.
A parcelle de le discussion volonté être à propos le AICc et Modèle BIC sélection critères,
lequel sont direct et très données- efficace outils pour adressage le problème.
Boîte avait dans esprit avec son citation,
lequel est comment à trouver a utile modèle depuis a ensemble de défectueux ou faux ceux.
Comme I était putting ce présentation ensemble,
I est allé à travers le dérivations de le AIC et le Bic.
I recherché à obtenir a clair compréhension
de quoi ces similaire- regarder méthodes vraiment sont et quoi hypothèses ils fait.
Après, dehors de curiosité,
I a fait un Internet recherche de AIC contre BIC contre validation croisée.
Il était intéressant à voir dans tous ces Internet formes que là est toujours
donc beaucoup débat, même cependant ces méthodes avoir a été autour pour 50 années.
Ayant récemment révisé le dérivations de le méthodes,
il apparence comme là sont toujours a parcelle de idées fausses dehors là.
I pense le raison pour ce est que les deux modèle sélection critères
avoir très profond et technique dérivations
malgré le simplicité de leur formules, les deux de eux sont égal à moins deux fois
le logarithme de vraisemblance de le équipé modèle,
plus a simple peine basé sur le nombre de modèle paramètres.
Toi ne peut pas deviner le raisons
pour le peine termes depuis le formule seul,
lequel fait eux sembler mystique et arbitraire.
Un de mon objectifs aujourd'hui est à essayer
à démystifier ces sans en allant à la mer sur le mathématiques.
À mettre ce tous dans le contexte de un analyse flux de travail,
nous peut pense de un analyse projet comme ayant quatre majeur mesures.
Nous d'abord avoir à acquérir le données, obtenir il organisé et nettoyé en haut.
Alors nous ajuster plusieurs modèles à il dans a chemin
que est soit manuel ou automatisé par logiciel comme JMP ou JMP Pro.
Une fois nous avons fait que, alors nous besoin à choisir un de eux
comme le modèle que étaient en allant à travail avec mobile avant.
Ce est a critique étape dans le processus que Bien être se concentrer sur aujourd'hui.
C'est important que nous obtenir le modèle sélection droite
parce que le qualité de le résultats et le conclusions nous faire
à le fin nécessite que nous avoir a raisonnablement bien modèle.
Ici sont le principal manières que J'ai vu personnes faire décisions à propos modèles.
Hypothèse essai est probablement le d'abord un personnes apprendre à propos de.
Ces sont la plupart communément utilisé à déterminer si a régression coefficient
est statistiquement de manière significative différent depuis zéro,
lequel sons comme a modèle sélection problème.
Alors que ils sont souvent utilisé dans que chemin,
hypothèse tests sont dérivé sous a spécifique ensemble de hypothèses
que explicitement fait pas compte pour ayant modifié le modèle
ou ayant utilisé a modèle que était choisi comme le meilleur
parmi plusieurs alternatives.
Alors nous avoir le général empirique procédures que évaluer modèles basé
sur données détenu dehors depuis le modèle convenable processus.
Ces techniques peut être appliqué à les deux classique statistique modèles
comme Bien comme machine apprentissage modèles.
Dans mon avis, résistant validation, dans particulier, est le chemin à aller
si toi avoir a entier parcelle de données.
Alors nous avoir quoi tous appelé le petit données analytique procédures.
Ces étaient dérivé pour situations quand toi avoir à faire a décision
à propos lequel modèle à utiliser, mais toi ne le faites pas avoir assez données
à prise dehors n'importe lequel observations.
Le la plupart communément utilisé de ces sont le AIC et le BIC.
Mais là sont autre Bien- connu techniques
comme C généralisé Ross-Validation et C de Mallow P.
Il tours dehors que ces deux sont en fait asymptotiquement équivalent
à le AIC, donc dans grand échantillons toi devrait obtenir le même conclusions depuis GCV,
Mauve CP, et le AIC, dans particulier, pour à moins carrés- basé modèles.
Alors nous aussi avoir quoi Je vais appel modèle- spécifique approches comme VIP
et partiellement carrés modèles et le cubique regroupement critère
en clustering modèles.
Ces sont joli niche et I ne le fera pas être parler à propos eux n'importe lequel plus ici aujourd'hui.
Alors nous aussi avoir visuel outils comme réel par prédit parcelles
et ROC courbes.
Indépendamment de de comment toi choisir ton modèle,
ces parcelles sont bien à prendre a regarder à avant mobile avant avec a modèle
parce que ils fournir plus intéressant information
que n'importe lequel individuel statistique volonté et peut dire nous si le meilleur modèle
que nous avons considéré donc loin est toujours a bien assez modèle pour nous à utiliser.
Mon propre d'abord rencontre avec modèle sélection critères dans mon professionnel vie
était dos dans le milieu- 2000, autour quand JMP 5 et JMP 6 étaient dehors.
JMP avait ajouté le capacité à fournir capacité analyses
pour non- normale distributions.
Capacité analyse est a très important outil
pour évaluer si a fabrication processus est " capable"
de livrer produits que sont dans spécification.
JMP utilisateurs recherché à déterminer le " meilleur distribution" pour le données
donc leur processus capacité métrique serait meilleur refléter le réalité
de leur situation.
JMP clients compris que toi pourrait ajuster différent distributions avec JMP
et savait que beaucoup de le distributions est venu avec a qualité d'ajustement test dans a cas
de ayant a marteau causant toi à trouver clous partout.
Ils étaient en essayant tous le distributions ils pourrait trouver et étaient choisir le un
avec le le plus grand valeur p comme le distribution
pour leur capacité analyse.
Ils recherché nous à codifier ce dans a nouveau ajuster tous distributions fonctionnalité
que serait automatiser ce processus pour eux.
Mais nous étaient plutôt inconfortable avec ce demande pour a nombre de raisons.
Pour un chose, le différent distributions s'intégrer JMP
est venu avec différent types de qualité d'ajustement essais.
Le normale avait a Shapiro- Wilk test.
Le Weibull avait a Cramér–von Mises test, et le LogNormal avait a Kolmogorov test.
C'est très étrange à comparer tests
que sont plutôt différent depuis un un autre.
Un autre problème avec ce approche est que distributions avec plus paramètres
sont en allant à tendre à avoir un bord sur ceux avec moins de.
Si nous choisir le distribution basé sur le le plus grand valeur p,
il volonté toujours service distributions
avec plus paramètres comme nous voir ici avec le deux- paramètre normale comparé
avec le quatre- paramètre Johnson Sont distribution.
Alors pour quelques de le distributions
comme le Weibull Cramer depuis Mises W test,
nous seulement avait tableau valeurs de valeurs p en allant en haut à quelque chose comme P est égal à 25.
Mais même si nous consolidé tous le qualité d'ajustement tests vers le bas
à juste un et a obtenu précis valeurs p pour tous de eux,
il y a toujours a plus grand philosophique problème à miser et c'est que hypothèse test
comme ces peut seulement quantifier preuve contre le nul hypothèse.
Si le nul hypothèse est vrai,
alors le valeur p est a uniformément distribué aléatoire variable.
Dans autre mots, si le nul hypothèse est vrai,
alors le probabilité que le valeur p est entre 0,1 et 0,2 est exactement
le même comme le probabilité que il est entre 0,8 et 0,9.
S voir a valeur p de 0,9 n'est pas plus preuve que le hypothèse
est vrai que a valeur p de 0,3.
De retour à notre exemple, parce que tous quatre de ces distributions
avoir bonté- de- ajuster valeurs p plus grand que 0,05.
À travers ce lentille, tous quatre distributions
ajuster le données raisonnablement Bien, même cependant le qualité d'ajustement tests dire
tous le distributions sont bien, le conclusions à propos le processus
générateur le données sont différent selon sur le distribution.
Si toi utiliser a culminer référence valeur de 1.33
à déterminer si le processus est capable, alors choisir le viable indique
que le processus est pas suffisamment capable à rencontrer le caractéristiques,
alors que le autre distributions indiquer que le processus est capable.
Nous reconnaître que là avait à être a mieux chemin à déterminer
le distribution automatiquement et est venu à le conclusion
que ce devrait être vu comme a très basique gentil de modèle sélection problème.
Dans notre recherche pour a son méthode pour choisir a distribution,
nous trébuché sur ce très bien livre sur modèle sélection par Burnham et Anderson.
Ils donner prudent dérivations de le AIC depuis le perspectives
de information, théorie, et validation croisée.
Ils aussi donner a dérivation de le BIC dans comment le AIC peut être dérivé
dans le même chemin avec a différent hypothèse à propos le avant distribution.
Burnham et Anderson aussi soigneusement montrer
hypothèse essai est plutôt incohérent comme a modèle sélection stratégie.
Le livre avait a joli grand impact sur mon propre vues de modélisation
et aussi sur JMP statistique modélisation plateformes.
De retour à le distribution sélection problème pour le moment,
quand nous est allé devant et ajouté a distribution sélecteur,
nous terminé en haut appel il ajuster tous et nous base il sur le AICc.
Ici sur le gauche,
nous avoir deux distributions de le capacité analyse données
nous étaient regarder à avant, le normale et le Johnson Ils sont.
Le Johnson Su's qualité d'ajustement valeur p est plus grand que le normal parce que il a
deux plus paramètres que le normale distribution.
Maintenant sur le droite,
nous voir le résultats de a ajuster tous en utilisant le AICc.
Le normale vient dehors comme le meilleur- convenable distribution,
mais le Johnson Su est près le bas.
Ce est parce que le AICc est pénalisation il pour ayant ces deux supplémentaire paramètres.
Ce fonctionnalité a maintenant a été utilisé beaucoup, beaucoup fois
et I croire personnes sont en général joli heureux avec il.
Maintenant Je suis en allant à aller à travers
a quelque peu mathy mais avec un peu de chance accessible explication
de quoi le AICc vraiment est.
Tous droite.
Maintenant Je suis en allant à aller dans quelques basique théorie derrière le AIC.
Je vais être comme bref comme possible et utiliser le meilleur analogies comme I peut,
mais I pense il est important à être exposé à le sous-jacent concepts donc toi peut voir
que le AIC a a rigoureux fondation que a quelques sens à il.
Le AIC- taper sélection critères sont basé sur a distance- taper métrique
entre probabilité distributions appelé le Kullback- Leibler ou CL divergence.
Il quantifie le montant
de information perdu par en utilisant probabilité distribution deux
un probabilité distribution un est le correct un.
CL divergence a le propriété de toujours être plus grand que ou égal à zéro
et est seulement égal à zéro quand le deux probabilité distributions
sont le même.
Ce est à dire que en utilisant le faux distribution toujours conduit
à a théoriquement quantifiable, strictement positif information perte.
Ce est joli capiteux abstrait truc,
donc Je suis en allant à traduire il dans le langue de statistique modélisation.
Quand nous sont en utilisant données dans statistiques à apprendre à propos comment quelque chose travaux,
nous sont explicitement ou implicitement convenable probabilité modèles à le données
à approximatif le vrai modèle que généré il.
Si nous savait le vrai probabilité générateur mécanisme, nous pourrait utiliser le CL divergence
à quantifier comment loin ou comment faux le modèle est depuis le vérité.
Nous pourrait alors essayer plusieurs modèles et trouver le un que est le le plus proche
à le vérité.
Akaiké reconnu ce et branché le vrai
et le modèle probabilité formules dans le CL divergence formule
et utilisé a petit algèbre à voir que le CL divergence avait deux termes.
Le d'abord terme seulement contient le vrai probabilité- générateur mécanisme
pour le données, lequel nous peut jamais savoir depuis nous peut seulement travail avec modèles.
Cependant, ce est a constante que est le même pour tous modèles
que toi ajuster à le données
comme long comme nous jouer par a couple simple règles.
Le deuxième terme est quoi Akaiké découvert est empiriquement estimable et avec a parcelle
de mathématiques, il trouvé a simple formule à estimation ce deuxième terme.
Dans particulier,
il découvert que deux fois le CL divergence est égal à a constante
que est le même pour tous modèles, plus deux fois le négatif logarithme de vraisemblance
de le données utilisé à ajuster le modèle, plus deux fois le nombre de paramètres.
Tout avait a été multiplié par a facteur de deux juste à suivre le même convention
comme a probabilité rapport test, depuis le constante terme est le même
pour tous modèles comme long comme nous ne le faites pas changement
le réponse données, nous peut ajuster plusieurs modèles,
et le un dont AIC est le le plus petit est le un que est estimé
à avoir le le plus petit K L divergence depuis le vérité et dans a sens est le un
que est le moins faux.
En utilisant le AIC pour modèle sélection est entièrement analogue à là être
a collection de îles et toi vouloir à savoir lequel de le îles toi savoir de
est le plus proche à un autre île que toi savoir tu vas jamais être capable
à obtenir à.
Le direct solution à ce problème serait être à calculer le distances
depuis chaque de le îles à le un que nous vouloir à obtenir fermer à.
Maintenant, quoi si le île nous recherché à obtenir fermer à était entouré
par a circulaire haut clôture que nous pourrait approche?
Le île est parfaitement dans le milieu de le clôture,
donc le distance depuis le centre de le île à le clôture
est toujours le même.
Mais le clôture était loin assez loin depuis le île que il ci-joint
que nous ne pouvait pas voir il ou mesure le distance
depuis le clôture à le intérieur île.
Nous peut toujours estimation le distance depuis chaque île à le clôture.
Parce que le principal île est dans le centre de le clôture,
nous savoir que le île le plus proche à le clôture est le le plus proche île.
Ce est exactement le situation avec le AIC.
Avec le AIC, nous peut estimation le distance depuis le vérité à chaque de le modèles.
Chaque AIC estimation est désactivé par le même montant.
Alors que nous ne peut pas estimation le absolu distance de le modèles
depuis le vérité, nous peut savoir lequel modèle est le le plus proche
dans a relatif sens.
Le original AIC est basé
sur le probabilité de le entraînement données plus a paramètre peine.
Le entraînement probabilité évalue le bonté de ajuster de le modèle.
Nous ne peut pas utiliser ce terme par lui-même cependant, parce que il est biaisé vers le bas
comme le modèle paramètres étaient choisi à minimiser
le négatif logarithme de vraisemblance.
Avec a parcelle de mathématiques, Akaiké dérivé a très simple expression
que corrige pour ce biais.
Le original peine est juste 2 K
où K est le total nombre de estimé paramètres.
Pour linéaire régression avec a pente
et un intercepter, nous aussi avoir à compter le variance.
Pour que cas toi serait avoir K est égal à trois et pas deux.
Là sont important hypothèses que dirigé à le 2 K peine.
Nous peut caractériser eux librement que le modèle a à être raisonnablement bien.
Le AIC est toujours en allant à être robuste cependant, parce que si a modèle est mauvais,
alors le probabilité composant volonté être grand et volonté dominer
le peine parmi le bien modèles.
Le 2K terme volonté service le plus petit modèles comme long
comme le échantillon taille est grand.
Cependant, il n'a pas prendre long pour personnes à trouver que ce original AIC
souvent spectacles modèles que sur-apprentissage dans petit échantillons,
donc a plus précis, plus haut- commande approximation à le biais était dérivé.
Quand ce supplémentaire terme est ajouté,
le critères devient connu comme le AICc ou le corrigé AIC.
Malheureusement, le réputation que le AIC suréquipements
avait devenir banal avant le correction était découvert
et largement connu à propos de.
Le correction devient infini comme K approches N
pousser le modèle sélection critères loin depuis modèles que sont presque saturé.
Avis aussi que le correction terme va à zéro comme N va à infini.
Dans grand échantillons le AIC et AICc sont équivalent.
Le AICc est quoi nous signalé dans Atout parce que il travaux Bien pour petit échantillons
et bien que il était dérivé pour gaussien distributions,
expérience suggère que c'est bien assez avec autre communément utilisé distributions.
Maintenant Je suis en allant à illustrer le AICc
dans a réel exemple que était a cinq- facteur central composite conception avec 31 court,
et le réponse était le montant de p ADN produit par a bioréacteur.
Je vais illustrer le AICc en utilisant le généralisé régression plate-forme,
donner il a complet réponse surface modèle
avec tous principal effets interactions et deuxième- commande termes.
I ajuster quatre modèles à le données.
Un est a complet réponse surface modèle en utilisant moins carrés que était ajuster automatiquement.
Alors I utiliser avant sélection
sous le normale, logNormal, et exponentiel distributions.
I choisi le exponentiel distribution à illustrer pauvre modèle ajuster.
Le modèles avait 2 2, 9, 9, et 1 paramètres respectivement,
et le modèle avec le le plus bas AICc était le logN normal avec un AICc
de à propos 334.8.
Nous peut casser le AIC et AICc calculs
vers le bas à voir comment différent parties de le peine sont contribuant.
Le complet moins carrés modèle
a le le plus bas probabilité, mais le le plus élevé AICc dans l'ensemble.
Quand nous regarder à le deuxième- commande corrections et le original AIC valeurs,
nous voir que c'est le deuxième commande correction terme que est pousser
le modèle sélection critères à être très grand pour ce modèle.
Le logN normal avant sélection enregistrer probabilité est a petit inférieur
que le normale avant sélection un.
Ils les deux avoir neuf paramètres, donc leur pénalités sont le même
et le logN normal avant sélection modèle a le inférieur AICc.
Le exponentiel avant sélection modèle a le les plus pauvres modèle ajuster comme mesuré
par le logarithme de vraisemblance, mais aussi seulement a un paramètre
dans le modèle.
Dans l'ensemble il a le le plus petit peine contribution à le AICc.
Mais le pauvre ajuster de le modèle est tel que le probabilité domine
et le exponentiel modèle est le deuxième depuis le pire comme mesuré par le AICc.
Si toi revoir le général dérivation
de le AIC dans le Burnham et Anderson livre,
tu vas voir que quoi c'est en fait estimé est le attendu valeur
de a hypothétique test ensemble probabilité pour a données ensemble que a le même taille
et réponse structure, mais pas valeurs comme le entraînement ensemble.
Le attendu valeurs aussi prendre dans considération le variabilité
dans le estimation de le MLE.
I trouver ce validation croisée interprétation de le AIC
à être joli convaincant.
I pense c'est aussi important à indiquer dehors que ce validation croisée dérivation
de le AIC fait pas supposer à tous que nous avoir le correct modèle.
À montrer que ce validation croisée interprétation vraiment travaux,
I créé a simulation formule en utilisant un moyenne de le modèles J'ai montré
dans le précédent diapositives comme Bien comme quelques autre ceux.
Ce chemin nous savait que aucun de le modèles étaient en fait le correct un.
I ajuster chaque de le quatre modèles à nouveau entraînement données a mille fois
et ensemble il en haut donc que emploi serait rapport un indépendant résistant probabilité
en utilisant un autre nouveau données ensemble.
I gardé chaque de le quatre modèles structure
et distributions intact et a fait pas appliquer variable sélection.
Ce était à parfaitement imiter le exact validation croisée interprétation
de le AIC.
Depuis là, I créé a tableau de simulé
résistant probabilités et calculé leur moyenne pour chaque de le quatre modèles.
Ce est le AIC et AICc résumé tableau depuis avant,
avec le simulation- basé moyenne résistant logarithmes de vraisemblance
ajouté sur ici à le droite, toi peut voir que le complet normale modèle
résistant probabilité est très fermer à c'est AICc valeur
et que le deuxième- commande correction terme était essentiel pour ce correspondre à arriver.
Sur le autre main,
toi voir que le simulé moyenne exponentiel résistant logarithme de vraisemblance
est aussi très fermer à le AICc.
Les deux le normale et logN normal résistant probabilités sont fermer
à le original enregistrer Normale modèles A CIc.
Le normale résistant probabilité est a petit plus petit.
I attribut ce à moyenne a bouquet de simulation modèles,
fabrication le simulé données a petit peu plus normalement distribué
que le original données était.
Là sont a couple simple règles que sont nécessaire à faire AICc comparaisons
vraiment valide entre différent modèles.
Le la plupart important est que le stochastique partie de le données
a à rester le même, le même rangées avoir à être utilisé
et il est le Y dans particulier que doit être le même.
Le X peut être différent, de cours, même si ils étaient initialement aléatoire,
pas seulement doit le Y être le même, mais ils ne peut pas être modifié ou transformé.
Le transformer serait avoir à être construit dans le modèle de manière appropriée.
Le AIC est aussi seulement défini
pour bien élevé maximum probabilité estimateurs
et autre étroitement en rapport méthodes.
Ce explique pourquoi toi ne le faites pas voir AICc
pour neural réseaux et autre machine apprentissage modèles.
Aussi, toi avoir à garder dans esprit que juste parce que toi trouvé a modèle que le AICc
dit est le meilleur, il n'a pas signifier que il est a bien modèle.
Utiliser ton passé expérience et modèle diagnostique parcelles à assurer
que le modèle est droite assez à être utile.
De retour à le ADNp données, nous voir deux équivalent modèles.
Sur le haut, nous avoir a logN normal modèle
et sur le bas nous avoir a normale ajuster à le enregistrer- transformé réponse.
Toi peut voir que le généralisé RS carrés
sont le même pour ces deux modèles, mais le AICcs sont très différent.
Ce est parce que le logN normal ajuster
implicitement construit le transformer dans le probabilité.
Mais le enregistrer échelle normale ajuster fait pas.
Dans ce cas, le droite chose à utiliser est le logN normal.
Voici a rapide démonstration que toi avoir à décider le distribution
et le saisir variables à le même temps.
Ici est simulé données depuis a Tt est taper modèle
deux groupes de normalement distribué données avec le même variance,
mais différent moyens.
Si toi ajuster tous dans le distribution plate-forme,
il choisit le normale deux mélange avec un AICc de 1036.
Ce est le correct distribution
si toi ne le faites pas savoir le groupe identité de le rangées.
Une fois toi inclure le regroupement variable cependant,
toi voir que le normale vient dehors sur haut de un AICc de 717 ou donc.
Nous aussi essayé le Weibull logNormal
et gamma et le normale toujours est venu dehors sur haut, même cependant ceux distributions
a fait mieux dans distribution sans y compris le regroupement variable.
Tu aurais avoir à essayer différent modèle structures
et distributions ensemble à trouver le droite combinaison.
Maintenant Je suis en allant à changement engrenages et parler a petit peu à propos le BIC,
lequel est le autre principal analytique modèle sélection critères et JMP.
Le BIC est motivé dans a complètement différent chemin
que le AIC.
Schwartz utilisé a grand échantillon argument dans a bayésien contexte à approximatif
le enregistrer probabilité de le données après ayant intégré le modèle dehors,
supposant a plat avant sur le paramètres, un expression similaire à le AIC pops dehors
avec a K enregistrer dans taper peine terme plutôt que deux fois k.
Là étaient aussi autre termes dans le intégral que sont toujours ignoré.
Un est K enregistrer 2 pi, lequel était considéré aussi petit
à accord avec et le autre un
est a normalisé variance de le MLE, lequel serait aussi être de ordre K.
I n'a pas étude le AIC ou BIC dans n'importe lequel profondeur dans école.
I juste souviens-toi audience le s'abstenir AIC suréquipements,
BIC sous convient plusieurs fois dans différent cours,
lequel I interprété comme a fort scepticisme à propos les deux de eux.
Comparaison le AICc et Pénalités BIC, nous voir que le AICc volonté prévenir
grand modèles depuis être choisi quand le échantillon taille est petit,
alors que le BIC volonté toujours permettre grand modèles.
I voir le K enregistrer et normalisation constante peine dans le BIC comme quelque peu
moins convaincant que le validation croisée interprétation de le AIC- taper pénalités.
Quelque chose que conduit
à a marginal probabilité de le données est plus abstrait à moi que quelque chose
que est directement interprétable comme a validation croisée métrique
prise dans compte paramètre incertitude.
Je suis pleinement conscient
que Je suis éditorialisation ici, mais ce est qu'est-ce que travaillé Bien
pour moi donc loin.
De retour à le p ADN Biche un plus temps.
Ici sont le même modèles ajuster dans le ADNp exemple
en utilisant le BIC d'abord sélection sur haut et le AICc sur le bas.
Avis que le BIC de le complet normale modèle
est pas comme loin loin depuis le autre modèles comme avec le AICc.
Le meilleur modèle dans l'ensemble comme noté par le BIC est a logNormal,
mais avec 13 paramètres ce temps autour plutôt que neuf.
Le avant choisi BIC normal modèle aussi a a couple plus paramètres.
Dans petit échantillons, contraire à le AIC suréquipements,
BIC sous convient, le AICc peut choisir plus petit modèles que le BIC dans petit échantillons.
Ici nous voir le effets choisi par le BIC et le AICc.
Le ensemble de BIC-sélectionné effets est a super-ensemble de le ceux choisi
par le AICc.
A aussi avis, c'est intéressant, que tous quatre effets pas choisi
par le AICc sont statistiquement significatif au sens du BIC.
Sous le BIC, le pH au carré terme est très significatif,
mais il n'est pas présent dans le AICc modèle, pour exemple.
I serait dire que tous le significatif effets
devrait avoir astérisques par eux,
mais tous significatif valeurs p avoir astérisques par eux et J député rapports.
Plutôt, Je vais juste dire que I prendre valeurs p de effets
après sélection avec a grain de sel.
Bien que le deux modèles choisir différent effets,
quelques de eux très statistiquement significatif dans le modèle.
Si nous regarder à le profil
ou variable importance depuis ces deux modèles,
ils dire a très similaire histoire.
Alimentation taux est par loin le la plupart important
et après que le commande est le même entre le deux modèles.
pH seulement impacts 3% de le variation dans le réponse surface sous le BIC
meilleur modèle et n'est pas compris à tous dans le AICc meilleur modèle.
Ce est a très clair exemple
de statistique importance et pratique pertinence
être deux différent des choses.
Là sont a parcelle de opinions dehors là à propos le AICc et le BIC.
Pour exemple, Burnham et Anderson
dire que les deux méthodes sont cohérent pour le Presque- vrai modèle comme N va
à infini.
Mais alors il y a autres que dire
que le BIC est le seulement un cohérent pour le vérité.
Burnham et Anderson dire que toi peut ensemble en haut simulations à faire un regarder bien,
changement le chemin c'est ensemble en haut a petit peu et ça va retourner le résultats.
Burnham et Anderson,
OMS sont à propos le la plupart irréductible AICc ventilateurs dehors là dans leur simulations,
trouvé que le AICc choisit moins vraiment mauvais modèles que le BIC.
I pense c'est pas a mauvais idée à regarder à les deux BIC et AICc
après postuler variable sélection.
Si le meilleur modèles sous les deux sont joli beaucoup le même, lequel est souvent le cas,
toi peut sentir joli bien à propos soit de eux, si ils sont différent
c'est bien à pense à propos le raisons pourquoi et utiliser ton sujet matière compétence
à aide faire a décision.
Mon dernier sujet est modèle sélection critères et linéaire mixte modèles.
Ce est a joli compliqué situation, en particulier parce que là n'est pas consensus
entre logiciel fournisseurs dans comment à calculer le modèle sélection critères.
À illustrer ce, I créé a diviser parcelle conception avec quatre facteurs.
Là sont deux entier parcelle effets et deux diviser parcelle effets.
Si toi prendre le même données et ajuster le même modèle dans JMP Pro
et SAS en utilisant ajuster mixte et procédure mixte,
toi volonté voir que le probabilités et modèle sélection critères ne le faites pas correspondre,
mais le variance estimations faire, toi obtenir différent fixé effets
paramètre estimations, mais le fixé effets tests accepter.
Un de le raisons pour ce est que JMP et SAS fixé effets conception matrices
utiliser a différent codage stratégie pour catégorique effets.
Sur le gauche I avoir le JMP conception matrice pour le diviser parcelle exemple,
et sur le droite toi voir le SAS un.
JMP crée a rangée de moins ceux
pour le dernier niveau de catégorique effets lequel est vu dans bleu ici
alors que SAS crée a rangée de zéros.
Ni l'un ni l'autre un de ces est droite ou faux.
C'est comme changement unités ou changement coordonner systèmes.
JMP catégorique effets somme à zéro, alors que SAS catégorique effets
peut être interprété comme différences depuis le dernier niveau.
Bien que le brut paramètre estimations différer,
prédictions volonté être le même entre le deux codages parce que le modèles
sont fondamentalement équivalent.
La plupart des choses que matière
ne le fera pas être différent entre le deux logiciel produits.
Cependant, REML, le méthode utilisé à estimation mixte effets modèles
a un ambiguïté dans il.
Le base gaussien probabilité à le haut
volonté être le même dans soit logiciel parce que c'est a réel probabilité.
Mais le REML ou résiduel probabilité signalé par procédure mixte
et JMP avantages ajuster mixte n'est pas a réel probabilité.
Si il était a réel probabilité, alors nous serait obtenir le même valeurs
indépendamment de de lequel codage ou logiciel nous utilisé.
Ce est parce que il y a un supplémentaire peine ajouté à le gaussien probabilité
pour REML que réduit le biais de le variance estimations.
Mais ce dépend sur le conception matrice
dans a chemin que est sensible à le codage utilisé.
JMP rapports, le brut gaussien probabilité, et le AICc et BIC qui il rapports
sont basé sur que plutôt que le résiduel probabilité.
Le nombre de paramètres ajuster mixte compte
est le total y compris les deux fixé effets et variance paramètres.
Nous a fait il ce chemin à faire il donc que toi peut utiliser JMP à comparer modèles
avec différent fixé- effet structures comme Bien comme variance modèles.
Dans SAS, ils seulement rapport le résiduel ou REML logarithme de vraisemblance
et il rapports modèle sélection critères basé sur il.
Toi peut voir ici que il aussi seulement compte variance paramètres comme Bien
parce que le différence entre le SAS probabilité
et c'est AIC est pour impliquant deux paramètres,
a variance composant et a résiduel.
Tous ce moyens est que
toi peut seulement utiliser p roc mixte pour comparer variance modèles
avec le AIC parce que le modèle sélection critères
comprend le REML peine et c'est seulement compte variance paramètres.
Avec tous exigible respect,
I peut pense de quelques bien raisons pour le SAS approche,
et là sont probablement quelques autre bien raisons I ne le faites pas même savoir de.
Mais I personnellement préférer le flexibilité accordé par le JMP approche.
À résumer, si toi comparer résultats à travers logiciel
pour non- mixte modèles, le signifier paramètre estimations peut différer,
mais sinon tout autre devrait être le même.
Comme long comme le logiciel calcule
le constantes et le probabilité correctement comme JMP fait.
Quand nous obtenir à gaussien mixte modèles,
là sont très important logiciel différences
et le portée de le décisions toi peut faire à propos le modèles
en utilisant le logiciel peut être très différent
selon sur le détails de comment c'est probabilité est calculé.
JMP modèle sélection critères
sont comparable les deux dans le même plate-forme
et à travers autre modélisation plateformes.
Je vais fermer avec ce glisser, lequel donne mon basique recommandations
pour postuler le outils discuté aujourd'hui.
Hypothèse essai est a outil pour quand toi besoin à prouver quelque chose
et est meilleur utilisé dans situations quand toi avoir a bien idée
de le modèle structure dans avance.
Quand tu es fonctionnement sur a problème dans industrie et le échantillon taille est petit,
I serait bâton à classique statistique modèles
et utiliser le AICc comme le primaire outil pour choisir entre eux.
Avec plus grand données ensembles, quand I avoir assez données à prise dehors
à moins a troisième de le observations, I utiliser résistant validation croisée à comparer
classique statistique modèles comme Bien comme machine apprentissage modèles.
Dans mon propre travail, I tendre à éviter K- pli validation croisée
et c'est variance.
Le modèle sélection critères sont équivalent à il dans plus grand échantillons,
et I tendre à bâton avec plus simple modèles avec plus petit données ensembles.
I savoir que pas tout le monde est en allant à accepter avec moi sur ce,
mais ce est quoi travaux pour moi et est a joli sûr chemin
à approche modèle sélection.
Choisir le la plupart utile modèle depuis a ensemble de alternatives que doit tous être faux
sur quelques niveau est un important décision, et ces sont le principal considérations
I avoir quand décider sur a modèle sélection stratégie.
Remercier toi pour ton attention et I regarder avant à parler avec toi
dans le Rencontrer le Expert Séances.
