Bonjour tout le monde. Je suis Caroll Co.
Je suis un statisticien à DLH.
Aujourd'hui, je volonté parler à propos un projet j'ai travaillé sur
dans créer un temps- efficace stratégie pour sélection un test ensemble
dans le validation de un image détection algorithme.
Ce travail était fait dans collaboration avec des scientifiques
depuis le National Institut des sciences de la santé environnementale,
pathologistes depuis expérimental laboratoires de pathologie,
et mon compagnon collègues de travail à DLH.
Dans rongeur toxicologie, avances en numérique l'analyse d'image
offre opportunités pour quantitatif histopathologie évaluations.
Un exemple de où numérique image analyse pourrait être utile
est dans l'évaluation de test article- effets immunotoxiques induits
dans rongeur rate.
Typiquement, pathologistes utiliser un microscope
à évaluer si là est immunotoxicité dans la rate
et faire jugements sur si rate depuis animaux qui reçoivent un traitement
sont différent depuis le contrôle groupe.
Ce flux de travail est sujet à Inter- et intra-évaluateur variabilité
dans caractérisant différences dans le étude
et aussi à travers différent études.
Voici un exemple de un zoomé- dans coupe transversale voir de un rongeur rate.
Ici, Je suis juste montrer du doigt dehors
caractéristiques spécifiques de intérêt à notre collaborateurs que nous vouloir à capturer.
Notre problème.
Quand nous a obtenu impliqué dans ce projet,
nos collaborateurs pathologistes étaient déjà formés un algorithme
que mesure ces caractéristiques de intérêt.
Le question que était posé à nous était comment faire nous valider ce algorithme?
Validation est un très large terme.
À étroit notre se concentrer,
nous pensée à propos quoi sont quelques de le principal des questions que nous recherché à adresse.
D'abord, le algorithme était formé par quelques personnes sélectionnées,
donc nous recherché à voir si différents pathologistes de différents laboratoires
serait accepter avec le algorithme sortir.
Deuxième, là étaient plusieurs caractéristiques
où le algorithme était qualifié à mesure.
Nous recherché à voir si là sont toute particularité
où performance est mieux ou pire.
Alors, nous aussi recherché à voir
si cet algorithme peut prise en haut à contre un large gamme de cas.
Si là sont n'importe lequel aveugle des taches, peut nous trouver eux?
Je vais aussi mention que depuis ici À partir de,
Je vais référer à le image algorithme comme le IA.
Un solution que nous pensée de c'était d'avoir à la fois des humains et une IA
annoter le même images et comparer le sortir.
Ce est comment il serait travail.
UN tissu échantillon obtient scanné donc il se tourne dans un numérique image
ou une diapositive entière image WSI,
et que image obtient nourris dans le IA pour traitement.
Alors pour humains, ils voir le image en utilisant un logiciel d'images
où ils peut manuellement annoter caractéristiques de intérêt.
Un de le des questions nous a obtenu demandé était comment beaucoup images faire nous besoin à valider?
En tant que statisticiens,
notre répondre est toujours comme beaucoup comme toi peut ou faire toi avoir des centaines ?
Est-ce que tu avoir milliers?
Mais après parler à eux,
vous réalisez qu'il existe un certain nombre de opérationnel contraintes à mettre en œuvre ce.
Le d'abord contrainte était que
Il y avait un besoin pour chaque image à être évalué par trois différent personnes.
Ayant trois personnes était utile
de sorte que nous peut aussi estimation le variabilité entre évaluateurs.
Il aussi se tourne dehors que ce processus de annotation est très temps- consommant.
Après parler à le pathologistes, le maximum nombre de images
ils étaient prêts à annoter était à propos 24 par personne.
Alors, dernièrement, un de le but de ce projet
est à obtenir acheter- dans ou soutien depuis pathologistes depuis autre laboratoires.
Il censé nous nécessaire participation de plusieurs laboratoires
et plusieurs personnes depuis chaque laboratoire.
Dans ce étude, nous a obtenu participation de trois centres
et nous avait trois pathologistes représentant chaque centre.
Dans total, nous avait neuf pathologistes recruté dans le étude.
Basé sur tous de ces contraintes,
nous avons déterminé que nous peut valider seulement 72 images.
Le échantillonnage plan.
Maintenant nous savoir notre échantillon taille.
Comment faire nous sélectionner le 72 ?
Aléatoire sélection est d'accord, mais peut nous faire mieux?
Quoi nous est venu en haut avec était
depuis le coût par image pour le IA est relativement faible,
nous a obtenu le IA à processus un plus grand ensemble de images
et puis à partir de là,
utiliser information depuis le Sortie IA à mieux sélectionner notre 72 des échantillons.
Nous utiliser un réponse service modèle à sélectionner notre points
et un RSM sélectionnera les points
vers le frontières et centre de le saisir espace.
C'est un modèle contenant ton principal deux- chemin interaction effets et quadratique effets.
Ce modèle était particulièrement utile à notre validation problème
parce que nous voulions à regarder pour domaines où accord échoue entre humains et IA.
En général, insectes tendre à se produire sur le frontière et bords de ce espace.
Ce taper de modèle convient le problème que nous avait.
Maintenant, nous avoir un plan à sélectionner le images.
Le question maintenant est comment faire nous allouer ces 72 images à travers neuf des évaluateurs ?
Nous attendre le échantillons à avoir un large gamme de complexité.
Nous recherché à faire bien sûr que tout le monde a obtenu un équilibré mélanger de diapositives.
Le complexité ou ce cas mélanger
est déterminé par le sortir que nous a obtenu depuis le IA.
Nous aussi nécessaire à satisfaire la contrainte
de fabrication bien sûr que chaque image est vu par trois différent personnes.
Ici est mon flux de travail.
je volonté montrer toi comment je créé le plan d'échantillonnage satisfaisant
tous de notre opérationnel contraintes dans JMP.
je avoir trois pas dans ce flux de travail.
D'abord, Je suis en allant à montrer toi comment nous choisi le 72 images
depuis un plus grand ensemble.
Deuxième est comment nous répliqué le 72 images trois fois,
alors on avoir 216 court.
Nous devions faire ça
parce que nous voulions que chaque image être vu par trois évaluateurs.
Le dernier étape,
Je vais montrer toi comment nous avons réparti les 216 courses entre neuf évaluateurs
donc que chaque personne a exactement 24 images.
Dans chaque de ces pas, je volonté en fait être en utilisant le BICHE plate-forme.
Maintenant, Je suis juste en allant à se déplacer sur à JMP.
je avoir mon JMP déposer dans là.
Mon Revue JMP.
je suis en allant à ouvrir un échantillon données ensemble,
et je dire échantillon parce que notre données a pas a été publié encore.
Pour le fins de ce manifestation, je volonté être en utilisant un faux données ensemble.
Ce données ensemble a le même caractéristiques à le original données que nous collectés.
Ce est quoi le données regards comme.
je avoir mon glisser IDENTIFIANT, lequel est juste un numérique variable en allant depuis 1 à 100.
En allant depuis 1 à 100 droite ici.
je avoir quatre variables que Je suis regarder pour.
C'est a été collecté par le IA.
Caractéristiques 1, 2, 3, et 4.
Trois de eux sont continu et un est compte variable.
Si toi regarder à sous Analyser, Multivarié Méthodes, multivariées,
si nous juste montrer le nuage de points matrice de toutes les variables que vous verrez,
tous de eux sont sans corrélation.
Ce est le propagé de le gamme de notre variables.
Étape un.
Sous BICHE, il y a un Coutume Design, c'est là que je clique.
Nous peut partir le réponses Oui ici. Juste partir il seul.
Le facteurs ici, il y a en fait deux façons à faire ce.
Un chemin est à Cliquez sur sur ce bouton ici que dit Ajouter Facteur.
je pense à propos cinquième de le chemin et il y a un Covariable sélection.
Si toi Cliquez sur que,
ça va demander toi lequel Colonnes de covariables toi vouloir à inclure dans le conception.
Dans mon cas, c'est ces quatre caractéristiques.
Je suis juste sélection eux et toi Cliquez sur D'accord.
JMP volonté automatiquement remplir le min et le max
pour chaque de ces variables.
Vous allez voir ici que ils sont tous traité comme covariables.
Que regards bien.
Je vais juste rapidement fermer ce
et alors montrer toi un autre chemin de faire le même chose.
Encore, dans BICHE Coutume Conception.
Quoi je montré toi était ajouter il en utilisant ce chemin ici.
Un autre chemin à faire il est à juste utiliser ce bouton droite ici
qui dit Sélectionner une covariable Facteurs
et ça va donner toi le exact même chose.
Encore, Je suis cueillette le facteurs que Je suis intéressé dans
et c'est automatiquement peuplé ce Facteurs fenêtre.
Je suis juste défilement vers le bas à le bas et Cliquez sur Continuer.
Ce est où nous peut mettre dans le modèle que nous vouloir.
Pour nous, nous recherché un RSM ou réponse service modèle.
Là est encore un raccourci bouton droite ici.
Je suis juste en allant à Cliquez sur que.
Quoi que a fait est il ajoutée...
Nous déjà avoir notre principal facteurs dans là,
mais il ajoutée notre quadratiques et deux- chemin interaction effets.
Alors, dernièrement, à le en bas ici où il dit nombre de court,
nous ne le faites pas vouloir 100 parce que nous en fait juste vouloir à sélectionner 72 dehors de 100.
Je suis juste en allant à changement ce à 72.
Ce tous regards bien à moi.
Je vais Cliquez sur Faire Conception.
Allons juste donner JMP un peu secondes à créer le conception pour nous.
Ici nous aller.
Ce est le conception que il créé pour nous.
Comme toi peut voir, si toi faire défiler vers le bas,
il seulement a donné nous 72 Lignes, lequel est quoi nous avait demandé pour.
Je suis juste en allant à dire, tourner ce dans un données tableau.
Je suis juste en allant à frapper Faire Tableau droite ici sur le bas gauche.
Je suis en allant à fermer ce pour maintenant.
Maintenant, avant je montrer toi quoi ce conception regards comme,
je en fait vouloir à aller dos à le original tableau,
juste donc toi pourrait voir...
Nous peut comparer quoi est arrivé aux observations qui ont été sélectionnées
contre observations que étaient pas choisi.
Si toi aller dos à le original données tableau, le ceux que étaient choisi,
que 72 sont en fait Souligné.
Quoi Identifiant comme à faire à ce indiquer est Identifiant comme à créer un nouveau colonne
que serait identifier lequel Lignes étaient choisi et lequel ceux ne l’étaient pas.
À faire que, toi aller sous Lignes.
Sous Rangée Sélection,
là est le dernier option dans ici dit Nom Sélection dans Colonne.
Quoi ça va faire est-ce que ça va étiquette le lignes actuellement sélectionnées
et sauvegarder peu importe valeurs toi attribuer pour que colonne.
Je suis en allant à Cliquez sur que.
Le colonne nom.
Oui ou obtenir à créer un nom de cette colonne.
T il Lignes que sont Souligné, Je suis va leur donner une valeur de 1.
Le ceux que étaient pas choisi, je vouloir à donner eux un valeur de zéro.
Je suis en allant à appuyez sur O ok, et que créé ce colonne droite ici.
Tous de mon veut, il y a 72...
Il y a 72 Lignes pour le ceux que ont été sélectionnés
et alors 28 pour le ceux que étaient pas choisi.
je vouloir à aller dos à mon nuage de points matrice à voir les réponses
ou à voir lequel observations étaient choisi et lequel ceux ne l’étaient pas.
Mais avant nous faire ça, je veux les coder par couleur
donc que quand toi regarder à le graphique,
je peut immédiatement place lequel ceux étaient choisi et lequel ceux ne l’étaient pas.
Un rapide chemin de faire que est à faire Lignes, Couleur ou Marque par Colonne.
Alors, ici, je vouloir à utiliser ce colonne intitulée Sélectionné
donc que tous le des zéros volonté être identifié par un cercle orange
et tous le ceux volonté être identifié par un bleu cercle.
Nous utiliser un marqueur comme Bien.
Que pourrait faire il Plus facile à identifier le observations.
Je vais juste cliquez sur O ok.
Maintenant, tous de mon Lignes sont marqué par le plus ou le cercles.
Si je retourne à mon...
Si je aller dos à mon nuage de points matrice,
encore, c'est sous Multivarié Méthodes, Multivarié, et je juste frapper Rappel.
Je suis faire le même chose comme je a fait initialement.
Laisser moi cliquez sur OK.
Je suis juste en allant à faire ce un petit peu plus gros.
Vous allez maintenant voir que le bleu avantages sont le observations que étaient choisi,
et le orange cercles sont le ceux que ne l’étaient pas.
Le ceux que étaient choisi
avoir tendance à se produire plus sur le frontière et bords de notre espace.
Ce est exactement quoi nous recherché.
Ce regards super à moi.
Fermons ça.
Juste à convaincre toi-même
que le modèle est faire quoi c'est censé à être faire,
je en fait a fait ce même installation,
mais ce temps, plutôt de cueillette 72, Je suis seulement cueillette 24.
Allons faire il un petit peu plus extrême.
Juste à montrer toi un exemple de quoi que regards comme.
Encore, maintenant mon sélection.
Maintenant, il y a seulement 24 Lignes que sont choisi dans ici.
Allons faire le même chose.
Fabrication ce un petit peu plus gros.
Maintenant, toi voir moins bleu avantages parce que là devrait seulement être 24.
Mais alors tu vas voir comment ceux les observations sont sélectionnées
contre le ceux que étaient pas choisi.
Ils faire tendre à se produire plus sur les limites extérieures,
mais toujours quelques dans le centre.
Allons aller dos à notre original problème. Bien juste fermer ce.
Ce était notre original données tableau.
Celui qui a été créé par le conception est ce un.
Quoi faire nous avoir ici?
Étaient toujours en gardant le même variables que nous demandé JMP à inclure.
Nous avoir notre caractéristiques 1 2, 3, et 4.
Pourquoi notre réponse est toujours manquant?
Nous maintenant avoir ce nouveau colonne que dit Covariable Rangée Indice.
Essentiellement, ce juste liens toi dos à ton original tableau.
Si ce dit 88, il serait être rangée 88 sur ton original tableau que a obtenu capturé.
Ce un.
Ce rangée ici devrait être le même comme ce rangée droite ici.
Avant nous se déplacer, Je suis en fait juste en allant à Renommer ce à mon glisser IDENTIFIANT.
Dans mon cas, le glisser IDENTIFIANT, lequel est juste un nombre depuis 1 à 100,
c'est en fait juste le même comme le Ligne de covariable Indice.
Que était tous pour étape un.
Étape deux est maintenant réplication le 72 images.
Comment faire nous faire que?
UN rapide chemin de faire que est à aller à BICHE.
Le deuxième sélection est augmenter conception.
Alors ce fenêtre volonté populaire en haut demander toi quoi sont ton réponses et facteurs?
je savoir pourquoi nous ne le faites pas vraiment avoir une réponse,
mais je pense toi toujours besoin à mettre dans quelque chose dans ici.
C'est d'accord.
Toi juste mettre il dans là même cependant c'est tous manquant valeurs.
Alors, pour le facteurs, étaient en allant à sélectionner notre caractéristiques 1 à 4.
Ce temps, nous serait aussi besoin à sélectionner notre Glisser IDENTIFIANT.
Cliquez sur D'accord.
Ce nouveau fenêtre pops en haut avec tous de notre facteurs .
Encore une fois, JMP auto- peuple le gammes de tous de notre variables.
Sur le bas ici, sous Augmentation Les choix,
il y a un reproduire bouton, et c'est exactement quoi nous besoin.
Cliquez sur que et alors ils vont demander toi,
comment beaucoup nombre de fois faire toi vouloir à effectuer chaque courir?
Le défaut est deux, mais nous en fait vouloir il à être trois
parce que nous nécessaire chaque image à montrer en haut trois fois dans notre conception.
Alors nous Cliquez sur D'accord.
Maintenant, quoi tu vas voir est que dans notre conception,
plutôt de juste 72, nous maintenant avoir 72 fois trois.
Bien juste faire défiler tous le chemin à le bas.
Nous maintenant avoir 216 Lignes.
Je vais juste Cliquez sur Faire Tableau à tourner que dans un données tableau.
Bien fermer ce.
UN peu plus des choses que je vouloir à vérifier.
UN couple plus des choses je vouloir à vérifier avant nous se déplacer sur à étape trois.
Que est, chaque temps tu es faire ces pas,
toi vouloir à faire bien sûr que c'est en fait faire quoi toi pense il devrait être faire.
Dans ce cas,
je recherché à vérifier que chaque glisser IDENTIFIANT en fait se produit trois fois.
Étaient en allant à utiliser tabuler à faire que.
Tabuler, S glisser IDENTIFIANT, et je devrait avoir un compter de trois pour chaque IDENTIFIANT.
C'est quoi nous avoir.
Que regards super.
C'est il pour étape deux.
Allons se déplacer sur à le dernier étape, lequel est le la plupart passionnant étape.
Maintenant, nous avoir 216 Lignes et nous avoir le glisser Pièces d'identité.
Maintenant, nous vouloir à distribuer ce à neuf différent personnes.
Comment serait nous faire que dans un chemin que chaque personne obtient un équilibré mélanger?
UN cool chemin à faire il est utiliser BICHE encore.
DOE, cliquez sur sur DOE personnalisé Conception.
Comme quoi nous a fait avant,
étaient toujours en allant à utiliser notre covariable comme facteurs.
Juste sélectionner caractéristiques 1 à 4 et notre glisser IDENTIFIANT.
JMP volonté auto- peupler le minutes et maximum.
Maintenant, tous de le rangée ici est ils sont tous répertorié comme covariable.
Mais à ce indiquer, je en fait vouloir à ajouter deux plus facteurs.
Un facteur est un catégorique facteur à trois niveaux,
et que est le centre ou le laboratoire parce que tu avoir neuf pathologistes,
mais ils sont tous à venir depuis trois différent centres.
Je suis juste en allant à Renommer eux UN, B et C.
Alors je vouloir à faire...
Dans chaque centre, nous aussi avoir trois différent personnes participant.
je vouloir à ajouter un autre catégorique facteur encore avec trois les niveaux.
Ce est en allant à être notre évaluateur.
Ces sont comme le personnes.
Allons nom eux 1, 2, et 3.
Essentiellement, quoi Je suis en disant est que Centre UN volonté avoir Évaluateurs 1, 2 et 3,
Centre B a Évaluateurs 1, 2, et 3, et donc sur.
Dans total, nous avoir neuf différent personnes,
neuf différent combinaisons de centre et évaluateur dans ici.
Je suis en allant à minimiser ce.
Ce en fait juste montre le données tableau où nous tiré notre covariables depuis.
Alors frapper Continuer ici.
Maintenant, nous obtenir à dire JMP quoi gentil de modèle faire nous vouloir.
Il y a un couple de des choses dans ici.
D'abord, je en fait recherché à ajouter dans.
JMP volonté automatiquement mettre dans ton principal effets.
Ces sont tous le facteurs que sont dans mon modèle.
je recherché à mettre dans un interaction terme entre centre et évaluateur,
et c'est parce que je recherché à faire bien sûr que
toutes les combinaisons de centre et évaluateur apparaître dans notre conception.
Que garanties que.
Le autre chose à savoir est que
nous en fait ne le faites pas avoir assez court à estimation glisser IDENTIFIANT.
Souviens-toi, glisser IDENTIFIANT va depuis...
Il y a 72 distinct glisser identifiants dans ici,
mais nous en fait ne le faites pas vouloir un effet, un glisser IDENTIFIANT effet.
Nous juste je veux du JMP à prendre que dans compte quand c'est construction le conception.
Nous ne le faites pas vraiment vouloir à estimation glisser IDENTIFIANT.
Sous estimation capacité ici, toi peut changement...
Le estimabilité pour glisser IDENTIFIANT,
de Nécessaire, vous peut changement il à Si Possible.
Alors, dernièrement, le nombre de court.
je pense t il nombre de court ils calculé pour moi était 18.
Mais nous en fait recherché à utiliser en haut tous de notre court
parce que nous avoir 216 court et maintenant étaient juste regarder à voir...
Nous voulions à obtenir JMP à dire nous comment faire nous allouer ces 216.
Faire Conception.
Il juste pourrait prendre un petit peu plus long.
Je vais aller dans comme, comment pouvons-nous vérifier la conception
et alors parler un petit peu à propos le courir commande.
Ce est quoi le conception regards comme.
Nous avoir notre original caractéristiques, caractéristiques 1 à 4 dans ici, le glisser IDENTIFIANT,
et maintenant il a ajouté centre et évaluateur attribué pour chaque glisser IDENTIFIANT.
Quoi ce est en disant est que évaluateur B1 devrait annoter la diapositive numéro 27,
A1 volonté annoter glisser 96, et donc sur.
Là devrait être 216 court dans ici.
Que regards d'accord.
Le dernier partie ici sous Données Tableau Options,
là est un vérifier marque pour Inclure la colonne Ordre d'exécution.
Je suis en allant à Cliquez sur Oui parce que dans notre cas,
pour annotation, si toi attendre là à être quelques taper de temps effet
dans peu importe processus que tu es faire.
Dans notre cas, nous étaient peut être inquiet à propos
volonté là être un apprentissage courbe, volonté là être un fatigue effet?
Nous vouloir à faire bien sûr que tout le monde ne commence pas avec un ID de diapositive
c'est comme l'ID de la diapositive avec le numéro le plus bas
et fin avec le plus haut- numéroté glisser Pièces d'identité.
Je suis juste en allant à cliquez sur Créer Tableau.
Je suis en allant à fermer ce fenêtre pour maintenant.
Ce est quoi maintenant notre conception regards comme.
Avant nous faire notre des chèques, Je suis juste en allant à créer un nouveau colonne
où je peut enchaîner le centre et évaluateur.
Je suis juste mise en évidence ces deux colonnes, cliquez avec le bouton droit.
Sous le nouveau F ormule Personnage,
je juste vouloir à enchaîner eux avec un virgule.
Ce est en allant à être notre Centre, évaluateur variable.
Là toi aller.
Trois des choses que étaient vérification ici.
D'abord est allons faire tabuler.
Nous vouloir à faire bien sûr que chaque personne a exactement 24 images.
C'est mon Centre, R ater, et il y en a 24 ici.
C'est super.
Le autre chose que nous vouloir à vérifier pour est que là sont Non répète.
Nous ne le faites pas vouloir...
Pour exemple, nous ne le faites pas vouloir glisser IDENTIFIANT 1 être attribué à le même personne deux fois
parce que que serait pas être amusant pour que personne.
Si je faire un tableau croisé de glisser ID par centre, évaluateur,
je devrait voir juste un colonne de 1s.
Que moyens chaque glisser IDENTIFIANT était attribué à trois différent personnes.
Je suis juste défilement à travers ici
et regarder à ce tableau à voir que là sont Non 2s ou 3s dans ici.
Que regards super.
Alors, dernièrement, je faire vouloir à vérifier,
comment fait le cas mélanger regarder comme à travers ces neuf des évaluateurs ?
Un chemin de pensée de à au moins vérifier ça visuellement
est à juste faire un parallèle parcelle en utilisant Graphique Constructeur.
je vais prolonger ce.
Je suis en allant à souligner caractéristiques 1, 2, 3 et 4
parce que ceux sont mon original variables.
Alors, mon centre et évaluateur, je suis faire glisser il à ici sur mon X- axe.
Je suis en allant à frapper ce parallèle parcelle option droite ici sur le haut droite icône.
je obtenir que.
UN en fait, toi ne le faites pas vouloir Centre, évaluateur dans là.
Je suis juste en allant à tourner que désactivé.
Peut être quoi je vouloir est Centre, Rat euh et c'est propre panneau.
Quoi ce montre nous est nous avoir le missions depuis le neuf personnes,
donc A1 tous le chemin à C3.
Ce est le cas mélanger de le images que ils a obtenu attribué à.
UN gagner, étaient juste faire ce visuellement.
Quoi Je suis regarder pour c'est qu'il n'y a pas...
Quand toi regarder à eux au total que ils tous regarder à peu près pareil,
que ils sont quelque peu mélangé et il n'y a pas d'agglutination
et ils regarder à être d'accord.
Un autre chemin à faire il est à, je deviner toi peut recouvrir.
Il obtient un petit peu dur parce que je faire avoir neuf différent couleurs dans ici.
Mais encore, tu es juste regarder pour...
Toi ne le faites pas vouloir là à être n'importe lequel motifs dans ici.
Toi ne le faites pas vouloir là à être touffes de vert ici ou ici bas
ou partout où dans ce espace.
Toi pourrait aussi vérifier il par centre.
Je suppose mon couleurs sont pas le meilleur.
Toi avoir jaune, le bleu, et légumes verts.
Ils tous regarder à être Bien- mixte.
Alors, je a fait mention à propos le courir commande.
Quoi il est, est que toi juste je veux m'assurer
que quand tu es récit personnes comment à faire leur annotation,
toi vouloir à faire bien sûr que que est aussi randomisé
de sorte que s'il y a un effet temps, c'est pris dans compte déjà.
Quoi Je suis traçage ici est le glisser IDENTIFIANT.
UN gagner, ce est séquentiel. Cela va de 1 à 100.
Alors ce est le courir commande,
le séquence de quand le pathologiste serait taux ces images.
Ce regards aléatoire.
Nous pourrait aussi parcelle il par centre et évaluateur.
Ce est pour chaque individuel personne.
Ils regarder bien.
je suis juste en allant à fermer que.
Maintenant, Je vais juste aller retour à ma diapositive PowerPoint
et juste fin avec quelques conclusions ici.
Nous peut utiliser BICHE dans sélection échantillons ou test cas
où toi avoir informations préalables.
Si toi avoir données ou covariables que vous pouvez utiliser pour informer la sélection,
pourquoi pas utiliser eux?
Une réponse surface modèle est avantageux
si tu es intéressé dans le frontière ou bord cas.
Deuxième indiquer est que toi peut utiliser augmenter Réplication du DOE
si toi avoir un situation où toi besoin de plusieurs évaluateurs par échantillon.
Le emploi ou le conception déjà vous donne une opportunité
à facteur courir commande dans ton plan.
Que pourrait être vraiment utile si tu t'attends à ce qu'il y ait un effet temps
tel comme un apprentissage courbe ou fatigue.
J'ai un couple de liens ici à un Blog
que parler plus ou discuter plus à propos quoi est un covariable dans conception de expériences.
S'il te plaît vérifier que dehors si toi vouloir à apprendre plus à propos ce technique.
Alors, dernièrement, je juste recherché à dire
remercier toi à tous mon collaborateurs OMS aidé faire ce projet possible.
Merci.
