349217_fr-FR

liliconcom

Maximiser le succès de la science des données avec la qualité de l'information (InfoQ) et JMP® (2021-EU-45MP-750)

https://www.jmp.com/en_us/whitepapers/book-chapters/infoq-support-with-jmp.html

Niveau : Intermédiaire

Ron Kenett, président du groupe KPA et Samuel Neaman Institute, Technion
Christopher Gotwalt, directeur JMP, R&D statistique, SAS

L’analyse des données – depuis les expériences conçues, la régression généralisée jusqu’à l’apprentissage automatique – est déployée à un rythme accéléré. Dans le même temps, les préoccupations concernant la reproductibilité des résultats et l’interprétation erronée de la valeur p indiquent que des analyses statistiques bien intentionnées peuvent conduire à des conclusions erronées et à de mauvaises décisions. Pour qu’un projet d’analyse de données remplisse correctement ses objectifs, il faut évaluer la portée et la force des conclusions dérivées des données et des outils disponibles. Cette focalisation sur la stratégie statistique nécessite un cadre qui isole les composantes du projet : les objectifs, la procédure de collecte des données, les propriétés des données, l'analyse fournie, etc. Le cadre InfoQ fournit des procédures structurées pour réaliser cette évaluation. De plus, il est facile d’opérationnaliser InfoQ dans JMP. Dans cette présentation, nous fournissons un aperçu d'InfoQ ainsi que des études de cas d'utilisation, tirées d'études de consommation et de fabrication pharmaceutique, pour illustrer comment JMP peut être utilisé pour effectuer une évaluation InfoQ, en mettant en évidence des situations d'InfoQ élevée et faible. Nous donnons également des conseils montrant comment JMP peut être utilisé pour améliorer la qualité des informations grâce à une conception d'étude améliorée, sans nécessairement acquérir davantage de données. Cette conférence s'adresse aux statisticiens, aux experts en apprentissage automatique et aux data scientists dont le travail consiste à transformer les chiffres en informations.

Transcription générée automatiquement...

Conférencier	Transcription
	Bonjour.
	Je m'appelle Ron Kenett. Ce
	est une conversation commune avec Chris
	Gotwalt et nous, en gros
	j'ai deux messages
	cela devrait sortir du
	parler. La première est que nous devrions
	vraiment s'inquiéter
	informations et renseignements
	qualité. Les gens ont tendance à parler
	sur les données et leur qualité, mais
	les données ne sont vraiment pas le problème.
	Nous sommes des statisticiens. Nous sommes
	scientifiques de données. Nous tournons les chiffres,
	données en informations afin que
	notre objectif devrait être de nous assurer
	que nous générons de haute qualité
	information. L'autre message
	c'est que JMP peut vous aider
	y parvenir, et c'est
	il s'avère en fait être dans
	des manières surprenantes. Donc en combinant
	l'expertise de Chris et d'un
	introduction aux informations
	qualité, nous espérons que ces deux
	les messages passeront
	clairement. Alors si je devais le faire
	résumer ce que nous
	je veux parler, après tout,
	tout est une question d'information
	qualité. J'ai donné une conférence à
	au sommet de Prague il y a quatre ans
	il y a et ce discours était générique.
	Il parlait de déplacer le
	voyage de la qualité à la conception.
	Mon parcours en faisant des informations
	qualité. Dans cet exposé, nous nous concentrons
	sur la façon dont cela peut être fait avec
	JMP. Ceci est plus détaillé
	et des discussions techniques que les
	discours général que j'ai donné à Prague.
	Vous pouvez regarder cette conférence.
	Il y a un lien répertorié ici. Tu peux
	retrouvez-le sur la communauté JMP.
	Nous allons donc en parler
	la qualité de l'information, qui est
	le potentiel de l'ensemble de données, un
	ensemble de données spécifiques, pour obtenir un
	un objectif particulier, un objectif spécifique,
	avec la méthode empirique donnée.
	Donc dans cette définition nous avons
	trois composants qui sont
	répertorié. L'une est une certaine donnée
	ensemble. Voici les données. Le
	le deuxième est le but,
	le but de l'analyse, quoi
	c'est ce que nous voulons réaliser.
	Et la troisième est de savoir comment nous allons
	faire ça, c'est-à-dire, avec quoi
	méthodes que nous allons générer
	informations, et ce potentiel
	va être évalué avec le
	fonction d'utilité. Et je le ferai
	commencer par une introduction à
	qualité de l'information, puis
	Chris prendra le relais,
	discuter de l’étude de cas et
	vous montrer comment mener une
	évaluation de la qualité de l’information.
	Finalement, cela devrait
	répondre à la question comment JMP
	prend en charge InfoQ, qui
	ce seraient les puces
	que vous pouvez... les points à retenir
	du discours. La configuration pour
	c'est ce que nous encourageons
	ce que j'appelle une vue du cycle de vie
	de statistiques. Autrement dit,
	pas seulement l'analyse des données.
	Nous devrions savoir... nous devrions en faire partie
	de l'élicitation du problème
	phase. Aussi, le but
	phase de formulation, qui mérite
	une discussion. Nous devrions
	évidemment être impliqué dans
	schéma de collecte de données si c'est le cas
	par des expériences ou par
	enquêtes ou par observation
	données. Alors nous devrions également prendre
	temps pour la formulation du
	résultats et pas seulement se retirer
	rapports imprimés sur
	coefficients de régression
	estimations et et leurs
	importance, mais nous devrions
	discuter également de ce que sont les
	résultats? Opérationnalisation de
	les résultats signifient, OK, que pouvons-nous
	que faire de ces découvertes ? Que sont
	les implications de la
	résultats? Cela devrait devrait...
	doit être communiqué au
	les bonnes personnes de la bonne manière,
	et finalement nous devrions faire un
	évaluation d'impact pour déterminer,
	OK, nous avons fait tout cela ; ce qui a
	été la valeur ajoutée de notre
	travail? J'ai parlé de la vie
	cycle de vos statistiques quelques années
	il y a. C'est la condition préalable,
	la perspective de ce que
	Je vais parler de. Alors comme je
	mentionné, les informations
	la qualité est le potentiel d'un
	ensemble de données particulier pour atteindre un
	objectif particulier en utilisant donné
	méthodes d'analyse empiriques. Ce
	est identifié à travers quatre
Composants	l'objectif, les données,
	la méthode d'analyse et la
	mesure d'utilité. Donc dans un dans un
	expression mathématique, le
	utilité d'appliquer f à x,
	condition sur l'objectif, c'est ainsi que nous
	identifier InfoQ, informations
	qualité. Ceci a été publié dans
	la Société royale de statistique
	Série A en 2013 avec huit
	intervenants, c'était donc amplement
	discuté. Certaines personnes pensaient
	c'était fantastique et certains
	les gens ont eu beaucoup de critiques sur
	cette idée, donc c'est une vision plus large
	portée de l'examen de ce qui
	c'est le sujet des statistiques. Nous avons aussi
	écrit en 2006, on se rencontre
	et Galit Shmueli, un livre intitulé
	Qualité des informations. Et en
	le contexte des informations
	qualité nous avons fait ce qu'on appelle
	déconstruction. David Hand a
	un article intitulé Déconstruction
	de Statistiques. C'est le
	déconstruction de l'information
	qualité en huit dimensions. je
	couvrira ces huit dimensions.
	C'est mon rôle dans la discussion et
	alors Chris montrera comment cela
	est mis en œuvre dans un cadre spécifique
	étude de cas.
	Un autre aspect lié à
	c'est un autre livre que j'ai.
	C'est récent, il y a un an
	intitulé Le vrai travail des données
	La science et nous parlons de quoi
	est le rôle des données
	scientifiques dans des organisations et
	dans ce contexte, nous avons souligné
	le besoin du data scientist
	s'impliquer dans la génération
	de l'information en tant que...information
	qualité comme répondant aux objectifs de
	l'organisation. Alors laisse-moi
	couvrent les huit dimensions. C'est
	c'est mon introduction. Le
	le premier est la résolution des données. Nous
	avoir un objectif. OK, nous le ferions
	j'aimerais connaître le niveau de grippe
	parce que dans le pays ou dans le
	région où nous vivons, parce que
	aura un impact sur notre décision sur
	s'il faut aller au parc où
	nous pourrions rencontrer des gens ou aller à
	a... à un concert de jazz. Et cela
	le concert est demain.
	Si nous consultons les données du CDC sur
	le niveau de grippe, ces données sont
	mis à jour chaque semaine, afin que nous puissions obtenir
	la ligne rouge dans le graphique vous
	j'ai devant vous, alors nous
	pourrait obtenir des données de quelques jours
	il y a peut-être bien, peut-être pas bien
	assez pour notre or. Google grippe,
	qui est basé sur des recherches
	lié à la grippe, est mis à jour
	momentanément, donc il est mis à jour
	en ligne, cela donnera probablement
	nous de meilleures informations. Donc pour
	notre objectif, la ligne bleue, le
	Tendance Google... la grippe Google
	L'indicateur de tendances est probablement
	plus approprié. La deuxième
	la dimension est la structure des données.
	Pour atteindre notre objectif, nous allons
	regardez les données. Nous devrions... nous
	devrait identifier les sources de données
	et la structure de ces données
	sources. Certaines données pourraient donc être
	du texte, certains pourraient être des vidéos, d'autres
	pourrait être, par exemple, le
	réseau de recommandations. Ce
	est une image d'Amazon expliquant comment si
	tu regardes le livre, tu es
	je vais en chercher
	autres livres recommandés. Et si
	tu vas à ces autres livres,
	tu vas avoir plus de données
	recommandé. Donc les données
	la structure peut prendre toutes sortes de
	de formes et de formes et cela peut
	être du texte. Cela peut être fonctionnel
	données. Cela peut être des images. Nous sommes
	ne se limite pas maintenant à ce que nous avons utilisé
	pour appeler des données, c'est ce que vous
	trouver dans une feuille de calcul Excel.
	Les données pourraient être corrompues,
	pourrait avoir des valeurs manquantes, pourrait
	ont des motifs inhabituels qui
	ce qui serait
	quelque chose à examiner. Quelques
	les modèles, où se trouvent les choses
	répété. Peut-être que certaines données
	c'est juste un copier-coller et nous
	aimerait être prévenu
	de telles options. Le troisième
	La dimension est l’intégration des données.
	Quand on considère les données de
	ces différentes sources, nous sommes
	allons les intégrer afin que nous
	peut faire des liens d'analyse
	grâce à une pièce d'identité. Par exemple, nous
	je ferais ça, mais en faisant ça,
	nous pourrions créer des problèmes, par exemple
	exemple, dans la divulgation de données
	cela devrait normalement être
	anonymisé. Données
	l'intégration, ouais, ça va
	permettez-nous de faire des choses fantastiques,
	mais si les données sont perçues comme
	avoir une certaine exposition à la vie privée
	problèmes, alors peut-être la qualité
	des informations provenant du
	analyse que nous allons faire
	ça va va être
	affecté. Donc l'intégration des données
	devrait être examiné très, très
	soigneusement. C'est ce que les gens
	probablement utilisé pour appeler ETL
	extraire, transformer et charger. Nous
	avons maintenant de bien meilleures méthodes pour
	Faisant cela. L'option de jointure, pour
	par exemple, dans JMP proposera
	options pour ce faire.
	Pertinence temporelle. Ok c'est
	assez clair. Nous avons des données. C'est
	estampillé d'une manière ou d'une autre. Si nous allons
	faire l'analyse plus tard, plus tard
	après la collecte des données, et
	si le déploiement que nous
	considérer est encore plus tard, alors le
	les données peuvent ne pas être temporellement
	pertinent. Dans une commune
	situation, si nous voulons comparer
	ce qui se passe maintenant, nous le ferions
	j'aimerais pouvoir faire ça
	comparaison avec des données récentes ou
	données avant la pandémie
	commencé, mais pas 10 ans
	plus tôt. Les statistiques officielles
	sur les dossiers de santé, il y avait deux
	ou trois ans de retard en termes
	de timing, ce qui l'a rendu très
	difficile l'utilisation du fonctionnaire
	statistiques dans l'évaluation
	que se passe-t-il avec le
	pandémie. Chronologie des données et
	l’objectif est lié à la décision
	que nous faisons grâce à notre
	but. Ainsi, si, par exemple, notre
	l'objectif est de prévoir la qualité de l'air,
	nous allons en utiliser
	modèles prédictifs à l'antenne
	Indice de qualité rapporté sur un
	quotidiennement. Cela nous donne un
	à six échelles de dangereux à
	bien. Il y a des valeurs
	qui représentent les niveaux de
	souci de santé. Zéro-50, c’est bien ;
	300-500 est dangereux et le
	chronologie des données et objectif
	signifie que nous devrions pouvoir
	faire une prévision quotidiennement
	base. Donc les méthodes que nous utilisons
	devrait être mis à jour quotidiennement
	base. Si, par contre,
	notre objectif est de comprendre comment se passe
	cet indice AQI calculé, alors nous
	ne sont pas vraiment liés par les
	l’opportunité de l’analyse.
	Tu sais, on pourrait prendre notre
	temps. Il n'y a aucune urgence
	faire l'analyse sur un
	quotidiennement. Généralisabilité,
	la sixième dimension, concerne
	prendre nos découvertes et
	considérant où cela pourrait
	s'applique en termes plus généraux,
	d'autres populations, toutes
	situations. Ceci peut être fait
	intuitivement. Les responsables marketing qui
	J'ai vu une étude sur le
	marché, appelons-le A, pourrait
	je comprends déjà quels sont les
	implications pour le marché B
	sans données. Les gens qui sont
	les physiciens pourront
	faire des prédictions basées sur
	la mécanique sur les premiers principes
	sans sans données.
	Donc une partie de la généralisabilité
	se fait avec des données. C'est le
	base de statistiques
	généralisation, d'où l'on vient
	l’échantillon à la population.
	Les inférences statistiques concernent
	généralisation. Nous généralisons
	de l'échantillon au
	population. Et certains peuvent l'être
	basé sur le domaine, en d'autres termes,
	en utilisant les connaissances d'experts, le domaine
	expertise, pas nécessairement avec
	données. Nous devons reconnaître que
	la généralisabilité n'est pas seulement
	fini avec les statistiques.
	La septième dimension est
	construire une opérationnalisation,
	c'est vraiment ce que c'est
	que nous mesurons. Nous voulons
	évaluer le comportement, les émotions, quoi
	c'est qu'on peut mesurer, que
	nous donnera des données qui reflètent
	comportement ou émotions.
	L'exemple que je donne ici
	c'est généralement la douleur.
	Nous savons ce qu'est la douleur. Comment faire
	on mesure ça ? Si vous allez dans un
	l'hôpital et vous demandez à l'infirmière,
	comment évaluez-vous la douleur, ils
	je vous le dirai, nous avons une balance,
	1 à 10. C'est très
	qualitatif, pas très
	scientifique, je dirais. Si nous
	souhaitez mesurer le niveau de
	alcool chez les conducteurs sur le... sur
	la route, il sera difficile de
	mesure. Nous pourrions donc mesurer
	la vitesse comme mesure de substitution.
	Une autre partie de
	l’opérationnalisation est l’autre
	fin de l'histoire. En d'autre
	mots, la première partie, le
	la construction est ce que nous mesurons,
	ce qui reflète notre objectif. Le le
	fin... le résultat final ici est que
	nous avons des découvertes et nous voulons
	faire quelque chose avec eux. Nous voulons
	pour opérationnaliser nos conclusions.
	C'est ce que l'action
	l’opérationnalisation est une question.
	Il s'agit de ce que vous faites avec le
	résultats et ensuite être
	présenté ici sur un podium. Nous
	avait l'habitude de poser trois questions.
	Ce sont très importants
	questions a poser. Une fois que tu as
	fait une analyse, vous avez
	quelqu'un devant toi qui
	dit, oh, merci beaucoup,
	tu as fini... toi, le statisticien
	ou le data scientist. Donc ça
	cela vous fait une étape supplémentaire,
	vous amener à demander à votre client
ces questions simples	Qu'est-ce que
	tu veux accomplir ? Comment sera
	tu fais ça et comment vas-tu
	sais si tu as accompli
	que? Nous pouvons aider à répondre, ou
	au moins du soutien, certains d'entre eux
	questions auxquelles nous avons répondu.
	La huitième dimension est
	communication. je te donne un
	exemple d'un vieux très célèbre
	carte du 19ème siècle, qui
	montre la marche du
	Armée Napoléon de la France à
	De Moscou à la Russie. Vous voyez le
	les nombres sont la largeur de
	le chemin indique la taille
	de l'armée, puis dans
	noir tu vois ce qui est arrivé
	eux sur le chemin du retour.
	Donc, fondamentalement, c'était un
	marche désastreuse. Nous nous nous nous nous
	peut relier cette vieille carte à
	cartes existantes, et il existe un
	Complément JMP, que vous pouvez
	à retrouver sur la Communauté JMP, à
	vous montrer avec des tracés à bulles,
	une bulle dynamique trace ce que cela signifie
	ressemble à. Alors j'ai couvert
	très rapidement les huit informations
	dimensions de qualité. Mon dernier
	slide, c'est ce dont j'ai parlé
	à propos d'un historique
	perspective, mettez-en vraiment un peu
	proportions à ce que je dis.
	Je pense qu'on est vraiment à l'époque
	de la qualité des informations. Nous avons utilisé
	se préoccuper du produit
	qualité au XVIIIe siècle, le
	17ème siècle. Nous avons ensuite déménagé à
	qualité des processus et service
	qualité. Ceci est un court mémo
	sur la proposition d'une carte de contrôle,
	1924, je pense.
	Ensuite on passe à la gestion
	qualité. C'est le Juran
	trilogie de conception, d'amélioration
	et le contrôle. Six Sigma (définir,
	mesurer, analyser, améliorer)
	le processus de contrôle est le
	processus d'amélioration du Juran,
	et Juran était le grand-père
	de Six Sigma dans ce sens.
	Puis, dans les années 80, Taguchi est arrivé
	dans. Il parle de robuste
	conception. Comment pouvons-nous gérer
	variabilité des intrants selon le bon
	des décisions de conception ? Et maintenant nous sommes
	à l’ère de l’information
	qualité. Nous avons des capteurs. Nous
	avoir des systèmes flexibles. Nous sommes
	en fonction de l'IA et de la machine
	l'apprentissage et l'exploration de données et nous
	se rassemblent gros, gros, gros
	chiffres, mais que nous appelons gros
	données. L'intérêt pour l'information
	la qualité devrait être une priorité
	intérêt. je vais essayer et
	vous convaincre, avec l'aide
	de Chris, ça.
	Nous sommes là et JMP peut
	aidez-nous à y parvenir dans un
	manière vraiment inhabituelle.
	Ce que vous verrez à la fin de
	l'étude de cas que Chris va
	montrer, c'est aussi comment le faire et
	évaluation de la qualité de l'information et
	sur une étude spécifique, essentiellement
	générer une qualité d’information
	score. Donc si nous allons de haut en bas, je
	je peux vous raconter cette étude, cette
	travail, cette analyse est peut-être de 80 % ou
	peut-être 30 % ou peut-être 95 %.
	Et grâce à l'exemple vous allez
	voyez comment faire cela. Il y a un
	Complément JMP pour fournir cela
	évaluation. C'est en fait
	assez facile. Il y a
	rien de vraiment sophistiqué
	à propos de ça. Alors j'ai fini et
	Chris, après toi. Merci, Ron. Donc
	maintenant je vais passer par le
	analyse d'un ensemble de données d'une manière
	qui appelle explicitement le
	divers aspects de l'information
	qualité et montrer comment JMP peut être
	utilisé pour évaluer une amélioration
	pour InfoQ. Alors tout d'abord, je suis
	je vais passer par l'InfoQ
	Composants. Le premier InfoQ
	Le composant est le but, donc dans
	dans ce cas, l'énoncé du problème
	était-ce une entreprise chimique
	je voulais une formulation qui
	rendement du produit maximisé tout en
	minimiser une impureté nuisible
	qui résulte de la réaction.
	C’était donc l’objectif de haut niveau.
	En termes statistiques, nous voulions
	pour trouver un modèle qui corresponde avec précision
	prédit une réponse sur une donnée
	réglé pour que nous puissions trouver un
	combinaison d'ingrédients et
	étapes de traitement qui conduiraient
	à un meilleur produit.
	Les données sont paramétrées en 100
	formulations expérimentales avec
	un ingrédient principal, X1, et
	10 additifs. Il y a aussi un
	facteur de transformation en 13
	réponses. Les données sont
	entièrement fabriqué mais ont été
	simulé pour illustrer la même chose
	les forces et les faiblesses du
	données originales. Les données
	formulation a été faite était également
	enregistré. Nous examinerons
	ces données de près, donc je veux
	élaborer au-delà du fait de souligner
	qu'ils ont été collectés dans un
	manière ad hoc, en changeant un ou deux
	additifs à la fois plutôt que
	comme un projet conçu ou randomisé
	expérience. Il y a beaucoup de
	façons d'analyser ces données, le
	le plus typique étant le moins
	modélisation de carrés avec avant
	sélection sur les réponses sélectionnées.
	C'était mon intention initiale
	pour cette conférence, mais quand j'ai montré
	les données à Ron, il a immédiatement
	reconnu les colonnes de réponse
	comme série chronologique d'analyse
	chimie. Même si les données
	étaient simulés, il pouvait voir le
	structure. Il pouvait voir des choses
	dans les données que je n'ai pas vues
	et ce n'était pas le cas. j'ai trouvé
	c'est frappant
	impressionnant. C'est au-delà du
	portée de ce discours, mais il y a
	une approche encore meilleure basée sur
	modélisation d'ensemble à l'aide de
	fractionné
	amorçage. Phil Ramsey,
	Wayne Levin et moi en avons un autre
	parler de cette méthodologie à
	la découverte européenne
	Conférence cette année. Le
	l'approche est prometteuse car elle
	peut adapter des modèles aux données avec
	interactions plus actives que
	il y a des courses. Le quatrième et dernier
	composante de la qualité de l’information
	est l'utilité, c'est à dire à quel point nous
	sont capables d’évaluer nos objectifs. Ou
	comment pouvons-nous mesurer à quel point nous avons
	évalué nos objectifs ? Il y a un
	aspect du domaine qui est dans ce
	cas où nous voulons avoir un
	formulation qui conduit à
	rendements maximisés et minimisés
	déchets lors du post-traitement du
	matériel. Les statistiques
	L'utilitaire d'analyse fait référence à
	modèle qui nous convient. Qu'est ce qui était
	y aller pour le moins
	précision des carrés de notre modèle en
	en termes de notre capacité à
	prédire ce que... qu'est-ce que
	résultat du candidat
	combinaisons de formulation...de
	facteurs de mélange. Maintenant je m'en vais
	passer en revue une série de questions
	qui composent un InfoQ détaillé
	évaluation telle qu'elle est organisée dans le
	huit dimensions de l'information
	qualité. je veux souligner
	que toutes les questions ne seront pas
	tout aussi pertinent pour différents
	science des données et statistiques
	projets, et que ce n'est pas
	censé être un dogme rigide, mais
	plutôt un ensemble de choses qui sont
	une bonne idée de se poser la question.
	Ces questions représentent une sorte
	de la sagesse analytique des données qui
	regarde plus largement que le simple
	application d'un particulier
	technologie statistique. Une copie
	d'une feuille de calcul avec ces
	des questions accompagnées de conseils
	Fonctionnalités JMP les plus
	utile pour répondre à une
	un en particulier sera téléchargé
	à la communauté JMP ainsi que
	avec ce discours à utiliser. Comme
	Je passe en revue les questions,
	Je vais faire une démonstration d'une analyse de
	les données dans JMP. Donc question 1
est	est l'échelle de données utilisée
	aligné avec l’objectif déclaré ? Donc
	les X que nous avons sont constitués de
	une seule variable catégorielle
	traitement et le 11 continu
	contributions. Ceux-ci sont mesurés
	sous forme de pourcentages et sont également
	enregistré à un demi pour cent. Nous
	je n'ai pas les montants totaux de
	les ingrédients, seulement le
	pourcentages. Les totaux sont
	informations qui ont été perdues
	ou jamais enregistré. Il y a
	d'autres potentiellement importants
	des informations qui sont
	manque ici. Le temps entre
	formuler les lots et
	la prise de mesures a disparu
	et il aurait pu y en avoir d'autres
	informations au niveau des covariables qui
	manque ici qui aurait
	décrit les conditions sous
	laquelle la réaction s'est produite.
	Sans plus d'informations que moi
	j'ai, je ne peux pas dire à quel point c'est important
	ce genre d'informations covariables
	aurait été. Nous avons
	informations le jour du
	lot, afin qu'il puisse être utilisé comme
	un substitut peut-être. Dans l'ensemble, nous
	avoir ce qui est, espérons-le, le plus
	apports importants, ainsi que
	mesures des réponses que nous
	souhaite optimiser. Nous pourrions avoir
	j'avais plus d'informations, mais ceci
	ça a l'air assez prometteur pour essayer
	et analyse avec. La deuxième
	question relative aux données
	la résolution est la fiabilité et la
	précis sont les appareils de mesure
	et les sources de données. Et le fait
	c'est-à-dire que nous n'avons pas beaucoup de
	informations spécifiques ici. Le
	statisticien interne au
	l'entreprise aurait eu plus
	information. Dans ce cas nous
	je n'ai pas d'autre choix que de lui faire confiance
	les chimistes ont formulé et
	bien enregistré les mélanges. Le
	troisième question relative aux données
la résolution est	est-ce que les données
	analyse adaptée aux données
	niveau d'agrégation ? Et le
	la réponse ici est oui, en supposant
	que leur système de mesure est
	exactes et que les données sont
	assez propre. Ce que nous allons
	finir par faire en fait c'est
	nous allons utiliser le
	Explorateur de données fonctionnelles pour
	extraire le principe fonctionnel
	composants, qui sont des données
	type de données dérivées
	agrégation. Et puis nous sommes
	je vais les modéliser
	composants principaux fonctionnels
	en utilisant les variables d'entrée. Donc
	maintenant nous passons aux données
	dimension de la structure et la
	la première question que nous nous posons est la suivante : est-ce que
	données utilisées alignées sur les
	objectif affiché ? Et je pense que le
	la réponse est un oui clair ici. Étaient
	essayer de maximiser
	rendement. Nous avons des mesures pour
	cela, et les entrées sont
	enregistré sous forme de Xs. Les deuxièmes données
	la question de structure est de savoir où
	les choses commencent vraiment à devenir
	intéressant pour moi. Alors ceci est
	sont les détails d'intégrité
	(valeurs aberrantes, valeurs manquantes, données
	corruption) problèmes décrits et
	géré de manière appropriée ? Donc de
	ici nous pouvons utiliser JMP pour pouvoir
	pour comprendre où se situent les valeurs aberrantes
	sont, trouver des stratégies pour
	que faire en cas de valeurs manquantes,
	observer leurs schémas et ainsi
	sur. Alors c'est ici que
	les choses vont devenir un peu
	un peu plus intéressant. La première
	ce que nous allons faire, c'est que nous sommes
	va déterminer s'il y a
	toute valeur aberrante dans les données que nous
	il faut s'inquiéter. Donc
	pour ce faire, nous allons y aller
	dans les valeurs aberrantes d'exploration
	plateforme hors de la projection
	menu. Nous allons charger le
	variables de réponse, et parce que
	il s'agit d'un paramètre multivarié,
	nous allons utiliser une nouvelle fonctionnalité
	dans JMP Pro 16 appelé Robust
	Valeurs aberrantes de l’APC. On voit donc où
	les gros résidus sont dans ceux
	sorte de tracés de type Pareto.
	Il y a un instantané montrant où
	il y en a potentiellement
	observations inhabituellement grandes. je
	je ne pense pas vraiment que ça ressemble
	trop inhabituel ou inquiétant pour moi.
	Nous pouvons sauver les grandes valeurs aberrantes
	à une table de données, puis regardez
	eux dans la distribution
	plate-forme et ce que nous voyons en quelque sorte
	cela ressemble à une distribution normale
	avec le milieu retiré. Donc je
	je pense que ce sont des données qui sont
	venant un peu du même
	population et il n'y a rien
	vraiment de quoi s'inquiéter ici,
	du point de vue des valeurs aberrantes. Donc une fois que nous avons
	pris soin de la valeur aberrante
	situation dans laquelle nous entrons et explorons
	valeurs manquantes. Alors ce que nous sommes
	ce que nous allons faire en premier, c'est que nous allons
	pour charger les Y comme... dans le
	plate-forme, puis nous allons
	utiliser la valeur manquante
	instantané pour voir quels modèles
	ils font partie de nos disparus
	valeurs. On dirait que
	les valeurs manquantes ont tendance à se produire dans
	clusters horizontaux, et il y a
	aussi les mêmes valeurs manquantes
	à travers les lignes. Donc tu peux voir ça
	avec les taches noires ici.
	Et puis nous irons appliquer un
	imputation automatisée des données,
	qui avance et sauve
	colonnes de formule qui imputent
	valeurs manquantes dans le nouveau
	colonnes utilisant un type de régression
	algorithme développé par
	un de mes doctorants nommé Milo
	Page à NC State. Pour qu'on puisse jouer
	autour un peu et prends un
	un peu comme comment l'ADI
	l'algorithme fonctionne. Alors c'est
	créé ces colonnes de formules
	qui décollent des éléments de
	la colonne d'imputation ADI, qui est
	une colonne de formules vectorielles, et le
	fonction d'imputation de notation
	calcule l'attendu
	valeur des cellules manquantes donnée
	les cellules non manquantes, à chaque fois
	il manque une valeur. Et son
	je fais juste un non
	valeur manquante. Ainsi vous pouvez voir 207
	dans YO...Y6 là-bas. C'est au départ
	207 mais ensuite je le change en
	disparu et il est maintenant
	imputé à 234.
	Alors je vais le faire plusieurs fois donc
	tu peux en quelque sorte voir comment ça se passe
	fonctionnement. Alors ici, je vais mettre un gros
	valeur pour Y7 et c'est maintenant.
	été remplacé. Et si nous descendons
	et on ajoute une ligne,
	alors toutes les valeurs manquantes sont là
	initialement et la colonne signifie
	sont remplacés pour le
	imputations. Si je devais y aller
	en avant et ajouter de la valeur à certains d'entre eux
	ces cellules manquantes, ce serait
	commence à faire le conditionnel
	l'attente des personnes toujours portées disparues
	cellules utilisant les informations
	c'est dans celui qui manque....le
	ceux qui ne manquent pas. Alors notre prochain
	la question sur la structure des données est
	sont les méthodes d'analyse
	adapté à la structure des données ?
	Nous avons donc 11 entrées de mélange
	et une variable de traitement qui est
	catégorique. Ceux-là vont
	être des entrées dans au moins
	modèle de type carrés. Nous avons
	13 réponses continues et
	nous pouvons les modéliser en utilisant...
	individuellement en utilisant le moins
	carrés. Ou nous pouvons modéliser
	principe fonctionnel
	Composants. Le... maintenant il y a
	problèmes. Les X sont... les
	les variables d'entrée n'ont pas été
	randomisés du tout. Il est très
	il est clair qu'ils vont foutre le bordel
	autour avec un ou plusieurs de
	les composés puis déplacez-vous
	sur un autre. Alors le
	l'ordre dans lequel le
	les variables d'entrée variaient
	c'était un peu aléatoire. C'est un
	manque évident de randomisation, et
	ça va avoir un effet négatif
	impacter notre… la généralisabilité
	et la force de nos conclusions.
	L'intégration des données est la troisième
	Dimension InfoQ. Ces données
	sont des notes de laboratoire saisies manuellement
	composé principalement de mélange
	pourcentages et équipement
	lectures. Nous ne pouvons que supposer
	que les données ont été saisies
	correctement et que les X sont
	aligné correctement avec les réponses.
	Si ce n'est pas le cas, alors le
	le modèle aura de sérieux biais
	problèmes et avoir
	problèmes de généralisation.
	L'intégration est plus un problème
	avec des données d'observation
	problèmes scientifiques dans la machine
	exercices d'apprentissage, que laboratoire
	des expériences comme celle-ci. Bien que
	ça ne s'applique pas ici, je vais
	souligner que la vie privée et
	des problèmes de confidentialité peuvent être
	identifiés par la modélisation des
	partie sensible des données en utilisant
	le composant à publier
	aux données. Si le résultat
	le modèle est prédit, alors un
	devrait s'inquiéter du respect de la vie privée
	les préoccupations ne sont pas satisfaites. Temporel
	la pertinence fait référence à
	séquencement temporel opérationnel de
	collecte, analyse et
	déploiement et les éventuelles lacunes
	entre ces étapes conduit à un
	diminution de l'utilité de
	les informations contenues dans l’étude.
	Dans ce cas, on ne peut que simplement
	j'espère que le matériel fournit
	sont raisonnablement cohérents et
	que l'équipement de test est
	raisonnablement précis, ce qui est un
	hypothèse invérifiable à ce stade
	indiquer. La résolution temporelle que nous
	avoir lorsque la collecte de données est
	au niveau du jour, ce qui signifie
	qu'il n'y a pas grand chose à faire
	nous pouvons vérifier s'il est temps
	variation au cours de chaque journée.
	La chronologie des données et de l'objectif est
	sur la disponibilité de
	variables pertinentes à la fois en termes
	de savoir si la variable est
	présents du tout dans les données ou
	si les bonnes informations
	sera disponible lorsque le modèle
	est déployé. Pour prédictif
	modèles, cela concerne les modèles
	être adapté à des données similaires à
	ce qui sera présent à ce moment-là
	le modèle sera évalué sur
	nouvelles données. De cette façon, nos données
	L'ensemble est certainement bien. Pour
	établir la causalité, cependant,
	nous ne sommes pas dans une situation aussi bonne
	forme parce que le manque de
	la randomisation implique que le temps
	les effets et les effets des facteurs peuvent
	être confondu, conduisant à des biais
	dans nos estimations. Endogénéité,
	ou une causalité inverse, pourrait
	être clairement un problème ici, car
	variables comme la température et
	le temps de réaction pourrait clairement être
	impactant les réponses, mais ont
	n'a pas été enregistré. Dans l'ensemble,
	il y a beaucoup de choses que nous ne savons pas
	sur cette dimension dans un
	sens de la qualité de l’information.
	La suite de l'InfoQ
	l'évaluation va être
	en fonction du type de
	analyse que nous faisons. Alors à ça
	point, je vais aller de l'avant et
	procéder à une analyse de ces données
	en utilisant les données fonctionnelles
	Plateforme Explorer dans JMP Pro
	cela me permet de modéliser
	toutes les colonnes simultanément
	d'une manière basée sur
	composants principaux fonctionnels,
	qui contiennent le montant maximum
	d'informations à travers tous ces
	colonnes comme représenté dans le
	format le plus efficace possible.
	je vais travailler sur le
	versions imputées des colonnes
	que j'ai calculé plus tôt dans le
	présentation. Et je vais
	faites remarquer que je vais être
	travailler pour trouver des combinaisons de
	les facteurs de mélange qui permettent d'obtenir
	le plus près possible dans un
	sens moindre, un idéal
	courbe créée par le
	praticien qui maximise le
	quantité de produit potentiel qui
	pourrait être dans un lot pendant
	minimiser le montant du
	impuretés qu'ils
	j'ai pensé de manière réaliste à un lot
	pourrait contenir. Alors je commence le
	analyse en allant dans l'analyse
	menu, affichez le menu Fonctionnel
	Explorateur de données. Cela a des lignes comme
	les fonctions. je vais charger mon
	lignes imputées, puis je vais
	à mettre dans ma formulation
	composants et mon traitement
	colonne en complément
	variable. Nous avons une pièce d'identité
	fonction, c'est l'ID du lot. Ici je
	entrez. Je peux voir les fonctions,
	à la fois la superposition dans son ensemble, et
	Je peux voir les fonctions individuelles.
	Ensuite, je peux charger la cible
	fonction, ce qui est l'idéal.
	Et cela changera le
	analyse qui en résulte une fois que je
	commencer à me lancer dans le mannequinat
	pas. Donc celles-ci sont jolies
	des fonctions simples, donc je suis juste
	je vais les modéliser avec
	Cannelures B.
	Et puis je vais entrer dans mon
	analyse fonctionnelle du DOE.
	Cela va correspondre au modèle
	qui connecte les entrées dans
	le principe fonctionnel
	composants, puis connectez tous
	le chemin à travers le
	fonctions propres pour qu'il en soit ainsi
	nous sommes en mesure de récupérer le
	fonctions globales telles qu'elles
	changé, à mesure que nous varions le
	facteurs de mélange. Le
	composant principal fonctionnel
	l'analyse a indiqué que
	il y a quatre dimensions de
	variation de ces réponses
	les fonctions. Pour comprendre ce que
	ils veulent dire, allons-y et
	explorez avec le profileur FPC.
	Alors regardez ce volet ici comme
	J'ajuste FPC 1 et on peut voir
	que ce FPC est associé à
	hauteur du pic. FPC2, on dirait
	comme si c'était une sorte de sommet
	étroitesse. C'est presque comme un
	principe de résolution
	composant. Le troisième est
	lié à une sorte de genou sur
	à gauche du pic dominant.
	Et Peak 4 semble être
	principalement lié à la
	impureté, c'est donc ce que
	la signification sous-jacente est de
	ces quatre fonctionnels
	composants principaux.
	Nous avons donc caractérisé notre objectif
	comme maximiser le produit et
	minimiser l'impureté, et
	nous l'avons communiqué dans le
	analyse à travers cet idéal ou
	courbe dorée que nous avons fournie à
	le début du FDE
	exercice que nous faisons. Pour obtenir comme
	proche autant que possible de cet idéal
	courbe, on active la désirabilité
	les fonctions. Et puis nous pouvons y aller
	et maximiser la désirabilité.
	Et nous constatons que l'optimal
	la combinaison d'entrées est d'environ
	4,5% de
	Ingrédient quatre, 2% de
	Ingrédient 6. 2,2% de
	Ingrédient 8 et 1,24% de
	Ingrédient 9 utilisant la transformation
	méthode deux. Voyons comment
	nous sommes arrivés ici. Nous d'abord
	calculé la réponse manquante
	Colonnes. Ensuite, nous avons trouvé B-spline
	des modèles qui correspondent à ces fonctions
	bien dans la plateforme FDE. UN
	composants principaux fonctionnels
	l'analyse a déterminé qu'il y avait
	il y avait quatre fonctions propres
	caractérisant la variation de
	ces données. Ces quatre
	les fonctions propres ont été déterminées
	via le profileur FPC à chacun
	avoir un sujet raisonnable
	matière de sens. Le fonctionnel
	L'analyse du DOE consistait en
	application taillée vers l'avant
	sélection à chacun des
	scores FPC individuels en utilisant le
	Le DOE prend en compte les variables d'entrée.
	Et nous voyons ici que ceux-ci ont
	trouvé des combinaisons de
	interactions et principaux effets
	qui étaient les plus prédictifs pour
	chacun des principaux fonctionnels
	les scores des composants individuellement.
	Le profileur DOE fonctionnel
	a élégamment capturé tout
	aspects en une seule représentation
	cela nous permet de trouver le
	étape de traitement de formulation qui
	devrait avoir souhaitable
	propriétés mesurées par haute
	rendement et faible impureté.
	Alors maintenant, nous pouvons faire un InfoQ
	évaluation de la
	généralisabilité des données dans
	l'analyse. Donc dans ce cas,
	nous sommes plus intéressés par
	généralisabilité scientifique, comme
	l'expérimentateur est un profondément
	chimiste compétent travaillant
	avec ce composé. Étaient donc
	je compterai davantage sur
	leur expertise en la matière
	puis sur les principes statistiques
	et des outils comme les tests d'hypothèses
	et ainsi de suite. Le but est
	principalement prédictif, mais le
	la généralisabilité est en quelque sorte
	problématique parce que le
	l'expérience n'a pas été conçue. Notre
	capacité à estimer les interactions
	est affaibli pour des techniques comme
	sélection avancée et impossible
	via l'analyse des moindres carrés de
	le modèle complet. Parce que le
	l'étude n'était pas randomisée, là
	il pourrait s'agir d'un temps non enregistré dans
	effets d’ordre. Nous n'avons pas
	covariable potentiellement importante
	des informations comme la température et
	temps de réaction. Cela crée
	un autre gros point d'interrogation
	concernant la généralisabilité.
	Répétabilité et
	la reproductibilité de l'étude est
	aussi une inconnue ici comme nous l'avons
	aucune information sur le
	variabilité due à
	système de mesure. Heureusement,
	nous avons des outils comme JMP
	évaluer la conception pour comprendre
	la conception existante ainsi que
	améliorer la conception qui peut grandement
	renforcer la généralisation
	réalisation de l’analyse.
	L'augmentation peut améliorer l'information
	sur les principaux effets et
	interactions, et un deuxième tour
	d'expérimentation pourrait être
	randomisé pour améliorer également
	généralisabilité. Alors maintenant je suis
	je vais passer par quelques
	étapes simples pour montrer comment
	améliorer la généralisation
	réalisation de notre étude en utilisant
	outils de conception dans JMP. Avant que je
	fais ça, je tiens à le souligner
	que je devais prendre les données et
	convertissez-le pour qu'il soit
	proportions plutôt que dans
	pourcentages. Sinon la conception
	les outils n'étaient pas vraiment d'accord
	très bien avec les données. Alors on
	allez dans le concepteur d'évaluation
	et puis nous chargeons nos Y et
	nos X. J'ai demandé la possibilité de
	gérer les interactions de second ordre.
	Alors... ouais, j'ai reçu cette alerte
	disant, hé, je ne peux pas faire ça
	parce que nous ne pouvons pas
	estimer toutes les interactions
	étant donné un facteur à la fois
	données dont nous disposons. Alors j'ai soutenu
	en haut. Nous allons à l'augmentation
	concepteur, chargez tout,
	définir l'augmentation. Nous choisirons et je-
	conception optimale parce que nous sommes
	vraiment préoccupé par
	performances prévues ici.
	Et moi
	définissez le nombre de courses à 148.
	Le concepteur personnalisé a demandé
	141 au minimum, mais je suis allé à
	148 juste pour être sûr
	que nous avons tous la capacité de
	estimer toutes nos interactions
	plutôt bien. Après cela, il
	prend environ 20 secondes pour
	construire la conception. Alors maintenant
	que nous avons le design, je suis
	je vais montrer les deux plus
	outils de diagnostic importants dans
	le concepteur d'augmentation pour
	évaluer une conception. Sur le
	gauche, nous avons la fraction de
	parcelle d'espace de conception. C'est
	montrant que 50% du volume
	de la conception a
	une variance de prédiction qui est
	inférieur à 1. Donc 1 serait
	équivalent au résidu
	erreur. Nous pouvons donc obtenir
	mieux que l'erreur de mesure
	prédictions de qualité sur la
	majorité de la conception. Sur le
	c'est vrai, nous avons la carte des couleurs dessus
	corrélations. Ceci montre
	que nous pouvons estimer
	tout plutôt bien. Il y a
	certains... à cause du mélange
	contrainte, nous en obtenons
	de fortes corrélations entre
	interactions et principaux effets.
	Dans l’ensemble, les effets sont assez
	faire le ménage. Et les interactions sont
	assez bien séparé d'un
	un autre, et les principaux effets
	sont assez bien séparés de
	les uns les autres également. Après
	en regardant la conception
	diagnostics, nous pouvons faire le
	tableau. Ici, j'ai montré le
	13 premiers des runs augmentés
	et nous voyons que nous avons... nous
	avoir plus de randomisation. Nous ne le faisons pas
	avoir recours au même effet principal
	encore et encore des stries.
	C'est la preuve d'un meilleur
	randomisation et, dans l'ensemble,
	le design va pouvoir
	il vaut mieux estimer le principal
	effets et interactions ayant
	reçu mieux, de meilleure qualité
	informations dans cette deuxième étape
	d'expérimentation. Donc l'entrée
	les variables, les X, sont exactes
	représentations du mélange
	proportion, donc c'est clair
	intérêt objectif. Le
	les réponses sont proches du substitut
	pour le montant du produit
	et la quantité d'impureté présente dans
	les lots. Nous sommes plutôt bons
	7.1. là. Les justifications
	sont clairs. Après l'étude, nous
	je peux bien sûr aller préparer un
	lot qui est la formulation
	qui a été recommandé par le FDOE
	profileur. Essayez-le et voyez si
	nous obtenons le genre de
	performance que nous recherchions
	pour. Il est très clair que
	serait la façon dont nous pouvons
	évaluer dans quelle mesure nous avons atteint
	nos objectifs d’étude. Alors maintenant, sous le
	dernière dimension InfoQ
	Communication. En décrivant le
	courbe idéale comme cible
	fonction, le DOE fonctionnel
	Profiler définit l'objectif et le
	résultats de l'analyse du cristal
	clair. Mais cela peut s'exprimer
	à un niveau qui est facilement
	interprété par les chimistes et
	responsables du centre de R&D.
	Et comme nous l'avons fait en détail
	évaluation de la qualité de l'information,
	nous avons été francs à propos de
	les forces et les faiblesses du
	conception et données de l’étude
	collection. Si les résultats le font
	pas généraliser, nous avons certainement
	savoir où chercher où se trouve le
	les problèmes étaient. Une fois que tu deviens
	familier avec les concepts,
	il y a un joli complément écrit
	par Ian Cox que vous pouvez utiliser pour
	faire un InfoQ quantitatif rapide
	évaluation. Le complément a
	curseurs pour le haut et le bas
	limites de chaque dimension InfoQ.
	Ces dimensions sont combinées
	en utilisant une fonction de désirabilité
	approche pour un intervalle global
	pour l'InfoQ à gauche.
	Voici une évaluation pour le
	données et analyses que j'ai couvertes
	cette présentation. Le complément est
	également un outil de réflexion utile qui
	vous fera considérer chacun des
	les dimensions d'InfoQ. C'est aussi un
	moyen pratique de communiquer
	évaluations InfoQ à votre
	clients ou à votre direction, comme
	il offre une vue de haut niveau de
	qualité de l'information sans
	utilisant beaucoup de techniques
	concepts et jargon. Le complément
	est également utile comme base pour
	une comparaison InfoQ. Mon
	espoir initial pour cela
	la présentation devait être un peu
	un peu plus ambitieux. j'ai espéré
	pour couvrir l'analyse que j'avais
	je viens de le traverser, ainsi que
	un autre plus simple, celui où je saute
	saisir les réponses et faire
	un simple linéaire multivarié
	modèle de régression de la réponse
	Colonnes. Aujourd'hui, je ne peux que
	proposer une évaluation finale de cela
	approche. Comme vous pouvez le voir,
	plusieurs des InfoQ
	les dimensions en souffrent considérablement
	sans le plus sophistiqué
	analyse. Il est très clair que
	la simple analyse conduit à
	score InfoQ beaucoup plus faible.
	La limite supérieure du simple
	l'analyse n'est pas tellement plus élevée
	que la limite inférieure du plus
	sophistiqué. Avec
	expérience, vous gagnerez
	intuition sur ce qu'est un bon InfoQ
	le score est pour la science des données
	projets dans votre secteur d'activité et
	prenez de meilleures habitudes à mesure que vous
	ne sera plus aveugle au
	goulots d'étranglement de l'information dans votre
	collecte, analyse et
	déploiement du modèle. Information
	qualité avec une utilisation facile
	interface. C'était mon premier
	qualité de l'information formelle
	évaluation. Pour ma part,
	la qualité des informations
	le cadre a donné des mots et
	structure à beaucoup de choses que je
	je le savais déjà instinctivement. Il
	est déjà changé comment je
	aborder de nouvelles analyses de données
	projets. Je t'encourage à y aller
	à travers ce processus vous-même sur
	vos propres données, même si ces données
	et l'analyse est déjà très
	vous est familier. je garantie
	que tu seras un plus sage et
	un data scientist plus efficace
	à cause de ça. Merci.

ÉclaterBICHEModélisation prédictive