| Conférencier |
Transcription |
| Stan Young |
Haha. |
| Sara Doudt |
vous permettre de. |
| Stan Young |
Voyez tout maintenant. |
| |
Bon, oh non ! Est-ce que je vais devoir faire défiler les diapositives de mon côté ? |
| Sara Doudt |
Oui oui, comme pour une réunion normale. |
| |
Voilà, c'est bon, super. Je vérifie que j'ai tout compris. Si je suis proche, c'est bon, on enregistre. Je dois... Je vais éteindre ma caméra, juste pour info. Et ensuite... |
| |
D'accord. |
| Stan Young |
Pour afficher ceci en plein écran, il suffit maintenant de trier. |
| |
de comment faire cela la seconde. |
| Sara Doudt |
c'est ce bas, comme ça, où il est écrit notes sur leur conduite pour les 34%, c'est celui qui ressemble à un. |
| |
En bas du bateau, oui, désolé pour ça, c'était mauvais, de l'autre côté de la personne qui... |
| |
Oui, ce type-là. |
| Stan Young |
Haha. |
| Sara Doudt |
Allez-y, et je veux dire, je vais y aller, nous allons commencer dans une seconde, mais je vais me présenter moi-même, avez-vous des questions avant de commencer ? |
| Stan Young |
Ou bien, vous allez m'enregistrer ainsi que les diapositives ? |
| Sara Doudt |
Oui oui, ils ont demandé que vous ayez le. |
| |
La caméra est ici. |
| |
C'est bon. |
| |
Droite. |
| |
D'accord. |
| Stan Young |
Je suis prêt à partir. |
| Sara Doudt |
Je vais couper mon micro, et si vous avez des questions ou si vous voulez que j'arrête, faites-le-moi savoir, sinon je vous laisserai faire. |
| Stan Young |
Aller. |
| |
Je vais présenter aujourd'hui des modules complémentaires et des scripts JMP pour l'évaluation de plusieurs études. On peut aussi appeler cela comment démasquer les tricheurs, ceux qui manipulent les statistiques, ou encore pourquoi la plupart des affirmations scientifiques sont erronées. |
| |
Je vais d'abord décrire les différentes parties du puzzle et comment elles s'assemblent. La plupart des affirmations ne sont en réalité pas reproductibles. Ce sont des affirmations scientifiques. |
| |
Je soutiens, et mes co-auteurs soutiennent, que cela est dû à la manipulation des valeurs p et que c'est un problème majeur. Nous allons utiliser la méta-analyse et les graphiques de valeurs p pour les déceler ; c'est ainsi qu'on démasque les fraudeurs. |
| |
Les modules complémentaires et les scripts JMP contiennent des valeurs p issues des rapports de risque et des intervalles de confiance. Ces valeurs proviennent d'une méta-analyse. |
| |
Ensuite, nous allons combiner les valeurs p selon la méthode de Fisher, une technique ancienne similaire aux méta-analyses. Puis, nous présenterons un graphique des valeurs p, et un petit script se chargera de le nettoyer et de le rendre présentable. |
| |
image. |
| |
Eh bien, on voit un lapin dans le ciel. Il y a beaucoup de nuages, et si vous vous asseyez dehors par une belle journée et que vous regardez autour de vous, vous pourrez probablement apercevoir un lapin. |
| |
Il s'agit donc d'un événement aléatoire. Les lapins ne sont évidemment pas dans le ciel. |
| |
Gelman et Loken ont en fait publié un petit article dans lequel ils parlent de la crise statistique en science, expliquant que les gens utilisent les statistiques de manière incorrecte, et c'est ce dont nous allons parler aujourd'hui. |
| |
Menons une expérience épidémiologique. |
| |
Nous avons des dés à 10 faces, rouges, blancs et bleus. Ils vont se transformer en chiffres (0,046 dans ce cas précis). Observons cela se produire sous nos yeux. |
| |
Nous avons maintenant une valeur p. Elle est aléatoire. Vous l'avez calculée vous-même. C'est tellement amusant, pourquoi ne pas recommencer ? |
| |
Rouge, blanc, |
| |
et bleu. |
| |
Maintenant, si vous répétez l'opération 60 fois, vous pouvez remplir le tableau ci-contre. Il s'agit d'une simulation que j'ai réalisée avec des dés à 10 faces. Vous pouvez voir les valeurs p dans quatre colonnes et 15 lignes. Cela représente donc 60 valeurs p. Ma plus petite valeur p est de 0,004. |
| |
Avec 60 valeurs p, vous pouvez calculer les probabilités. Dans environ 95 % des cas, vous aurez au moins une valeur p inférieure à 0,05. |
| |
Voici une expérience réalisée par ma fille. Elle a obtenu trois valeurs p inférieures à 0,05 ; elles sont entourées ici. Et puis, mener une expérience épidémiologique est tellement simple. |
| |
que même ma femme Pat peut le faire, et elle a ici trois sujets de dissertation potentiels qu'elle pourrait écrire en se basant sur des lancers de dés et en inventant une bonne histoire. |
| |
Les valeurs p sont associées à une valeur attendue. Ainsi, à droite, nous avons les valeurs p de 0,004, 0,016 et 0,012. À chaque valeur p est associée un écart-type normal. Vous pouvez constater que ma valeur de 0,004 aurait un écart-type normal de 2,9, et ainsi de suite. Et à gauche, nous avons… |
| |
la taille de l'échantillon, l'écart attendu, et la valeur p attendue pour la plus petite valeur p, puis l'écart. Donc, si nous avions 400 |
| |
Pour les questions que nous examinions, la valeur P attendue serait de 0,00487 et l'écart serait de 2,968. C'est cet écart qui est repris des expériences de base dans les calculs d'une méta-analyse, et nous le verrons par la suite. |
| |
Combien d'affirmations en épidémiologie sont vraies ? J'ai publié un article en 2011 dans lequel je reprenais des affirmations issues d'études observationnelles. |
| |
Et pour chaque affirmation des études observationnelles, j'ai trouvé un essai clinique randomisé qui examinait exactement la même question. Ainsi, dans les 12 études, il y avait |
| |
52 affirmations qui pourraient être formulées et testées. |
| |
Si vous regardez la colonne sous « positif », aucune de ces 52 affirmations ne s'est reproduite dans le bon sens. |
| |
Les épidémiologistes n'avaient donc obtenu aucune confirmation de leurs affirmations sur 52. Cinq affirmations étaient en réalité statistiquement significatives, mais elles allaient à l'encontre des résultats des études observationnelles. |
| |
Nous allons examiner un |
| |
Question farfelue : les céréales déterminent-elles le sexe du bébé ? Autrement dit, si vous mangez des céréales au petit-déjeuner, avez-vous plus de chances d’avoir un garçon ? C’est en tout cas ce que suggérait une première étude. |
| |
Cet article a été publié dans la revue Royal Society B, leur principale revue de biologie. Les trois co-auteurs affirment donc que consommer des céréales au petit-déjeuner augmente les chances d'avoir un garçon, et plus précisément au moment de la conception. |
| |
Avec deux de mes collègues, nous avons examiné cette question et demandé les données. Nous les avons obtenues, puis nous avons publié une réfutation de la première étude, affirmant que la sélection du sexe induite par les céréales est très probablement un faux positif dû à des tests multiples. |
| |
Au moment de la conception, juste avant, pendant et au moment même de la conception. Chaque questionnaire comportait 131 aliments, ce qui représente un total de 262 tests statistiques. |
| |
Vous calculez les valeurs P pour ces tests, vous les classez par ordre croissant et vous les représentez graphiquement en fonction des entiers (le rang se trouve en bas). |
| |
On observe une ligne à 45 degrés assez nette. Il s'agit donc d'une distribution uniforme. Leur affirmation se base sur le coin inférieur gauche de cette distribution : « Voici une faible valeur p. Cette faible valeur p suggère que la consommation de céréales, notamment au petit-déjeuner, entraînerait une augmentation de… » |
| |
bébés garçons. |
| |
Il s'agit très clairement d'un faux positif statistique. |
| |
Graphiques de la p-valeur. Nous allons donc beaucoup utiliser les graphiques de la p-valeur. À gauche, nous voyons un graphique de la p-valeur pour une hypothèse nulle probablement vraie. |
| |
La pratique régulière d'un exercice physique sur le long terme chez les personnes âgées n'entraîne ni mortalité ni risque accru de mortalité. À droite, nous avons le tabagisme et le cancer du poumon. |
| |
On observe une série de valeurs p proches de zéro, sur toute la largeur de la page, avec quelques valeurs isolées en haut à droite. L'image de droite témoigne d'un effet réel, tandis que celle de gauche soutient l'hypothèse nulle d'absence d'effet. |
| |
Parlons maintenant de méta-analyse, car j'en utiliserai au cours de ce cours. À gauche, on voit un entonnoir dans lequel convergent de nombreux articles. |
| |
L'épidémiologiste, ou la personne qui réalise la méta-analyse, sélectionne les articles qu'il juge de haute qualité et les utilise pour une analyse plus approfondie. À droite, on voit… en quelque sorte… |
| |
Hiérarchie des preuves. Une méta-analyse portant sur de nombreuses études est envisagée. |
| |
Des informations de haut niveau, puis à la base, des avis d'experts, etc. Plus on monte dans la pyramide, |
| |
Certains affirment que les preuves sont meilleures. |
| |
Nous allons examiner deux exemples d'articles de méta-analyse. Le premier est d'Orellano. |
| |
oxyde nitrique, ozone, |
| |
des petites particules, etc. Et il a collecté des données de partout... de partout |
| |
le monde, et ceci était sponsorisé par le |
| |
L'OMS, donc il s'agit d'un financement de grande qualité et d'un article de grande qualité. |
| |
Il s'agit d'une méta-analyse. Nous allons vérifier si les conclusions de cette méta-analyse se confirment. |
| |
La dernière était vraiment drôle. Elle montrait les habitudes de consommation de viande rouge et transformée et les risques de cancer du poumon et de crise cardiaque. |
| |
On trouve de nombreux articles en nutrition qui affirment qu'il ne faut pas consommer de viande rouge. Nous allons vérifier si cela se confirme. |
| |
Revenons en arrière et examinons les différentes pièces du puzzle, puis voyons comment elles s'assemblent. |
| |
Nous savons, grâce à la littérature scientifique, que la plupart des affirmations ne sont pas reproductibles. On parle alors de crise de la science. Le p-hacking est un problème. Il consiste à réaliser de nombreux tests en essayant différentes hypothèses, puis, lorsqu'on obtient une valeur p inférieure à 0,05, |
| |
Vous pouvez rédiger un article. |
| |
Nous allons utiliser des méta-analyses et des graphiques de valeurs p pour démasquer ceux qui pratiquent le « p-hacking », que j'appelle une forme de tricherie statistique. |
| |
D'autres, vous savez, un peu plus… l'ont décrit différemment. Nous allons utiliser des modules complémentaires JMP. Ces modules complémentaires JMP ont été écrits par Paul Fogle. |
| |
Elles nous permettent de partir d'une méta-analyse et de générer rapidement et facilement un graphique des valeurs p. Nous allons également décrire la méthode de combinaison des valeurs p de Fisher, puis… |
| |
J'ai un petit script qui prend le graphique bidirectionnel issu de JMP et le nettoie, afin que les marges gauche et droite soient plus... plus esthétiques. |
| |
Voici donc ce que signifie l'exposition à long terme à la pollution atmosphérique et |
| |
D'après eux, cela provoque l'asthme. À gauche, nous avons ce qu'on appelle un diagramme arborescent. C'est... |
| |
Ça ressemble un peu à un sapin de Noël. |
| |
Les valeurs moyennes sont représentées par des points, et les intervalles de confiance par des moustaches. À gauche figurent les titres des articles sélectionnés par ces auteurs, et à droite… |
| |
ratios de risque et intervalles de confiance. Il est souvent possible de simplement extraire les ratios de risque et les intervalles de confiance et de les intégrer dans un |
| |
Ensemble de données JMP, et nous voyons donc l'ensemble de données JMP à droite. |
| |
Voici maintenant le graphique des valeurs p. |
| |
Le document écrit par Paul Fogle va convertir ces ratios de risque et P... et les limites de confiance en valeurs P. |
| |
Nous constatons ici que cela a été fait. |
| |
Les limites de confiance permettent de calculer l'erreur standard. |
| |
À partir du rapport de risque et de l'erreur standard, on peut calculer une statistique Z. On peut ensuite utiliser cette statistique Z pour obtenir une valeur p. À droite, on voit apparaître un graphique de la valeur p, comme avec JMP en quelques clics. |
| |
Ici encore, à gauche, nous avons le graphique approximatif des valeurs p, et à droite, après avoir utilisé un petit script, nous ajoutons la ligne zéro, la ligne pointillée pour 0,05, et nous nettoyons et agrandissons les nombres sur le graphique. |
| |
Axes X et Y. Nous pouvons donc maintenant examiner et évaluer toutes les études qui y figuraient, mais nous constatons une chose assez étrange. Nous constatons que… |
| |
Tout cela se traduit ici par quelques valeurs p inférieures à 0,05 et beaucoup de valeurs p en hausse, ce qui crée une situation ambiguë. |
| |
Certaines valeurs p semblent confirmer l'affirmation, tandis que d'autres semblent être de simples résultats aléatoires. |
| |
Examinons la méthode de Fisher pour combiner les valeurs p. À gauche, nous avons la formule. On prend la valeur p, on prend le logarithme népérien, puis on additionne les résultats, et on multiplie par -2. |
| |
Cela vous donne le chi carré. Vous consultez la valeur du chi carré dans le tableau. Dans cette méta-analyse, nous avons les valeurs p. Sous « Valeur p », nous avons -2ln, et vous constatez que quelques valeurs p faibles contribuent de manière significative à la somme. |
| |
Si vous y réfléchissez un tant soit peu, la somme, comme toutes les sommes, est sujette à des valeurs aberrantes manipulées... ce qui modifie considérablement l'équilibre. |
| |
Ainsi, les quelques faibles valeurs p (0,0033 et 0,0073) contribuent de manière significative à la somme des carrés des χ². De fait, cette somme est peu robuste. Une seule valeur aberrante, et notamment une valeur aberrante extrême, peut fausser l'ensemble du modèle. |
| |
Il faut toutefois garder à l'esprit que le P-hacking peut conduire à de faibles valeurs de P et également, |
| |
Il arrive très souvent que les scientifiques, si une étude s'avère non significative, ne la publient tout simplement pas. |
| |
Et s'ils trouvent quelque chose de significatif, ils le feront généralement. Il y a donc un biais de publication. Toute la littérature est truffée de petites valeurs p. |
| |
Et ceci n'est probablement que la partie émergée de l'iceberg. Sous l'iceberg se cachent toutes les publications qui auraient pu avoir lieu, mais qui n'étaient pas statistiquement significatives. |
| |
Nous allons maintenant examiner une étude sur la pollution atmosphérique. Mustafic en 2012 |
| |
Il a publié un article dans le JAMA et a examiné les six polluants atmosphériques typiques. |
| |
Monoxyde de carbone, oxyde nitreux, particules fines (PM 2,5), dioxyde de soufre, etc. |
| |
Si vous examinez ces graphiques de valeurs p, vous constaterez qu'ils ressemblent tous à des crosses de hockey. Plusieurs valeurs p sont inférieures à 0,05. |
| |
Mais il existe aussi un nombre important de valeurs P qui augmentent le long d'une ligne à 45 degrés, indiquant qu'il n'y a pas d'effet. |
| |
Nous soutenons qu'il s'agit d'un mélange. Nous examinons un mélange d'études significatives et d'études non significatives. |
| |
Nous soutenons par ailleurs que les études significatives proviennent en grande partie du P-hacking. D'autres méthodes existent, mais nous pensons que le P-hacking est la clé. Donc, si vous regardez à gauche, |
| |
Dans l'encadré rouge, nous indiquons le nombre médian |
| |
des modèles ou des tests qui pourraient être menés dans une étude, les études qui figuraient dans l'article de Mustafic. |
| |
Nous avons compté le nombre de |
| |
résultats, prédicteurs et covariables, et si vous multipliez tout cela, le nombre médian, que nous appelons l'espace de recherche, l'espace de recherche médian est de 12 288. |
| |
Cela signifie que les auteurs avaient, en moyenne, 12 000 occasions d’obtenir une valeur P inférieure à 0,05. Ils disposaient donc d’une marge de manœuvre considérable pour obtenir un résultat statistiquement significatif. |
| |
Nous allons examiner ici le décompte simple des études nutritionnelles. Nous avons donc ici 15 études. Les auteurs, ou les premiers auteurs de l'article. |
| |
En haut, vous voyez les résultats, les prédicteurs, les covariables, les tests, les modèles et l'espace de recherche. Les résultats, par exemple, si l'on a examiné trois indicateurs de santé, selon Dixon, et si l'on a eu 51 participants. |
| |
Les aliments inclus dans leur étude, ceux-là... ce seraient des prédicteurs. Maintenant, s'ils utilisent des covariables, |
| |
Cela augmenterait considérablement le champ de recherche. Et on constate que, théoriquement, Dixon disposait de 20 millions d'analyses possibles. |
| |
Et si vous regardez la colonne « espace de recherche », vous pouvez voir un nombre important d'analyses possibles. |
| |
Les études nutritionnelles ont été réalisées auprès de cohortes. Une cohorte est un groupe de personnes rassemblées. |
| |
Elles sont d'abord évaluées par le biais de questions, puis on attend dans le temps avant d'examiner les effets sur la santé. |
| |
Chacune de ces cohortes porte le nom d'un ensemble de données qu'elle utilise. |
| |
Et ces groupes, une fois constitués, peuvent servir à poser, vous savez, une multitude de questions. |
| |
Si |
| |
La valeur p pour l'une de ces questions s'avère significative. |
| |
et ils ont le sentiment de pouvoir rédiger un article, et bien souvent ils le font. |
| |
Donc, dans les deux dernières colonnes, nous voyons le nombre d'articles. |
| |
qui pourraient survenir. Il y en a plus... nous avons utilisé Google Scholar et nous avons vérifié. Voici donc le nombre d'articles parus dans la littérature. |
| |
associé à chacune de ces cohortes. J'ajouterai que nous avons examiné un grand nombre de ces articles et qu'aucun d'entre eux ne comporte d'ajustement pour les tests multiples ou la modélisation multiple. |
| |
L'épidémiologie nutritionnelle et l'épidémiologie environnementale, ce sont celles dont nous avons parlé ici. L'épidémiologie nutritionnelle utilise un questionnaire, le questionnaire de fréquence alimentaire (QFA). |
| |
Dans un questionnaire de fréquence alimentaire, vous pouvez inclure un certain nombre d'aliments. |
| |
Au départ, ils ont commencé avec 61 aliments, et j'ai vu des études utilisant des questionnaires de fréquence alimentaire (QFA) qui en portaient sur 800. Je n'aimerais pas être à la place de celui qui remplit un tel questionnaire. |
| |
Voici toutefois le nombre d'articles qui utilisent les questionnaires de fréquence alimentaire au fil du temps. |
| |
Depuis 1985... la technique a été inventée en 1986... depuis 1985, il y a eu 74 000 articles sur le FFQ, et d'après notre analyse, aucun de ces articles n'a pris en compte les tests multiples et tous présentaient des espaces de recherche statistique considérablement importants. |
| |
En matière d'épidémiologie environnementale, j'ai simplement effectué une recherche Google sur le mot « pollution de l'air » figurant dans le titre de l'article. |
| |
Et nous constatons ici qu'au fil du temps, 28 à 29 000 articles ont été écrits sur la pollution de l'air. |
| |
Pour autant que je sache, après de nombreuses recherches, aucun de ces articles ne tient compte des tests multiples ou des modélisations multiples, et tous ces articles ont de grands... en fait, tous ces articles ont des espaces de recherche très vastes. |
| |
La méta-analyse est incluse dans le nom de revue systématique et de méta-analyse et, plus récemment, à partir de 2005, |
| |
les revues ont |
| |
J'ai utilisé ce terme dans le titre de l'article. À partir de 2005, j'ai donc demandé si les mots « revue systématique » et « méta-analyse » apparaissaient dans le titre des articles, et comme vous pouvez le constater, le nombre de réponses était faible au départ : 1 500 articles par an. |
| |
1 500 articles au cours de cette période de cinq ans et finalement en 2021, il y |
| |
Au total, 27 000 exemplaires ont été produits ; il s’agit donc d’une production artisanale. Ces documents peuvent être imprimés relativement facilement. |
| |
Une équipe, souvent basée en Chine et composée de 10 à 5 à 15 personnes, peut produire une méta-analyse par semaine. |
| |
Et leur rémunération est calculée en fonction du nombre d'articles qu'ils publient, etc. |
| |
À ma connaissance, il s'agit de la moitié d'études observationnelles et l'autre moitié d'essais cliniques randomisés. |
| |
Pratiquement aucune de ces études, et dans toutes celles que nous avons examinées jusqu'à présent, en particulier dans les études observationnelles, ne présente cette forme de crosse de hockey, c'est-à-dire qu'il y a des valeurs P faibles et un certain nombre de valeurs P qui semblent complètement aléatoires. |
| |
Je tiens à préciser que la quasi-totalité de ces études sont financées par vos impôts, ou par ceux de quelqu'un d'autre. On peut dire qu'elles sont très largement financées par les deniers publics. |
| |
De nombreuses affirmations ne reposent sur aucune base statistique. Les articles de référence ne tiennent pas compte des tests et modélisations multiples. Ils présentent des espaces de recherche analytique très vastes. |
| |
Et nous avons vu des exemples, tirés de l'épidémiologie environnementale et de l'épidémiologie nutritionnelle, qui montrent que la plupart des gens, si l'on en juge par les preuves, ne sont pas fiables. |
| |
Je le dis, et d'autres l'ont dit aussi : nous assistons à un désastre scientifique et statistique, et l'utilisation de la méta-analyse et des graphiques de valeurs p ne permet pas de vérifier si ces affirmations sont vraies ou non. |
| |
Voici quatre situations de smog. En haut à gauche, Londres en 1952 ; |
| |
À droite, Los Angeles en 1948. |
| |
En bas à gauche, c'est Singapour, mais je ne suis pas sûr… je ne me souviens plus de l'année exacte. Et puis il y a Pékin. Ce sont des photos récentes. |
| |
Dans le cas du brouillard londonien, l'analyse statistique des décès (décès quotidiens, etc.) indique qu'il y a eu plus de 4 000 décès survenus en l'espace de trois ou quatre jours à Londres en 1952. Cela a suscité l'intérêt des épidémiologistes pour déterminer la cause de ces décès. |
| |
Pour les trois autres diapositives ou les trois autres images, aucune augmentation de la mortalité n'a été signalée durant ces périodes. |
| |
Le plus surprenant, c'est qu'à Londres, ils brûlaient du charbon. |
| |
Pour le chauffage et tout le reste. Il y a eu une inversion de température et l'hypothèse est que l'acide présent dans l'air a été transporté par des particules jusqu'aux poumons inférieurs, et que les personnes vulnérables, généralement âgées et fragiles, sont décédées en plus grand nombre. Mais ce n'est plus le cas actuellement. |
| |
Partout dans le monde. Il existe toutes sortes de pollutions à travers le monde et nous ne constatons pas de pics de mortalité qui y sont associés. |
| |
Des arnaques ? Ha ha. J'adore les arnaques. |
| |
S'agit-il d'arnaques ? La pollution de l'air tue. Toute affirmation issue d'une étude de questionnaire de fréquence alimentaire, par exemple que la consommation de café augmente le risque de cancer du pancréas, est probablement fausse. |
| |
Les niveaux naturels d'ozone sont-ils mortels ? Je pense que non. Quant aux œstrogènes environnementaux, toute affirmation issue d'une méta-analyse d'études observationnelles est à prendre avec précaution. |
| |
Il faut garder à l'esprit que, selon les données publiées, 80 % des affirmations scientifiques, provenant généralement du milieu universitaire, n'ont pas pu être reproduites lors de tests rigoureux, par exemple dans le cadre d'essais cliniques randomisés. |
| |
Émotion et peur. Le but ultime de la politique pratique est de maintenir la population sous la menace, la peur et, par conséquent, de la pousser à réclamer la sécurité en la menaçant d'une série interminable de monstres imaginaires. |
| |
L'escroquerie, la tromperie, les jeux de dupes impliquant… une persuasion habile ou une manipulation habile de la victime. C'est pourquoi H.L. Mencken disait dans les années 1930 que la politique pratique est en grande partie une politique de la peur. |
| |
Nous terminons cette présentation avec les auteurs de cet article. Je suis Stan Young et vous pouvez me joindre à l'adresse genetree@bellsouth.net. Warren Kindzierski est un épidémiologiste canadien qui a collaboré étroitement avec moi ces deux dernières années sur des articles qui |
| |
sont basées sur ce que nous avons vu aujourd'hui. Paul Fogel est un statisticien très intéressant, il vit à Paris et il a rédigé le rapport. |
| |
Nous pouvons utiliser des modules complémentaires et des scripts. Ces scripts vous permettront de passer d'une méta-analyse à une évaluation en un peu moins d'une heure. |
| |
Je vous recommande le rapport de la National Association of Scholars, intitulé Shifting Sands Report 1 ; vous y trouverez le lien suivant : [insérer l'URL]. |
| |
Ce rapport est un long et complexe rapport statistique, mais simple, qui traite de la qualité de l'air et de ses effets sur la santé. |
| |
Et sur ce, j'affirme également que si quelqu'un qui regarde cette vidéo souhaite tester ce qui se passe, nous lui fournirons les scripts et les modules complémentaires pour JMP, et je l'aiderai même à les installer. |
| |
Veuillez examiner et interpréter votre analyse de la méta-analyse. Je m'arrête là et je suis prêt à répondre à vos questions. Merci. |
