915439_fr-FR

liliconcom

Demande d'aide pour la programmation - Création d'un simulateur d'erreurs de type I dans les tests d'équivalence

Salut tout le monde,

Je cherche à écrire un script qui génère un jeu de données aléatoire (n=3 mesures de référence et de test) puis effectue une simulation avec un nombre donné d'éléments (1000, par exemple). Pour chaque jeu de données, je réalise un test d'équivalence et souhaite obtenir un rapport/tableau indiquant la fréquence des événements où l'équivalence a été démontrée. L'objectif de cet outil est de calculer la probabilité d'erreurs de type I pour une marge d'équivalence donnée.

J'ai abouti au code suivant, mais il ne fonctionne pas et je suis complètement bloqué. Toute aide ou suggestion de la part du groupe serait grandement appréciée.

Merci!

Chris

// Parameters
numSimulations = 10;
nPerGroup = 3;
refMean = 99.1;
testMean = 98.8;
sd = 0.1;
equivMargin = 0.3;
type1Errors = 0;

// Critical t-value for 90% CI with df = 2n - 2
df = 2 * nPerGroup - 2;
tCrit = StudentTQuantile(0.950, df);

// Create summary table
summaryTable = New Table("Simulation Summary",
    New Column("Simulation", Numeric),
    New Column("CI_Lower", Numeric),
    New Column("CI_Upper", Numeric),
    New Column("Equivalence_Concluded", Character),
    New Column("Mean_Diff", Numeric)
);

// Loop through simulations
For(sim = 1, sim <= numSimulations, sim++,

    // Create new data table
    dt = New Table("Sim" || Char(sim),
        Add Rows(nPerGroup * 2),
        New Column("Group", Character),
        New Column("Value", Numeric)
    );

    // Simulate Reference group
    For(i = 1, i <= nPerGroup, i++,
        dt:Group[i] = "Reference";
        dt:Value[i] = Random Normal(refMean, sd);
    );

    // Simulate Test group
    For(i = nPerGroup + 1, i <= nPerGroup * 2, i++,
        dt:Group[i] = "Test";
        dt:Value[i] = Random Normal(testMean, sd);
    );

    // Extract values
    refVals = dt << Get As Matrix( :Value )[1::nPerGroup];
    testVals = dt << Get As Matrix( :Value )[nPerGroup+1::nPerGroup*2];
    meanDiff = Mean(testVals) - Mean(refVals);

    // Sample variances
    varRef = Variance(refVals);
    varTest = Variance(testVals);

    // Pooled variance
    pooledVar = ((nPerGroup - 1) * varRef + (nPerGroup - 1) * varTest) / df;
    pooledSD = Sqrt(pooledVar);

    // Standard error of difference
    seDiff = pooledSD * Sqrt(2 / nPerGroup);

    // 90% CI
    ciLower = meanDiff - tCrit * seDiff;
    ciUpper = meanDiff + tCrit * seDiff;

    // Check equivalence
    eqResult = "No";
    If(ciLower > -equivMargin & ciUpper < equivMargin,
        type1Errors++;
        eqResult = "Yes";
    );

    // Log results
    summaryTable << Add Rows(1);
    summaryTable:Simulation[sim] = sim;
    summaryTable:CI_Lower[sim] = ciLower;
    summaryTable:CI_Upper[sim] = ciUpper;
    summaryTable:Equivalence_Concluded[sim] = eqResult;
    summaryTable:Mean_Diff[sim] = meanDiff;

    // Close the table to avoid clutter
    dt << Close Window;
);

// Show results
New Window("Type I Error Summary",
    Text Box("Total Simulations: " || Char(numSimulations)),
    Text Box("Type I Errors: " || Char(type1Errors)),
    Text Box("Estimated Type I Error Rate: " || Char(Round(type1Errors / numSimulations * 100, 2)) || "%")
);

Automatisation et scriptageRe: Demande d'aide pour la programmation - Création d'un simulateur d'erreurs de type 1 dans les tests d'équivalence

Quelle partie vous pose problème ?

Re: Demande d'aide pour la programmation - Création d'un simulateur d'erreurs de type 1 dans les tests d'équivalence

H Jarmo,

Actuellement, le code plante lorsqu'il tente d'extraire les valeurs critiques de T du rapport d'équivalence. Mais il y a d'autres problèmes également. J'ai constaté qu'il exécute la simulation et les tests d'équivalence sans parvenir à extraire les valeurs du rapport.

J'ai aussi essayé d'appliquer certains de ces principes à l'IA, mais je pense que certaines conventions de syntaxe et de codage sont peut-être incorrectes.

Chris

Re: Demande d'aide pour la programmation - Création d'un simulateur d'erreurs de type 1 dans les tests d'équivalence

Je suggérerais les modifications suivantes :

La fonction StudentTQuantile() n'existe pas. Il faudrait utiliser tQuantile().

La fonction Variance() n'est pas intégrée. Définissez-la dans votre script (ou calculez simplement le carré de l'écart type à la place).

refVals = dt << Get As Matrix( :Value )[1::nPerGroup] devrait plutôt ressembler à refVals = dt:Value[Where( :Group == "Reference" )];

Même chose pour testVals =

Définissez la visibilité de dt sur « Privé » pour accélérer considérablement le processus.

Variance = Function( {Values},
	Return( Std Dev( Values ) ^ 2 )
);
// Parameters
numSimulations = 1000;
nPerGroup = 3;
refMean = 99.1;
testMean = 98.8;
sd = 0.1;
equivMargin = 0.3;
type1Errors = 0;

// Critical t-value for 90% CI with df = 2n - 2
df = 2 * nPerGroup - 2;
tCrit = t Quantile( 0.950, df );

// Create summary table
summaryTable = New Table( "Simulation Summary",
	New Column( "Simulation", Numeric ),
	New Column( "CI_Lower", Numeric ),
	New Column( "CI_Upper", Numeric ),
	New Column( "Equivalence_Concluded", Character ),
	New Column( "Mean_Diff", Numeric )
);

// Loop through simulations
For( sim = 1, sim <= numSimulations, sim++, 

    // Create new data table
	dt = New Table( "Sim" || Char( sim ), "Private", Add Rows( nPerGroup * 2 ), New Column( "Group", Character ), New Column( "Value", Numeric ) );

    // Simulate Reference group
	For( i = 1, i <= nPerGroup, i++,
		dt:Group[i] = "Reference";
		dt:Value[i] = Random Normal( refMean, sd );
	);

    // Simulate Test group
	For( i = nPerGroup + 1, i <= nPerGroup * 2, i++,
		dt:Group[i] = "Test";
		dt:Value[i] = Random Normal( testMean, sd );
	);

    // Extract values
	refVals = dt:Value[Where( :Group == "Reference" )];
	testVals = dt:Value[Where( :Group == "Test" )];
	meanDiff = Mean( testVals ) - Mean( refVals );

    // Sample variances
	varRef = Variance( refVals );
	varTest = Variance( testVals );

    // Pooled variance
	pooledVar = ((nPerGroup - 1) * varRef + (nPerGroup - 1) * varTest) / df;
	pooledSD = Sqrt( pooledVar );

    // Standard error of difference
	seDiff = pooledSD * Sqrt( 2 / nPerGroup );

    // 90% CI
	ciLower = meanDiff - tCrit * seDiff;
	ciUpper = meanDiff + tCrit * seDiff;

    // Check equivalence
	eqResult = "No";
	If( ciLower > -equivMargin & ciUpper < equivMargin,
		type1Errors++;
		eqResult = "Yes";
	);

    // Log results
	summaryTable << Add Rows( 1 );
	summaryTable:Simulation[sim] = sim;
	summaryTable:CI_Lower[sim] = ciLower;
	summaryTable:CI_Upper[sim] = ciUpper;
	summaryTable:Equivalence_Concluded[sim] = eqResult;
	summaryTable:Mean_Diff[sim] = meanDiff;

    // Close the table to avoid clutter
	dt << Close Window;
);

// Show results
New Window( "Type I Error Summary",
	Text Box( "Total Simulations: " || Char( numSimulations ) ),
	Text Box( "Type I Errors: " || Char( type1Errors ) ),
	Text Box( "Estimated Type I Error Rate: " || Char( Round( type1Errors / numSimulations * 100, 2 ) ) || "%" )
);

Re: Demande d'aide pour la programmation - Création d'un simulateur d'erreurs de type 1 dans les tests d'équivalence

Jarmo,

Merci pour la suggestion et l'explication. Ça fonctionne parfaitement !

Je vais étudier le code en détail pour essayer de comprendre comment tout fonctionne... Merci pour votre aide !

Chris

Re: Demande d'aide pour la programmation - Création d'un simulateur d'erreurs de type 1 dans les tests d'équivalence

Le code original semble très fortement avoir été créé par LLM (en raison des erreurs évidentes qu'ils commettent si vous connaissez un peu de JSL).

Une version fonctionnelle a déjà été fournie, mais voici comment je procéderais. Il s'agit d'une version légèrement plus complexe utilisant des matrices (généralement plus rapides), et je n'ai pas vérifié les calculs.

Names Default To Here(1);

numSimulations = 1000;
nPerGroup = 3;
refMean = 99.1;
testMean = 98.8;
sd = 0.1;
equivMargin = 0.3;
type1Errors = 0;

df = 2 * nPerGroup - 2;
tCrit = t Quantile(0.950, df);


dt = New Table("Simulation Summary",
    New Column("Simulation", Numeric),
    New Column("CI_Lower", Numeric),
    New Column("CI_Upper", Numeric),
    New Column("Equivalence_Concluded", Character),
    New Column("Mean_Diff", Numeric),
    Invisible
);


For(sim = 1, sim <= numSimulations, sim++,
	m_ref = J(nperGroup, 1, Random Normal(refMean, sd));
	m_test = J(nperGroup, 1, Random Normal(testMean, sd));

	avgdiff = Mean(m_test) - Mean(m_ref);
	
	var_ref = Std Dev(m_ref)^2;
	var_test = Std Dev(m_test)^2;

    pooledVar = ((nPerGroup - 1) * var_ref + (nPerGroup - 1) * var_test) / df;
    pooledSD = Sqrt(pooledVar);

    seDiff = pooledSD * Sqrt(2 / nPerGroup);

    ciLower = avgdiff - tCrit * seDiff;
    ciUpper = avgdiff + tCrit * seDiff;

    eqResult = "No";
    If(ciLower > -equivMargin & ciUpper < equivMargin,
        type1Errors++;
        eqResult = "Yes";
    );

	dt << Add Rows(
		{Simulation = sim, CI_Lower = ciLower, CI_Upper = ciUpper, Equivalence_Concluded = eqResult, Mean_Diff = avgdiff}
	);
);


dt << Show Window(1);

nw = New Window("Type I Error Summary",
    Text Box("Total Simulations: " || Char(numSimulations)),
    Text Box("Type I Errors: " || Char(type1Errors)),
    Text Box("Estimated Type I Error Rate: " || Char(Round(type1Errors / numSimulations * 100, 2)) || "%")
);