Mio ultimo post di blog discusso utilizzando un array di copertura per testare le preferenze per la piattaforma Categorica. Mentre la speranza è che tutti i test passino, in questo blog consideriamo ciò che possiamo fare quando uno di questi test fallisce. Quando si utilizza "Crea tabella" dopo aver creato un progetto nella piattaforma Covering Array, ci sono due elementi importanti su cui prestare attenzione: la prima colonna con valori mancanti con l'etichetta "Risposta" e uno script di tabella chiamato "Analisi". La colonna Risposta utilizza i valori 1 e 0 per corrispondere al fatto che una determinata esecuzione sia passata o meno in base a ciò che stiamo misurando. Per la piattaforma Categoriale, un valore di 1 verrebbe registrato se la piattaforma si comporta come previsto e 0 se c'è un errore di qualche tipo. Lo script "Analisi" deve essere utilizzato una volta completata la colonna Risposta.
Quando si esegue il test, idealmente osserviamo tutti i 1 nella colonna Risposta. Nella tabella dati fornita sul Scambio di file , Sono passato e ho raccolto alcuni dati ipotetici: ognuna delle corse è passata tranne che per l'ultima. Cosa facciamo con questo fallimento? Sarebbe bello restringere le cause potenziali.
Analisi
Il primo posto per cercare una causa sarebbe se eventuali singoli fattori avessero potuto causare l'errore. Poiché ogni opzione di preferenza si verifica in più di una riga e tutto il resto è passato, non è un singolo fattore che causa il problema. Il prossimo candidato probabile sarebbe una causa di 2 opzioni. Abbiamo 45 Scegli 2 = 990 diverse combinazioni di 2 opzioni in quella riga. Questo non sembra molto informativo. Tuttavia, molte di queste combinazioni appaiono in altre parti del progetto e la piattaforma ha superato tali test, quindi è possibile eliminarli come potenziali cause. Passare attraverso l'elenco delle cause potenziali ed eliminare quelli che sono apparsi altrove sarebbe un compito noioso, che è quello che lo script di analisi si prende cura di noi. Esecuzione di quello script:
Il rapporto Analisi mostra potenziali cause per l'errore, che è notevolmente ridotto dalle 990 coppie contenute nella riga contenente un errore a soli 16. Per di più, il test è stato semplificato per avere coppie da controllare.
Qualsiasi tipo di informazione renderebbe questo processo ancora più semplice. Nel nostro esempio, il tester è a conoscenza del fatto che le "Scelte test di ChiSquare" sono state aggiornate di recente e possono prima esaminare questi 2 casi. Vale la pena notare che facendo clic su una qualsiasi delle potenziali cause si evidenzia la riga e le colonne di errore corrispondenti ad essa. Questo è utile se hai a che fare con molte righe e / o colonne e vuoi un modo rapido per essere in grado di suddividere la tabella.
Pensieri finali
Siamo passati da un'attività di test delle preferenze che sembrava impossibile a qualcosa che forniva una copertura ragionevole in sole 16 sessioni. Potremmo andare ancora oltre creando un array di copertura di forza 3 - con un po 'di ottimizzazione, ho trovato un progetto con 65 run (e il 4-coverage era oltre il 96%). I vincoli in cui alcune combinazioni non possono essere eseguite insieme possono anche essere combinate con combinazioni non consentite. Hai fortuna ad usare gli array di copertura nel tuo lavoro? Lasciatemi un commento e fatemi sapere. Grazie per aver letto!
