Mi última entrada de blog discutió el uso de una matriz de cobertura para probar las Preferencias para la plataforma Categórica. Si bien la esperanza es que todas las pruebas pasen, en este blog consideramos lo que podemos hacer cuando una de esas pruebas falla. Cuando usa "Crear tabla" después de crear un diseño en la plataforma Covering Array, hay dos partes importantes a las que prestar atención: la primera columna con los valores faltantes etiquetados como "Respuesta" y una secuencia de comandos de tabla llamada "Análisis". La columna Respuesta usa valores de 1 y 0 para corresponder a si una ejecución en particular fue aprobada o no de acuerdo con lo que estamos midiendo. Para la plataforma categórica, se registraría un valor de 1 si la plataforma se comporta como se espera, y 0 si hay algún tipo de falla. La secuencia de comandos "Análisis" se utilizará una vez que se complete la columna de Respuesta.
Al realizar la prueba, lo ideal es que observemos todos los 1 en la columna Respuesta. En la Tabla de Datos provista en la Intercambio de archivos Pasé y recabé algunos datos hipotéticos: cada una de las ejecuciones se aprobó, excepto la última. ¿Qué hacemos con este fracaso? Sería bueno reducir las posibles causas.
Análisis
El primer lugar para buscar una causa sería si algún factor individual hubiera causado la falla. Dado que cada opción de preferencia se produce en más de una fila y todo lo demás pasó, no es un solo factor el que causa el problema. El próximo candidato probable sería una causa de 2 opciones. Tenemos 45 Elegir 2 = 990 combinaciones diferentes de 2 opciones en esa fila. Eso no parece muy informativo. Sin embargo, muchas de estas combinaciones aparecen en otras partes del diseño y la plataforma pasó esas pruebas, por lo que se pueden eliminar como posibles causas. Pasar por la lista de causas potenciales y eliminar aquellas que han aparecido en otros lugares sería una tarea tediosa, que es lo que el script de Análisis cuida de nosotros. Ejecutando ese script:
El informe de análisis muestra las posibles causas de la falla, que se reduce en gran medida de los 990 pares contenidos dentro de la fila que contiene una falla de solo 16. Lo que es más, las pruebas se han simplificado para tener pares para verificar.
Cualquier tipo de información haría este proceso aún más fácil. En nuestro ejemplo, el evaluador sabe que las "Opciones de prueba de ChiSquare" se actualizaron recientemente, y primero puede ver esos 2 casos. Vale la pena señalar que hacer clic en cualquiera de las posibles causas resalta la fila de falla y las columnas correspondientes. Esto es útil si está tratando con muchas filas y / o columnas y quiere una manera rápida de poder subcontratar la tabla.
Pensamientos finales
Pasamos de una tarea de probar preferencias que parecían imposibles a algo que ofrecía una cobertura razonable en solo 16 ejecuciones. Podríamos ir aún más lejos al crear una matriz de cobertura de fuerza 3; con algunas optimizaciones, encontré un diseño que tenía 65 carreras (y la cobertura de 4 era superior al 96%). Las restricciones donde algunas combinaciones no se pueden ejecutar juntas también se pueden acomodar con combinaciones no permitidas. ¿Alguna suerte usando arreglos de arreglos en tu propio trabajo? Déjame un comentario y házmelo saber. ¡Gracias por leer!
