583869_es-ES

liliconcom

Loc Función inversa

Hola a todos.Hice esta función JSL para una tarea específica, pero me preguntaba si hay una mejor manera de hacerlo.

Lo que quiero es una forma, si tiene un vector de índices, de hacer un vector indicador de un enlace específico donde el valor del elemento del vector es 1 para el índice especificado y 0 en caso contrario.P.EJ

[2, 3, 6] --> convertir a vector indicador de longitud 10.

[0, 1, 1, 0, 0, 0, 1, 0, 0, 0]

El caso de uso es para seleccionar subconjuntos de filas en una tabla de datos en función de múltiples condiciones, donde para cada condición obtengo un vector de los números de fila que cumplen la condición y quiero obtener las filas que cumplen todas las condiciones.  

// Loc Inverse Function
// This function converts a vector of positive integers (locvals) into an
// indicator vector of a specified length, n,  with the values
// v[I] = 1 if I is in locvals, and 0 otherwise
// example
//      Loc Inverse(6, [1,3])
// returns
//      [1, 0, 1, 0, 0, 0]
*/

Loc Inverse = Function( {n, locvals},
 v = J( n, 1, 0 );
 v[locvals] = 1;
 v;
);

Entonces, para el caso de uso, por ejemplo, si tengo tres condiciones, obtengo los números de fila en vectores que cumplen cada condición (v1, v2, v3), así que haría esto

dt=current data table();
Loc Inverse = Function( {n, locvals},
 v = J( n, 1, 0 );
 v[locvals] = 1;
 v;
);
// ...
// code to get v1, v2, v3
// ...
rowindicator1=Loc Inverse(n rows(dt), v1);
rowindicator2=Loc Inverse(n rows(dt), v2);
rowindicator3=Loc Inverse(n rows(dt), v3);

meet_all_conditions_indicator = rowindicator1 & rowindicator2 & rowindicator3;

rows_that_meet_all_conditions = Loc(meet_all_conditions_indicator);

Re: Función Loc Inversa

Creo que tu enfoque está bien. Si tiene muchas cláusulas, o un número desconocido, y/o muchas filas, puede experimentar con esta función, que acepta una lista de matrices de números de fila:

common = function({nr, vList},
 {default local}, 
 mat = J(nr, 1, 0);
 for each( {i}, 1::nitems(vList), mat[vlist[i]]++ );
 return(loc(mat, nitems(vList)))
);

La ventaja principal aquí es que solo se debe crear y almacenar una única matriz de tamaño completo. A continuación se muestra un ejemplo que compara los tiempos de ejecución de 6 cláusulas en un millón de filas.

names default to here(1);
nr = 1e6;
p = 0.6;
nClause = 6;

//create a list of vectors, each representing the rows returned from a given clause.
//rows are selected with probability p within any clause
vecLis = {};
for each( {i}, 1::nClause, insertinto(vecLis, loc(J(nr,1, randombinomial(1,p)))));

Loc Inverse = Function( {n, locvals},
 v = J( n, 1, 0 );
 v[locvals] = 1;
 v;
);

common = function({nr, vList},
 {default local}, 
 mat = J(nr, 1, 0);
 for each( {i}, 1::nitems(vList), mat[vlist[i]]++ );
 return(loc(mat, nitems(vList)))
);


t1 = hptime();
rws = common(nr,vecLis);
t2 = hptime();


t3 = hptime();
rowindicator1=Loc Inverse(nr, vecLis[1]);
rowindicator2=Loc Inverse(nr, vecLis[2]);
rowindicator3=Loc Inverse(nr, vecLis[3]);
rowindicator4=Loc Inverse(nr, vecLis[4]);
rowindicator5=Loc Inverse(nr, vecLis[5]);
rowindicator6=Loc Inverse(nr, vecLis[6]);

meet_all_conditions_indicator = rowindicator1 & rowindicator2 & rowindicator3 & rowindicator4 & rowindicator5 & rowindicator6;
rows_that_meet_all_conditions = Loc(meet_all_conditions_indicator);
t4 = hptime();

//Print(evalinsert("Number of Rows: ^nr^.\!NProportion 'Yes' ^p^.\!NNumber of clauses: ^nClause^."));
Print(evalinsert("single matrix approach: ^(t2-t1)/1e6^ secs."));
Print(evalinsert("InvLoc approach: ^(t4-t3)/1e6^ secs."));
Print(evalinsert("Answers differ or are empty: ^try(sum(rws !=  rows_that_meet_all_conditions), 1)"));

 

 

 

Re: Función Loc Inversa

Aunque podría malinterpretar la pregunta, Associative Array puede obtener el conjunto de intersección de dos conjuntos.

Names Default To Here(1);
/* Sample Data */
n = 30000;
p = 9;
vec = J(n, p, .);
For(i = 1, i <= NCol(vec), i++,
vec[0, i] = (1::n)`*i;
);

/* From Here */
a={};
For(i = 1, i<=NCol(vec), i++,
a[i] = Associative Array(vec[0,i]);
);
For(i = 2, i <= N Items(a), i++,
a[1] << Intersect(a[i]); /* Intersection Set (A1 cap A2 cap ... cap Ap)*/
);
answer = a[1] <<GET keys=""></GET>

Re: Función Loc Inversa

Hola Yusuke-san,

Gracias por traer matrices asociativas a la discusión. Como mencionas, <

Como ejemplo, a continuación incluyo el código y la salida del registro para comparar cada método usando su conjunto de datos de muestra de 30 000 filas por 9 columnas. En este caso, el método de matriz asociativa tarda aproximadamente 65 veces más en ejecutarse que el método de matriz.

Salud,

Brady

Names Default To Here( 1 );
/* Sample Data */
n = 30000;
p = 9;
vec = J( n, p, . );
For( i = 1, i <= N Col( vec ), i++,
 vec[0, i] = (1 :: n)` * i
);

t1 = HP Time();
a = {};
For( i = 1, i <= N Col( vec ), i++,
 a[i] = Associative Array( vec[0, i] )
);
For( i = 2, i <= N Items( a ), i++,
 a[1] << Intersect( a[i] ); /* Intersection Set (A1 cap A2 cap ... cap Ap)*/
);
answer = a[1] << Get Keys;
t2 = HP Time();

common = Function( {nr, vList},
 {default local},
 mat = J( nr, 1, 0 );
 For Each( {i}, 1 :: N Items( vList ), mat[vlist[i]]++ );
 Return( Loc( mat, N Items( vList ) ) );
);


t3 = HP Time();
 vecLis = {};
 For Each( {i}, 1 :: N Col( vec ), Insert Into( vecLis, vec[0, i] ) );
 nr = Max( vec );
 
 answer2 = common( nr, vecLis );

t4 = HP Time();

Print( Eval Insert( "AAs: ^(t2-t1)/1e6^ secs; ^answer^." ) );
Print( Eval Insert( "matrix: ^(t4-t3)/1e6^ secs; ^answer2^." ) );

 

 

Re: Función Loc Inversa

Muchas gracias, Brady-san.

También pruebo For Each como el siguiente, pero su método de matriz es aún más rápido. Supongo que se necesita mucho tiempo para crear matrices asociativas a partir de vectores.

t1 = HP Time();
a = Associative Array(vec[0, 1]);
For Each({i}, 2::N Col(vec),
 a << Intersect(Associative Array( vec[0, i] ));
);
answer = a << Get Keys;
t2 = HP Time();