83857_es-ES

liliconcom

¿Cómo se pueden unir las columnas parciales en múltiples archivos de datos en una tabla de datos?

 

¡Hola a todos!

 

Hay muchos archivos de datos en la ruta C: \ 1. Tienen la misma estructura de nombre de columna con 50 columnas. Cómo utilizar la implementación de JSL para combinar los datos en las columnas 3 y 5 de estos archivos en una nueva tabla de datos.

 

Configuración: el formato del tipo de datos de la columna 3 es el carácter, y el formato del tipo de datos de la columna 5 es numérico.

 

Como Big class.jmp, pero con 50 columnas.

 

¡Gracias!

 

Re: ¿Cómo se pueden unir columnas parciales en múltiples archivos de datos en una tabla de datos?¡Perfecto! Jim son competentes en esta área.

Gracias jimRe: ¿Cómo se pueden unir columnas parciales en múltiples archivos de datos en una tabla de datos?

Este es un buen comienzo para hacer lo que quiere ... Tenga cuidado, dado los parámetros que dio sobre las tablas que va a leer, la tabla final tendrá una longitud de 600,000,000 de filas.  Tomará mucho tiempo procesar esa cantidad de datos.

Names Default To Here( 1 );

// Set the path to the folder to get the files from
// Make sure a "/" is the last character in the path
// Change the value below to the actual path you need to point to
dirPath = "$SAMPLE_DATA/";

// Get all of the files from the folder
allFilesList = Files In Directory( dirPath );

// set the pointer to the final data table to a null value
dt = "";

// Loop across all of the files and concatenate them together
For( i = 1, i <= N Items( allFilesList ), i++,
 // Open the file
 dtIn = Open( dirPath || allFilesList[i], invisible );
 dtIn << run formulas; // make sure all records are run before continuing the process
 
 // In my test case, I make sure there are at least the 5 columns
 If( N Cols( dtIn ) >= 5,
 
  // Make sure the 3rd and 5th columns are of the correct type, and give them a standard name
  Column( dtIn, 3 ) << data type( character ) << set name( "__3__" );
  Try( Column( dtIn, 3 ) << delete property( "formula" ) );
  Column( dtIn, 5 ) << data type( numeric ) << modeling type( continuous ) << set name( "__5__" );
  Try( Column( dtIn, 3 ) << delete property( "formula" ) );
  Wait( 0 );
  
  // Delete all columns except the 3rd and 5th columns
  dtIn << delete columns( Index( 6, N Cols( dtIn ) ) );
  Wait( 0 );
  dtIn << delete columns( 4 );
  Wait( 0 );
  dtIn << delete columns( {1, 2} );
  Wait( 0 );
  
  // If this is the first data table, set the variable dt to point to the data table
  If( dt == "",
   dt = dtIn,
   // If not the first data table, then contatenate it to the first table
   Try( dt = dt << concatenate( dtIn, Append to first table( 1 ) ) );
   // Close the table just read into JMP since we are done with it
   Close( dtIn, nosave );
   //  This is a check I found I needed to make to insure only the 3rd and 5th columns are left
   If( Ncol(dt)>2,
    dt<<DELETE columns=""></DELETE>

Re: ¿Cómo se pueden unir columnas parciales en múltiples archivos de datos en una tabla de datos?

Gracias jim

Yo uso el JMP pro 14.
Quiero hacerlo en un guión.
Hay más de 3,000 archivos, cada uno de los cuales tiene más de 200,000 filas y 50 columnas.

Re: ¿Cómo se pueden unir columnas parciales en múltiples archivos de datos en una tabla de datos?1. ¿Qué versión de JMP está ejecutando?
2. ¿Desea que la solución tenga la forma de un script JMP o que se ejecute de forma interactiva?
3. ¿Aproximadamente cuántas filas y columnas hay por archivo de entrada y cuántos archivos hay?Re: ¿Cómo se pueden unir columnas parciales en múltiples archivos de datos en una tabla de datos?Al igual que con Big class.jmp múltiple, cada archivo simplemente selecciona datos de las columnas 3 y 5, empalmando múltiples archivos para producir nuevas tablas con muchas filas y solo dos columnas. ¡Muchas gracias!Re: ¿Cómo se pueden unir columnas parciales en múltiples archivos de datos en una tabla de datos?

Los detalles dependerán de los detalles de su caso de uso. Pero empezaría por revisar lo que importación de múltiples archivos Se puede hacer (requiere JMP 14).