Cómo cargar una base de datos muy grandeEstoy intentando cargar una base de datos muy grande usando JMP pero me estoy quedando sin memoria. Contiene casi 1.000 columnas y millones de filas. El tamaño del archivo es de casi 35 GB. ¿Hay alguna manera de que pueda abrir sólo columnas seleccionadas para minimizar el uso de memoria? ¿Alguna recomendación sobre cómo abrir un archivo tan grande usando JMP? Desafortunadamente, no tengo experiencia en codificación.
Acceso a los datosMac OSRe: Cómo cargar una base de datos muy grandeMe sorprende que nadie haya señalado esto, pero ciertamente puedes usar Query Builder para un archivo .csv. Simplemente elija el controlador correcto para un archivo .csv y podrá decidir qué columnas/filas filtrar de su gran base de datos.
Re: Cómo cargar una base de datos muy grandeAh, es un archivo .csv. Utilice "Abrir" y elija la opción "Datos (usando vista previa)".
Luego elija sus preferencias de subconjunto.
Re: Cómo cargar una base de datos muy grandePuede editar el script que importa el archivo para omitir columnas y subconjuntos de datos.
Re: Cómo cargar una base de datos muy grandeAprecio su esfuerzo al elaborar esta explicación completa. La primera opción no funciona a menos que el archivo sea un archivo JMP. Probé todas las demás opciones y no se ejecuta la segunda parte del código. Solo abre el archivo sin seleccionar ni ignorar las columnas específicas que quiero. Probé el ejemplo que proporcionaste y funcionó, pero cuando elijo el archivo que quiero, la función de seleccionar o ignorar no funciona.
Re: Cómo cargar una base de datos muy grandeTengo los datos como archivo .csv. No pude abrirlo usando el generador de consultas.Re: Cómo cargar una base de datos muy grandeGracias, tengo los datos como archivo .csv. ¿Existe alguna forma diferente de abrirlo? ¿O necesito cargar el archivo en un servidor específico y luego realizar el generador de consultas?Re: Cómo cargar una base de datos muy grandeTambién puedes intentar Seleccionar columnas cuando abras el archivo.
Guión creado por él
Open("$SAMPLE_DATA/Big Class.jmp", Select Columns("name", "age", "height"));
Esto le permitirá limitar la selección de columnas, pero no estoy seguro de si funcionará para usted.
Abrir también tiene otras opciones para limitar los datos, puede abrir las primeras x filas, las últimas x filas o x filas aleatorias
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/CrimeData.jmp", First(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Random(10));
dt = Open("$SAMPLE_DATA/CrimeData.jmp", Last(10));
y en lugar de seleccionar columnas específicas, puede ignorar columnas específicas
Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp", ignore columns("age"));
Uno de los elementos abiertos en el índice de secuencias de comandos tiene algunos de estos ejemplos
Re: Cómo cargar una base de datos muy grandePara agregar a la publicación de Jim, Query Builder le permite muestrear el x% de las filas o elegir también las primeras x filas (o aleatorias).
Re: Cómo cargar una base de datos muy grandeUsando
Archivo=>Base de datos=>Generador de consultas
debería poder seleccionar solo las columnas que desee, de las tablas que desee
Sospecho que otros miembros de la comunidad pueden tener sugerencias adicionales.
Re: Cómo cargar una base de datos muy grande¡Gracias! Funcionó para mí
Re: Cómo cargar una base de datos muy grandeGracias
