762060_es-ES

liliconcom

JMP18: Python: la conversión de pandas a dataTable omite columnas con valores faltantes

import jmp, numpy as np, pandas as pd
import jmputils

def p2j(df):
	dt2 = jmp.DataTable('dt2', df.shape[0])
	# get the column names from the data frame
	names = list(df.columns)
	# loop across the columns of the data frame
	for j in range( df.shape[1]):
		# check if the coulumn data type is string or numeric
		if is_string_dtype(df[names[j] ]):
			dt2.new_column(names[j], jmp.DataType.Character)
		else:
			dt2.new_column(names[j], jmp.DataType.Numeric)
		# populate the JMP column with data
		dt2[j] = list(df.iloc[:,j])
	return(dt2)

fname = r"export.csv";
df = pd.read_csv(fname)
filt_csv = p2j(df);

Usando el código anterior para leer en un archivo csv. La función p2j parece no importar col3 correctamente porque le faltan valores

contenido del archivo csv

"col1","col2","col3"
"a B C"
"a","b",""
"a","b","e"
"a","b",""

Automatización y secuencias de comandosRe: JMP18: Python: la conversión de pandas a dataTable omite columnas con valores faltantes

Usando el p2j( ) anterior y un export.csv actualizado con una columna de datos numéricos que tiene un valor faltante como primer valor, se obtiene:

% más ~/Descargas/export.csv

"col1","col2","col3","col4"

"a B C",

"a","b","",2.718

"a","b","e",1.618

"a","b","",3.14159

Re: JMP18: Python: la conversión de pandas a dataTable omite columnas con valores faltantes

El código actualizado que se muestra aquí, si el tipo de columna no es numérico o de cadena, verifique hasta que obtengamos un valor que no falte antes de determinar el tipo de columna como carácter o numérico.

import jmp
import numpy as np, pandas as pd
from pandas.api.types import is_string_dtype
from pandas.api.types import is_numeric_dtype

def p2j(df):
	dt2 = jmp.DataTable('dt2', df.shape[0])
	# get the column names from the data frame
	names = list(df.columns)
	# loop across the columns of the data frame
	for j in range( df.shape[1]):
		# check if the coulumn data type is string or numeric
		if is_numeric_dtype( df[ names[j] ] ):
			dt2.new_column(names[j], jmp.DataType.Numeric)
			dt2[j] = list(df.iloc[:,j])			# populate the JMP column with data
		elif is_string_dtype( df[ names[j]] ):
			dt2.new_column(names[j], jmp.DataType.Character)
			dt2[j] = list(df.iloc[:,j])			# populate the JMP column with data
		else:
			col = list()
			dtype = None
			for i in range(dt2.nrows):
				cell_value = df.iloc[i,j]
				# delay setting column type until we see first non-null value
				if pd.isna( cell_value ):
					col.append(None)
				else:
					if not dtype:
						if is_numeric_dtype( cell_value ):
							dtype = jmp.DataType.Numeric
						else:
							# assume it's character - could be datetime64,... 
							dtype = jmp.DataType.Character
					col.append( cell_value )
			print(col)
			if dtype: 
				dt2.new_column(names[j], dtype)
				dt2[j] = col				# populate the JMP column with data
		
	return(dt2)

fname = r"export.csv";
df = pd.read_csv(jmp.HOME + 'Downloads/' + fname)
print(df)
print(df.dtypes)
print( f'col1 is a string: {is_string_dtype(df[names[0]])}' )
print( f'col2 is a string: {is_string_dtype(df[names[1]])}' )
print( f'col3 is a string: {is_string_dtype(df[names[2]])}' )

filt_csv = p2j(df);

Esto da los resultados:

/*:

  col1 col2 col3
0    a    b    c
1    a    b  NaN
2    a    b    e
3    a    b  NaN


col1    object
col2    object
col3    object
dtype: object


col1 is a string: True


col2 is a string: True


col3 is a string: False


['c', None, 'e', None]

Observe que en mi función convertí el NaN que es numérico en Ninguno. El código JMP DataTable aceptará Ninguno en columnas numéricas o en columnas de caracteres y hace lo "correcto". Poniendo un NaN en una columna numérica y una "" cadena vacía en una columna de caracteres.

Re: JMP18: Python: la conversión de pandas a dataTable omite columnas con valores faltantes

La respuesta corta es que is_string_dtype( col3 ) devuelve False. No es una columna de cadena, es una columna de objetos, algunos son cadenas y otros son NaN. El código anterior trata todo lo que no es una cadena como numérico. Los NaN aparecen correctamente como faltantes, pero los valores de caracteres 'c' y 'e' no son válidos para una columna numérica y se convierten en valores faltantes. Estoy buscando una mejor respuesta para leer la columna de pandas como carácter, sin probar todos los valores.