Tengo una numpy
matriz X
dimensional (2M, 23). Tiene un dtype de <U26
, es decir, una cadena Unicode de 26 caracteres.
array([["143347", "1325", "28.19148936", ..., "61", "0", "0"], ["50905", "0", "0", ..., "110", "0", "0"], ["143899", "1325", "28.80434783", ..., "61", "0", "0"], ..., ["85", "0", "0", ..., "1980", "0", "0"], ["233", "54", "27", ..., "-1", "0", "0"], ["���", "�", "�����", ..., "�", "��", "���"]], dtype="<U26")
Cuando lo convierto a tipo de datos flotante, usando
X_f = X.astype(float)
Recibo el error como se muestra arriba. ¿Cómo resolver este error de formato de cadena para «���»?
Me doy cuenta de que algunos caracteres no se leen correctamente en el marco de datos y el carácter de reemplazo Unicode es solo un resultado de ello.
Mis preguntas: –
- ¿Cómo manejo esta mala lectura?
- ¿Debo ignorar estos caracteres? ¿O quizás debería transformarlos a cero?
Información adicional sobre cómo se leyeron los datos: –
importando paquetes relevantes
from pyspark import SparkContext from pyspark.sql import SQLContext from pyspark.sql.functions import col
cargando el conjunto de datos en un marco de datos pyspark
def loading_data(dataset): dataset=sql_sc.read.format("csv").options(header="true", inferSchema="true").load(dataset) # #changing column header name dataset = dataset.select(*[col(s).alias("Label") if s == " Label" else s for s in dataset.columns]) #to change datatype dataset=dataset.drop("External IP") dataset = dataset.filter(dataset.Label.isNotNull()) dataset=dataset.filter(dataset.Label!=" Label")#filter Label from label print(dataset.groupBy("Label").count().collect()) return dataset # invoking ds_path = "../final.csv" dataset=loading_data(ds_path)
comprobar el tipo de conjunto de datos.
type(dataset)
pyspark.sql.dataframe.DataFrame
convertir a np matriz
import numpy as np np_dfr = np.array(data_preprocessing(dataset).collect())
dividir características y etiquetas
X = np_dfr[:,0:22] Y = np_dfr[:,-1]
mostrar X
>> X array([["143347", "1325", "28.19148936", ..., "61", "0", "0"], ["50905", "0", "0", ..., "110", "0", "0"], ["143899", "1325", "28.80434783", ..., "61", "0", "0"], ..., ["85", "0", "0", ..., "1980", "0", "0"], ["233", "54", "27", ..., "-1", "0", "0"], ["���", "�", "�����", ..., "�", "��", "���"]], dtype="<U26")
Respuesta
Aunque no es la mejor solución, encontré algo de éxito al convertirlo en pandas y trabajando junto.
fragmento de código
# convert X into dataframe X_pd = pd.DataFrame(data=X) # replace all instances of URC with 0 X_replace = X_pd.replace("�",0, regex=True) # convert it back to numpy array X_np = X_replace.values # set the object type as float X_fa = X_np.astype(float)
input
array([["85", "0", "0", "1980", "0", "0"], ["233", "54", "27", "-1", "0", "0"], ["���", "�", "�����", "�", "��", "���"]], dtype="<U5")
salida
array([[ 8.50e+01, 0.00e+00, 0.00e+00, 1.98e+03, 0.00e+00, 0.00e+00], [ 2.33e+02, 5.40e+01, 2.70e+01, -1.00e+00, 0.00e+00, 0.00e+00], [ 0.00e+00, 0.00e+00, 0.00e+00, 0.00e+00, 0.00e+00, 0.00e+00]])
Respuesta
Intentemos usar pandas dataframe y convertir cadenas en clases numéricas
llame a la función convert () anterior como, prueba = convert (prueba)