====== 5. Pandas: Apendices ======

===== Tratamiento de datos inválidos =====

  * De una columna , obtener la lista de filas que tiene el valor ''NaN'' o ''None''. Retorna una array de booleanos. 

<sxh python>
df.capacidad.isna()
</sxh>

<sxh base>
[False, True,  False, True,  False, False, False, False, False, False, 
 False, False, False, False, False, False, False, False, False, False, 
 False, False, False, False, False, False, False, False, False, False]
</sxh>

  * De una columna , obtener la lista de filas que **NO** tiene el valor ''NaN'' o ''None''. Retorna una array de booleanos.. Como es un array de booleanos se puede usar para filtrar las filas que son válidas. 

<sxh python>
df.capacidad.notna()
</sxh>

<sxh base>
[True, False, True, False, True, True, True, True, True, True, 
 True, True,  True, True,  True, True, True, True, True, True, 
 True, True,  True, True,  True, True, True, True, True, True]
</sxh>

  * De una columna, borrar las filas que tengan ''NaN'' o ''None''

<sxh python>
new_df=df[df.capacidad.notna()]
</sxh>

  * De más de una columna, borrar las filas que tenga ''NaN'' o ''None''

<sxh python>
df[(df.tipo.notna()) & (df.capacidad.notna()) & (df.precio.notna())]
</sxh>


  * Rellenar los valores que tengan ''NaN'' o ''None'' con la media de su columna

<sxh python>
df.fillna(df.mean(),inplace=True)
new_df=df.fillna(df.mean())
</sxh>

  * Rellenar los valores de una columna con ''NaN'' o ''None'' con un valor

<sxh python>
df['tipo']=df.tipo.fillna("Desconocido")
</sxh>

  * Rellenar los valores de una columna con ''NaN'' o ''None'' con la media

<sxh python>
df['precio']=df.precio.fillna(df.precio.mean())
</sxh>

===== pandas_profiling ====
Genera un HTML con información del DataFrame

<sxh python>
from pandas_profiling import ProfileReport
reporte = ProfileReport(df, title = "Mi reporte")
reporte.to_file("reporte.html")
</sxh>

Se puede ver el resultado en [[http://logongas.es/pandas_profiling.html|pandas_profiling.html]]

[[http://logongas.es/pandas_profiling.html|{{:clase:iabd:pia:1eval:pandas_profiling.png|}}]]

<note tip>Una herramienta similar pero mucho mas potente es [[https://taknev83.github.io/pywedge-docs/|pywedge]]. Mas información en [[https://towardsdatascience.com/automated-interactive-package-for-eda-modeling-and-hyperparameter-tuning-in-a-few-lines-of-228c561fa63c|Automated Interactive Package for EDA, Modeling, and Hyperparameter Tuning in a few lines of Python Code]]
</note>

Mas información:
  * [[https://medium.com/tacosdedatos/an%C3%A1lisis-exploratorio-de-datos-eda-con-pandas-profiling-cf6c19caa8aa|Análisis Exploratorio de Datos (EDA) con pandas_profiling]]
  * [[https://enlapasta.wordpress.com/2017/08/24/pandas-profiling-una-excelente-herramienta-para-la-exploracion-de-datos/|Pandas Profiling: Una excelente herramienta para la exploración de datos]]