logongas

Herramientas de usuario

Herramientas del sitio

Ocultar Menú
Traza:
clase:iabd:pia:2eval:tema08

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anterior Revisión previa
Próxima revisión 		Revisión previa
clase:iabd:pia:2eval:tema08 [2025/01/02 20:04]
admin [8 Metricas y Evaluación de modelos] 		clase:iabd:pia:2eval:tema08 [2025/02/15 20:21] (actual)
admin [8 Métricas y Evaluación de redes neuronales]
Línea 1: Línea 1:
 ====== 8 Métricas y Evaluación de redes neuronales ====== ====== 8 Métricas y Evaluación de redes neuronales ======
 Hasta ahora hemos visto como definir una red neuronal y como entrenarla. El último paso que nos queda es saber si la red ha funcionado correctamente.   Hasta ahora hemos visto como definir una red neuronal y como entrenarla. El último paso que nos queda es saber si la red ha funcionado correctamente.  
 +
 +<note tip>
 +Aunque estamos hablando de redes neuronales, las métricas se puede aplicar a cualquier modelo de IA o de Machine Learning
 +</note>
 +
 Pero ¿Eso no se hacía con la función de coste? Pues no exactamente.  Pero ¿Eso no se hacía con la función de coste? Pues no exactamente. 
 La función de coste se usa para ayudar a ajustar los parámetros durante el entrenamiento mediante los datos de entrada pero  La función de coste se usa para ayudar a ajustar los parámetros durante el entrenamiento mediante los datos de entrada pero 
 no para saber si el modelo es bueno. Para saber si el modelo es bueno , se usan las métricas. no para saber si el modelo es bueno. Para saber si el modelo es bueno , se usan las métricas.
  
-Las métricas son muy parecidas a las funciones de coste pero hay métricas que no existen como función de coste. En ciertos casos la métrica será la misma que la función de coste.+Hay métricas que son las mismas que las funciones de coste pero hay otras métricas que no existen como función de coste. 
  
-Así que este tema lo vamos a dividir en:+Las métricas son un tema del que se habla mucho pero no se termina de explicar bien. Debido a que tienen una mínima parte de estadística se suelen contar de forma muy superficial y desde mi punto de vista hasta se explican de forma erronea. 
 + 
 +Puesto  que el tema de las métricas es muy extenso ya que hay muchísimas métricas, lo hemos dividido en:
   * [[#Métricas en keras]]   * [[#Métricas en keras]]
   * [[#Validacion]]   * [[#Validacion]]
-  * [[tema08.metricas_regresion]]+  * [[tema08.metricas_regresion]]: Métricas que se usan en problemas de regresión 
 +      * [[tema08.metricas_regresion#mean_absolute_error_mae|MAE]] 
 +      * [[tema08.metricas_regresion#mean_squared_error_mse|MSE]] 
 +      * [[tema08.metricas_regresion#distancia_del_coseno|Distancia del coseno]] 
 +      * [[tema08.metricas_regresion#root_mean_squared_error_rmse|RMSE]] 
 +      * [[tema08.metricas_regresion#coeficiente_de_determinacion_o_r|Coeficiente de determinación o $R^2$]] 
 +      * [[tema08.metricas_regresion#coeficiente_de_determinacion_ajustado_o_r_ajustado|Coeficiente de determinación ajustado o $\bar{R^2}$]]
   * Problemas de clasificación:   * Problemas de clasificación:
-      * [[tema08.metricas_clasificacion]] +      * [[tema08.metricas_clasificacion]]: Métricas básicas que se usan en problemas de clasificación (Sensibilidad, Especificidad, Precisión (VPP), VPN, prevalencia y [[tema08.metricas_clasificacion#teorema_de_bayes|Teorema de Bayes]]) 
-      * [[tema08.metricas_derivadas]] +          * Sensibilidad 
-      * [[tema08.seleccion-metricas]] +          * Especificidad 
-      * [[tema08.intervalo_confianza]]+          * Precision o Valor Predictivo Positivo (VPP) 
 +          * Valor Predictivo Negativo (VPN) 
 +          * Prevalencia 
 +      * [[tema08.metricas_derivadas]]: Métricas //derivadas// que se usan en problemas de clasificación.  
 +        * Métricas independientes de la prevalencia: Estas métricas solo usan sensibilidad y especificidad. 
 +          * [[tema08.metricas_derivadas#Informedness]] 
 +          * [[tema08.metricas_derivadas#Balanced Accuracy]] 
 +          * [[tema08.metricas_derivadas#Prevalence threshold (PT)]]  
 +          * [[tema08.metricas_derivadas#ROC-AUC]] 
 +        * Métricas de rendimiento global: Usan la prevalencia además de la sensibilidad y especificidad. 
 +          * [[tema08.metricas_derivadas#Accuracy]] 
 +          * [[tema08.metricas_derivadas#Matthews correlation coefficient (MCC)]] 
 +          * [[tema08.metricas_derivadas#Markedness]] 
 +        * Métricas para datos desbalaceados: No tienen en cuenta los verdaderos negativos. 
 +          * [[tema08.metricas_derivadas#Jaccard]] 
 +          * [[tema08.metricas_derivadas#F1-score]] 
 +          * [[tema08.metricas_derivadas#Fowlkes-Mallows (FM)]] 
 +          * [[tema08.metricas_derivadas#PR-AUC]] 
 +      * [[tema08.seleccion-metricas]]: **Esta es la parte más importante ya que se explica que métrica usar en cada caso.** 
 +      * [[tema08.intervalo_confianza]]: Crear intervalos de confianza (o Intervalo de credibilidad) para comparar métricas. 
 +      * [[tema08.otras-metricas]]: Otras métricas 
 +        * [[tema08.otras-metricas#top-n-accuracy]] 
 +        * [[tema08.otras-metricas#fbeta-score]] 
 + 
  
 ===== Métricas en keras ===== ===== Métricas en keras =====
Línea 128: Línea 165:
       * [[tema08.seleccion-metricas]]       * [[tema08.seleccion-metricas]]
       * [[tema08.intervalo_confianza]]       * [[tema08.intervalo_confianza]]
 +      * [[tema08.otras-metricas]]
 +
 +===== Ejercicios =====
 +
 +==== Ejercicio 1 ====
 +Dado el problema de las flores, vuelve a entrenar una red neuronal pero ahora indicando los datos de validación. 
 +
 +Para ello deberás separar los datos en un 80% de datos para entrenamiento y un 20% de datos para validación
 +
 +
 +Muestra la gráfica en la que se vea el //loss// en cada época tanto en entrenamiento como en validación.
 +
 +=== Ejercicio 2 ===
 +Dado el problema de las imágenes de los números, vuelve a entrenar una red neuronal pero ahora indicando los datos de validación. 
 +
 +Para ello deberás separar los datos en un 80% de datos para entrenamiento y un 20% de datos para validación
 +
 +Muestra la gráfica en la que se vea el //loss// en cada época tanto en entrenamiento como en validación.
 +
 +=== Ejercicio 3 ===
 +Repite los dos ejercicios anteriores pero ahora invirtiendo los porcentajes:
 +  * 20% Entrenamiento 
 +  * 80% Validación 
  
 +¿Como han cambiado los resultados? ¿Porqué?
  
  
  
clase/iabd/pia/2eval/tema08.1735844684.txt.gz · Última modificación: 2025/01/02 20:04 por admin

Herramientas de la página

Excepto donde se indique lo contrario, el contenido de este wiki esta bajo la siguiente licencia: GNU Free Documentation License 1.3
GNU Free Documentation License 1.3 Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki