logongas

Herramientas de usuario

Herramientas del sitio

Ocultar Menú
Traza:
clase:iabd:pia:2eval:tema08

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anterior Revisión previa
Próxima revisión 		Revisión previa
clase:iabd:pia:2eval:tema08 [2025/01/08 16:31]
admin [Validación] 		clase:iabd:pia:2eval:tema08 [2025/02/15 20:21] (actual)
admin [8 Métricas y Evaluación de redes neuronales]
Línea 1: Línea 1:
 ====== 8 Métricas y Evaluación de redes neuronales ====== ====== 8 Métricas y Evaluación de redes neuronales ======
 Hasta ahora hemos visto como definir una red neuronal y como entrenarla. El último paso que nos queda es saber si la red ha funcionado correctamente.   Hasta ahora hemos visto como definir una red neuronal y como entrenarla. El último paso que nos queda es saber si la red ha funcionado correctamente.  
 +
 +<note tip>
 +Aunque estamos hablando de redes neuronales, las métricas se puede aplicar a cualquier modelo de IA o de Machine Learning
 +</note>
 +
 Pero ¿Eso no se hacía con la función de coste? Pues no exactamente.  Pero ¿Eso no se hacía con la función de coste? Pues no exactamente. 
 La función de coste se usa para ayudar a ajustar los parámetros durante el entrenamiento mediante los datos de entrada pero  La función de coste se usa para ayudar a ajustar los parámetros durante el entrenamiento mediante los datos de entrada pero 
Línea 13: Línea 18:
   * [[#Validacion]]   * [[#Validacion]]
   * [[tema08.metricas_regresion]]: Métricas que se usan en problemas de regresión   * [[tema08.metricas_regresion]]: Métricas que se usan en problemas de regresión
 +      * [[tema08.metricas_regresion#mean_absolute_error_mae|MAE]]
 +      * [[tema08.metricas_regresion#mean_squared_error_mse|MSE]]
 +      * [[tema08.metricas_regresion#distancia_del_coseno|Distancia del coseno]]
 +      * [[tema08.metricas_regresion#root_mean_squared_error_rmse|RMSE]]
 +      * [[tema08.metricas_regresion#coeficiente_de_determinacion_o_r|Coeficiente de determinación o $R^2$]]
 +      * [[tema08.metricas_regresion#coeficiente_de_determinacion_ajustado_o_r_ajustado|Coeficiente de determinación ajustado o $\bar{R^2}$]]
   * Problemas de clasificación:   * Problemas de clasificación:
-      * [[tema08.metricas_clasificacion]]: Métricas básicas que se usan en problemas de clasificación (Sensibilidad, Especificidad, Precisión (VPP), VPN, prevalencia y **Teorema de Bayes**+      * [[tema08.metricas_clasificacion]]: Métricas básicas que se usan en problemas de clasificación (Sensibilidad, Especificidad, Precisión (VPP), VPN, prevalencia y [[tema08.metricas_clasificacion#teorema_de_bayes|Teorema de Bayes]]) 
 +          * Sensibilidad 
 +          * Especificidad 
 +          * Precision o Valor Predictivo Positivo (VPP) 
 +          * Valor Predictivo Negativo (VPN) 
 +          * Prevalencia
       * [[tema08.metricas_derivadas]]: Métricas //derivadas// que se usan en problemas de clasificación.        * [[tema08.metricas_derivadas]]: Métricas //derivadas// que se usan en problemas de clasificación. 
-      * [[tema08.seleccion-metricas]]: Elegir que métrica usar en cada caso.+        * Métricas independientes de la prevalencia: Estas métricas solo usan sensibilidad y especificidad. 
 +          * [[tema08.metricas_derivadas#Informedness]] 
 +          * [[tema08.metricas_derivadas#Balanced Accuracy]] 
 +          * [[tema08.metricas_derivadas#Prevalence threshold (PT)]]  
 +          * [[tema08.metricas_derivadas#ROC-AUC]] 
 +        * Métricas de rendimiento global: Usan la prevalencia además de la sensibilidad y especificidad. 
 +          * [[tema08.metricas_derivadas#Accuracy]] 
 +          * [[tema08.metricas_derivadas#Matthews correlation coefficient (MCC)]] 
 +          * [[tema08.metricas_derivadas#Markedness]] 
 +        * Métricas para datos desbalaceados: No tienen en cuenta los verdaderos negativos. 
 +          * [[tema08.metricas_derivadas#Jaccard]] 
 +          * [[tema08.metricas_derivadas#F1-score]] 
 +          * [[tema08.metricas_derivadas#Fowlkes-Mallows (FM)]] 
 +          * [[tema08.metricas_derivadas#PR-AUC]] 
 +      * [[tema08.seleccion-metricas]]: **Esta es la parte más importante ya que se explica que métrica usar en cada caso.**
       * [[tema08.intervalo_confianza]]: Crear intervalos de confianza (o Intervalo de credibilidad) para comparar métricas.       * [[tema08.intervalo_confianza]]: Crear intervalos de confianza (o Intervalo de credibilidad) para comparar métricas.
 +      * [[tema08.otras-metricas]]: Otras métricas
 +        * [[tema08.otras-metricas#top-n-accuracy]]
 +        * [[tema08.otras-metricas#fbeta-score]]
 +
 +
  
 ===== Métricas en keras ===== ===== Métricas en keras =====
Línea 130: Línea 165:
       * [[tema08.seleccion-metricas]]       * [[tema08.seleccion-metricas]]
       * [[tema08.intervalo_confianza]]       * [[tema08.intervalo_confianza]]
 +      * [[tema08.otras-metricas]]
  
 ===== Ejercicios ===== ===== Ejercicios =====
Línea 148: Línea 184:
 Muestra la gráfica en la que se vea el //loss// en cada época tanto en entrenamiento como en validación. Muestra la gráfica en la que se vea el //loss// en cada época tanto en entrenamiento como en validación.
  
 +=== Ejercicio 3 ===
 +Repite los dos ejercicios anteriores pero ahora invirtiendo los porcentajes:
 +  * 20% Entrenamiento 
 +  * 80% Validación 
  
 +¿Como han cambiado los resultados? ¿Porqué?
  
  
  
clase/iabd/pia/2eval/tema08.1736350268.txt.gz · Última modificación: 2025/01/08 16:31 por admin

Herramientas de la página

Excepto donde se indique lo contrario, el contenido de este wiki esta bajo la siguiente licencia: GNU Free Documentation License 1.3
GNU Free Documentation License 1.3 Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki