Processing math: 100%

Herramientas de usuario

Herramientas del sitio


clase:iabd:pia:2eval:tema08.otras-metricas

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anterior Revisión previa
Próxima revisión
Revisión previa
clase:iabd:pia:2eval:tema08.otras-metricas [2025/02/03 18:16]
admin [Fbeta-score]
clase:iabd:pia:2eval:tema08.otras-metricas [2025/02/03 19:35] (actual)
admin [Fbeta-score]
Línea 54: Línea 54:
 <sxh python> <sxh python>
 model.compile(optimizer='sgd',loss='sparse_categorical_crossentropy',metrics=[keras.metrics.SparseTopKCategoricalAccuracy()]) model.compile(optimizer='sgd',loss='sparse_categorical_crossentropy',metrics=[keras.metrics.SparseTopKCategoricalAccuracy()])
-</sxh> 
- 
-<sxh python> 
 model.compile(optimizer='sgd',loss='sparse_categorical_crossentropy',metrics=[keras.metrics.SparseTopKCategoricalAccuracy(k=5, name='top-5-accuracy')]) model.compile(optimizer='sgd',loss='sparse_categorical_crossentropy',metrics=[keras.metrics.SparseTopKCategoricalAccuracy(k=5, name='top-5-accuracy')])
 </sxh> </sxh>
Línea 69: Línea 66:
  
 ===== Fbeta-score ===== ===== Fbeta-score =====
-El Fβ-score permite ajustar si penalizamos más los falsos positivos o los falsos negativos. +El Fβ-score es como [[tema08.metricas_derivadas#F1-score]] pero permite ajustar si penalizamos más los falsos positivos o los falsos negativos. 
 Al dar más importancia a uno que a otro realmente no es una métrica de rendimiento general ya que está "ponderada". Al dar más importancia a uno que a otro realmente no es una métrica de rendimiento general ya que está "ponderada".
  
Línea 85: Línea 82:
   * Si β < 1, penaliza más una baja precisión, lo que significa que los falsos positivos (FP) penalizan más que los falsos negativos (FN).   * Si β < 1, penaliza más una baja precisión, lo que significa que los falsos positivos (FP) penalizan más que los falsos negativos (FN).
  
-¿Pero cuanto es realmente se valor? Veámoslo con un ejemplo con β = 2 frente a β = 2.5. +Veamos ahora unos ejemplos:
-  * Si β = 2, la baja sensibilidad es 4 veces más importante que la precisión, porque 𝛽²=2²=4 +
-  * Si β = 2,5, la baja precisión es 6,25 veces más importante que la sensibilidad, porque 𝛽²=2,5²=6,25+
  
-Es decir, el valor de β no es la relación directa entre sensibilidad y precisión, sino que se eleva al cuadrado.  +  * Con β=1 ambos están equilibrados. Y da lo mismo que se intercambien los valores de Sensibilidad y Precisión
-A medida que β aumenta, la sensibilidad pesa exponencialmente más en la precisión.+
  
-Veamos los siguientes ejemplos:+^  Sensibilidad  ^  Precisión  ^  β  ^  F1-score 
 +0,2  |  0,6  |  0,5  |  0,3  | 
 +0,6  |  0,2  |  0,5  |  0,3  |
  
   * Con β=2, la baja sensibilidad penaliza 4 veces más que la precisión   * Con β=2, la baja sensibilidad penaliza 4 veces más que la precisión
  
-^  Sensibilidad  ^  Precisión  ^  β  ^  $F_{\beta}\text{-score}$  ^+^  Sensibilidad  ^  Precisión  ^  β  ^  $F_{2}\text{-score}$  ^
 0,2  |  0,6  |  2  |  0,23  | 0,2  |  0,6  |  2  |  0,23  |
 0,6  |  0,2  |  2  |  0,43  | 0,6  |  0,2  |  2  |  0,43  |
 +
 +
 +El caso base es 0,3 y al usar β=2; con una baja sensibilidad (0,2) el resultado es más bajo aun (0,23) mientras que con una alta sensibilidad (0,6) el valor es mayor (0,43)
  
   * Con β=0,5 la baja precisión penaliza 4 veces más que la sensibilidad   * Con β=0,5 la baja precisión penaliza 4 veces más que la sensibilidad
  
-^  Sensibilidad  ^  Precisión  ^  β  ^  $F_{\beta}\text{-score}$  ^+^  Sensibilidad  ^  Precisión  ^  β  ^  $F_{0.5}\text{-score}$  ^
 0,2  |  0,6  |  0,5  |  0,43  | 0,2  |  0,6  |  0,5  |  0,43  |
 0,6  |  0,2  |  0,5  |  0,23  | 0,6  |  0,2  |  0,5  |  0,23  |
  
-  * Con β=1 ambos están equilibrados. Y da lo mismo que se intercambien los valores+El caso base es 0,3 y al usar β=2 con una baja precisión (0,2) el resultado es más bajo aun (0,23) mientras que con una alta precisión (0,6) el valor es mayor (0,43)
  
-^  Sensibilidad  ^  Precisión  ^  β  ^  $F_{\beta}\text{-score}$  ^ +Más información: 
-|  0,2  |  0,6   $0,5 |  $0,3$  | +  * [[https://stats.stackexchange.com/questions/221997/why-f-beta-score-define-beta-like-that/379474|Why f beta score define beta like that?]] 
- $0,6|0,2|0,5|0,3$  |+  * [[https://datascience.stackexchange.com/questions/22234/explanation-of-the-f-beta-formula|Explanation of the F beta formula]] 
 +  * {{ :clase:iabd:pia:2eval:the_truth_of_the_f-measure.pdf |The truth of the F-measure}} 
 + 
 +==== Valor de β ==== 
 +¿Pero cuanto es realmente se valor? Veámoslo con un ejemplo con β = 2 frente a β = 2.5
 +  * Si β = 2la baja sensibilidad es 4 veces más importante que la precisión, porque 𝛽²=2²=4 
 +  * Si β = 2,5, la baja precisión es 6,25 veces más importante que la sensibilidad, porque 𝛽²=2,5²=6,25 
 + 
 +Es decir, el valor de β no es la relación directa entre sensibilidad y precisión, sino que se eleva al cuadrado.  
 +A medida que β aumenta, la sensibilidad pesa exponencialmente más que la precisión.
  
 Para calcular la β se usa la regla de: Para calcular la β se usa la regla de:
Línea 123: Línea 131:
 $$ $$
  
-Más información: 
-  * [[https://stats.stackexchange.com/questions/221997/why-f-beta-score-define-beta-like-that/379474|Why f beta score define beta like that?]] 
-  * [[https://datascience.stackexchange.com/questions/22234/explanation-of-the-f-beta-formula|Explanation of the F beta formula]] 
-  * {{ :clase:iabd:pia:2eval:the_truth_of_the_f-measure.pdf |The truth of the F-measure}} 
  
  
 +Veamos ahora ejemplo de valores alto y bajos de β.
 +  * **β>1**:Cuando es más costoso cometer falsos negativos (FN), es decir, cuando es crítico detectar todos los casos positivos aunque implique aumentar los falsos positivos.
 +    * Diagnóstico de enfermedades graves (Ejemplo: cáncer, VIH, COVID-19):Un falso negativo significa no diagnosticar a un paciente enfermo, lo que puede ser catastrófico.Es mejor un falso positivo (hacer más pruebas) que un falso negativo (no tratar a un paciente).
 +    * Detección de fraude financiero: Es preferible revisar más transacciones sospechosas (falsos positivos) que dejar pasar fraudes reales (falsos negativos).
 +    * Sistemas de seguridad y detección de amenazas (Ejemplo: detección de intrusos en redes, ataques cibernéticos, explosivos en aeropuertos, alarmas de incendio): No detectar una amenaza real puede ser desastroso. Se prefiere una mayor tasa de alertas (aunque haya algunas falsas).
 +  * **β<1**: Cuando es más costoso cometer falsos positivos (FP), es decir, cuando es crítico que los positivos realmente sean correctos, aunque se pasen por alto algunos casos positivos reales.
 +    * Clasificación de correos como spam: Un falso negativo (un spam que llega a la bandeja de entrada) es molesto, pero un falso positivo (un email importante que va a la carpeta de spam) puede ser grave.
 +    * Recomendación de productos o publicidad personalizada: Mostrar un anuncio irrelevante a un usuario (falso positivo) puede ser perjudicial para la experiencia del usuario y la tasa de conversión. Se prefiere precisión para mostrar menos anuncios pero mejor seleccionados.
 +    * Contratación automática basada en IA: Un falso positivo significaría contratar a un candidato inadecuado, lo que puede ser costoso para la empresa. Es mejor ser más estricto en la selección, aunque se descarte algún candidato válido.
 +    * Sistemas judiciales y de evaluación de riesgos penales: Un falso positivo (clasificar a una persona como de "alto riesgo" cuando no lo es) puede tener consecuencias graves en términos de derechos humanos. Se prefiere alta precisión para evitar etiquetar injustamente a personas como criminales.
  
 ==== Keras ==== ==== Keras ====
clase/iabd/pia/2eval/tema08.otras-metricas.1738602983.txt.gz · Última modificación: 2025/02/03 18:16 por admin