logongas

Esta página es de solo lectura. Puedes ver la fuente pero no puedes cambiarla. Pregunta a tu administrador si crees que esto es incorrecto.
====== 8.d Selección de métricas de clasificación ======
Ahora que vemos visto todas las métricas vamos a explicar cuando usar cada una de ellas.

Las 4 métricas básicas nos da información específicas de aspectos distintos de nuestro modelo:

$$
\begin{array}
\\
Precisión&=&P(Enfermo|Positivo)
\\
VPN&=&P(Sano|Negativo)
\\
Sensibilidad&=&P(Positivo|Enfermo)
\\
Especificidad&=&P(Negativo|Sano)
\end{array}
$$

Pero con las métricas de este tema lo que queremos es resumir en un único número el rendimiento de nuestro modelo. Sin embargo tenemos 11 métricas distintas que pretenden resumir en único número el rendimiento de nuestro modelo:[[.tema08.metricas_derivadas#Informedness]], [[.tema08.metricas_derivadas#Balanced Accuracy]], [[.tema08.metricas_derivadas#Prevalence threshold (PT)]], [[.tema08.metricas_derivadas#ROC-AUC]], [[.tema08.metricas_derivadas#Accuracy]], [[.tema08.metricas_derivadas#Matthews correlation coefficient (MCC)]], [[.tema08.metricas_derivadas#Markedness]], [[.tema08.metricas_derivadas#Jaccard]], [[.tema08.metricas_derivadas#F1-score]], [[.tema08.metricas_derivadas#Fowlkes-Mallows (FM)]] y [[.tema08.metricas_derivadas#PR-AUC]]

¿Qué métrica elegir? La métrica a elegir depende de lo queramos saber (o no sabemos) de nuestro modelo.


{{:clase:iabd:pia:2eval:diagrama_de_flujo_seleccion_de_metricas.png|}}

===== Métricas independientes de la prevalencia =====
Con las métricas independientes de la prevalencia lo que pretendemos es tener un único valor que resuma nuestro modelo pero sin tener en cuenta la prevalencia de nuestros datos. Eso son condiciona a que solo podemos usar métricas que usen únicamente la sensibilidad ( o 1-sensibilida) y especificidad (o 1-especificidad) en la fórmula. El resto de métricas no podremos usarlas ya para calcular su valor tenemos que saber la prevalencia.
    * [[.tema08.metricas_derivadas#Informedness]]
    * [[.tema08.metricas_derivadas#Balanced Accuracy]]
    * [[.tema08.metricas_derivadas#Prevalence threshold (PT)]] 
    * [[.tema08.metricas_derivadas#ROC-AUC]]

Pero, ¿Cómo es posible que no sepamos la prevalencia? Si la podemos calcular con:
$$
Prevalencia=\frac{TP+FN}{TP+FN+FP+TN}
$$

Vale, esa es la prevalencia de nuestro datos pero puede ser que en la realizad haya otra prevalencia que no sepamos. También puede pasar que haya distintas prevalencias. 

Imaginemos un modelo de IA que en base a una foto detecta si una persona está infectada de la malaria. En cada país la prevalencia es muy distinta. Podemos verlo en el siguiente mapa mundial:

{{:clase:iabd:pia:2eval:incidencia-malaria-mundo.png?600|}}

¿Qué prevalencia usamos para evaluar como de bueno es nuestro modelo? Si no sabemos en que país va a usarse el modelo de IA no podremos saber la prevalencia de los datos. En este caso tenemos que restringirnos a usar únicamente a métricas que no dependan de la prevalencia.

Pero , por ejemplo si supiéramos que nuestro modelo lo vamos a usar e Argelia si que ya sabríamos la prevalencia y entonces no usaríamos estas métricas. Porque estas métricas son unas métricas muy pobres al no tener en cuenta la prevalencia. Así que solo las usamos cuando no tenemos ni idea de la prevalencia.

La siguiente pregunta es ¿Cuál de las 3 métricas usamos? Recordar que son solo 3 métricas ya que $Informedness \; normalizado$ es exactamente igual a $Balanced Accuracy$

La siguiente gráfica nos puede ayudar a resolver el problema:

{{:clase:iabd:pia:2eval:comparacion_metricas_sin_prevalencia.png|}}


<note warning>
Lo primero que hay que notar es que las métricas se portan distinto según el valor de $Informedness \; normalizado$. 
  * Si $Informedness \; normalizado<0.5$ se comportan de una forma.
  * Si $Informedness \; normalizado>0.5$ se comportan de otra forma.
  * Si $Informedness \; normalizado=0$ se comporta de una forma "média entre las 2".

Tambien se puede hace el mismo cálculo con el valor de $Informedness=Sensibilidad+Expecificidad-1$ pero en este caso el umbral de cambio sería en $0$. Esta última fórmula es la que se suele usar en la literatura científica.

Todo ésto se puede ver mejor en la gráfica de 

{{:clase:iabd:pia:2eval:vpp_vpn_vs_prevalencia.png?200|}}

Según el valor de $Informedness \; normalizado$ las 2 curvas de $VPP$ y $VPN$ son cóncavas o convexas o rectas.
  * Si $Informedness \; normalizado<0.5$ las curvas de VPP y VPN son convexas
  * Si $Informedness \; normalizado>0.5$ las curvas de VPP y VPN son cóncavas
  * Si $Informedness \; normalizado=0$ las curvas de VPP y VPN son lineas rectas.

Esta diferencia es importante porque normalmente no tenemos valores de sensibilidad y especificidad tan bajos como para que $Informedness \; normalizado \leq 0.5$ así que solo nos interesan las gráficas que cumplen $Informedness \; normalizado>0.5$. Es decir que no nos interesa ver como se comportan en redes muy malas.

</note>

Vemos que las gráficas están pintadas de 2 colores, azules y grises. Las gráficas grises con aquellas cuyo $Informedness \; normalizado \leq 0.5$ y no son interesan ya que tienen un rendimiento demasiado malo. Por otro lado, las gráficas azules son las que nos interesan así que vamos a centrarnos en ellas.

Por ello vamos a volver a pintar la imagen solo con las gráficas que nos interesan:


{{:clase:iabd:pia:2eval:comparacion_metricas_sin_prevalencia_restringida.png|}}

Veamos que cosas vemos en las gráficas:

  * Como era de esperar las 3 métricas son independientes de la prevalencia.
  * $ROC{\text -}AUC$ es la métrica que tiene siempre mayor valor de las 3 métricas
  * $1-PR$ es la métrica que casi siempre tiene menor valor de las 3 métricas
  * Por último $nInformedness$ tiene un valor intermedio.

Vale, pero ¿cual deberíamos usar?. Recordemos el $f1{\text -}score$ que nos gustaba porque en caso de que fueran valores distintos la media geométrica era menor que la aritmética. Pues si $nInformedness$ es la media aritmética de $Sensibilida$ y $Especificidad$. ¿Queremos usar $ROC{\text -}AUC$ que siempre da una valor superior a la media de ? Sinceramente **NO**. Por ello no recomiendo usar $ROC{\text -}AUC$

Pues hay otra característica de $1-PR$ y resulta que no es simétrica. Es decir que no tiene el mismo valor si $Sensibilida=a \; {\text y} \; Especificidad=b$ que si $Sensibilida=b \; {\text y} \; Especificidad=a$. Y para casos de $Informedness \; normalizado>0.5$ se da que $1-PR$ tiende a dar mayores valores si la $Especificidad$ es mayor que la sensibilidad y menores al contrario. Por ello es una métrica que tampoco me parece buena ya que en estos casos quiero una media simétrica respecto a los valores de $Sensibilidad$ y $Especificidad$. 


<color red>Así que la conclusión es que en general la mejor media para Métricas independientes de la prevalencia es:</color>$Informedness \; normalizado$
$$Informedness \; normalizado=\frac{Sensibilidad+Especificidad}{2}$$


===== Métricas de rendimiento global =====
Con las métricas de rendimiento global lo que pretendemos es obtener también un único número para medir el rendimiento pero también teniendo en cuenta la prevalencia de los datos. Es decir que las métricas que vamos a usar no solo vamos a usar la sensibilidad sino también la especificidad. Y estas son:
    * [[.tema08.metricas_derivadas#Accuracy]]
    * [[.tema08.metricas_derivadas#Matthews correlation coefficient (MCC)]]
    * [[.tema08.metricas_derivadas#Markedness]]

En la siguiente figura podemos ver las 3 métricas para distintas especificidades, sensibilidades y prevalencias.
{{:clase:iabd:pia:2eval:comparacion_metricas_generales.png|}}


La primera métrica que vamos a descartar es la $Accuracy$, que como ya vimos es una métrica que es una linea recta entre especificidad y sensibilidad en función de la prevalencia por lo que en valores extremos de prevalencia , su valor es la especificidad o sensibilidad. Por ello "no vale" como un //resumen// de los tres valores (sensibilidad, especificidad, prevalencia).

Las dos métricas que nos quedan son $nMCC$ y $Markedness$, ¿Cuál elegimos? Pues vemos como comentamos con el $ROC-AUC$ no gustan las métricas que dan valores mayores que la media. 
Para ver si $nMCC$ da valores mayores que la media , vamos a ver en las siguientes gráficas cual es la probabilidad de que $nMCC$ sea mayor $nMarkedness$ ya que $nMarkedness$ es la media del ''VPP'' y ''VPN''.

{{:clase:iabd:pia:2eval:diff_nmcc_nmarkedness.png|}}

En esta figura hemos mostrado la relación entre $nMCC$ y $nMarkedness$:
  * En la primera fila se muestra la relación entre $nMCC$ y $nMarkedness$ pero para todos los valores de sensibilidad y especificidad es decir el rango $[0-1]$. Como podemos ver no hay una gran correlación entre ellas. Además que $P(nMCC>nMarkedness)=P(nMCC<nMarkedness)=0.49$ por que nos daría igual una métrica u otra en ese aspecto.
  * En la segunda fila hemos eliminado los valores extremos de $0$ y $1$ en la sensibilidad y especificidad  es decir ahora el rango que hemos usado es $]0-1[$ y la relación es un poco más lineal, pero sigue ocurriendo que $P(nMCC>nMarkedness)=P(nMCC<nMarkedness)=0.49$
  * En la tercera fila lo hemos restringido aun más y solo lo hemos hecho para valores de sensibilidad y especificidad mayores que $0.5$  es decir que el rango es $]0.5-1[$ y ahora se da una cosa curiosa que pasamos a comentar.


Ahora vemos que para modelos en los que la sensibilidad y especificidad sean mayores que $0.5$ la probabilidad de que $nMCC$ sea mayor que $nMarkedness$ es del 73%; $P(nMCC>nMarkedness)=0.73$; lo cual es muy elevado y eso no nos gusta. Es decir que una probabilidad tan alta implica que en general $nMCC$ es mayor que $nMarkedness$ con lo que no nos interesa usar $nMCC$.

En la siguiente gráfica vamos a ver como evoluciona el valor de $P(nMCC>nMarkedness)$ para valores cada vez mayores de sensibilidad y especificidad.

{{:clase:iabd:pia:2eval:prob_nMCC_mayor_nMarkedness_para_distintas_sen_y_esp.png|}}

Como vemos cuanto mejor es el modelo, mas probabilidad hay que $nMCC$ sea mayor que $nMarkedness$ (excepto para modelos malisimos)

Notar que la gráfica no muestra el resultado cuando nuestra red neuronal tiene valores de esa sensibilidad y especificidad sino cuando nuestro modelo tiene valores mayores o igual al valor del eje X. 

Por ello mi recomendación es quedarnos con $nMarkedness$ con el extra de que además es más sencilla de interpretar al ser la media aritmética entre $VPP$ y $VPN$.


<color red>Así que la conclusión es que en general la mejor media para Métricas de rendimiento global es:</color>$nMarkedness$

$$nMarkedness=\frac{VPP+VPN}{2}$$

===== Métricas para datos desbalaceados =====
El último grupo de métricas que vamos a ver son las métrica para datos desbalanceados. Datos desbalanceados significa con prevalencias muy pequeñas o muy grandes aunque nos vamos a limitar a hablar cuando la prevalencia tiene un valor muy pequeño. 

<note tip>
Se podría hacer el mismo análisis en vez de para prevalencias muy pequeñas , para prevalencias muy grandes y crear métricas simétricas pero no se hace nunca porque es más sencillo intercambiar el significado de los positivos de los negativos y seguir usando las mismas métricas de prevalencias muy pequeñas. 
</note>

¿Y que entendemos por prevalencias muy pequeñas? Veamos un ejemplo de prevalencia muy pequeña. El cancer de mama tiene una prevalencia de unos 144 casos de cada 100.000 (fuente: {{ :clase:iabd:pia:2eval:infografia_cancer_de_mama.pdf |Cancer de mama es España}}) . Es decir que la prevalencia es:

$$
Prevalencia=\frac{Enfermos}{Casos \; Totales}=\frac{144}{100.000}=0,0014
$$

Eso es lo que queremos decir con una prevalencia muy pequeña, pero en otros problemas podría ser aun mucho más pequeña. 

Ahora que sabemos lo que es una prevalencia muy pequeña (datos desbalanceados) nos debemos preguntar ¿porqué necesitamos nuevas métricas para prevalencias muy pequeñas (es decir métricas para datos desbalanceados)?

Para responder esta pregunta vamos a suponer un modelo ideal pero con una prevalencia tan tan pequeña que va a ser cero.

Un modelo ideal va a tener:
$$
\begin{array}
\\
Sensibilidad&=&1
\\
Especificidad&=&1
\end{array}
$$

Pero como hemos dicho:
$$
Prevalencia=0
$$

Ahora calculemos los valores de $VPP$ y $VPN$

$$
Precisión=VPP=\frac{Sensibilidad*Prevalencia}{Sensibilidad*Prevalencia+(1-Especificidad)*(1-Prevalencia)}=\frac{1*0}{1*0+(1-1)*(1-0)}=0  
$$


$$
VPN=\frac{Especificidad*(1-Prevalencia)}{Especificidad*(1-Prevalencia)+(1-sensibilidad)*Prevalencia}=\frac{1*(1-0)}{1*(1-0)+(1-1)*0}=1
$$

Por último vamos a ver los valores de $Accuracy$, $nMCC$ y $nMarkedness$

$$
Accuracy=Especificidad+(Sensibilidad-Especificidad) \cdot Prevalencia=1+(1-1)*0=1
$$

$$
MCC=\frac{Sensibilidad+Especificidad-1}{\sqrt{ \frac{Prevalencia}{1-Prevalencia} Sensibilidad - Especificidad +1} \cdot \sqrt{ \frac{1-Prevalencia}{Prevalencia} Especificidad - Sensibilidad +1}}=\frac{1+1-1}{\sqrt{\frac{0}{1} \cdot 1-1+1}*\sqrt{ \frac{1}{0} \cdot 1-1+1 }}=\frac{1}{\infty}=0
$$


$$
MMC \; normalizado=nMMC=\frac{MMC+1}{2}=\frac{0+1}{2}=0,5
$$

$$
Markedness \; Normalizado=nMarkedness=\frac{Markedness+1}{2}=\frac{VPP+VPN}{2}=\frac{0+1}{2}=0,5
$$

Resumiendo, para un modelo "ideal" con $Sensibilidad=1$ y $Especificidad=1$ y $Prevalencia=0$ nuestras métricas de rendimiento global son:
$$
\begin{array}
\\
Precisión=VPP&=&0
\\
VPN&=&1
\\
Accuracy&=&1
\\
nMMC&=&0,5
\\
nMarkedness&=&0,5
\end{array}
$$

¿No veis que son un poco raros los resultados? La $Accuracy$ nos dice que es un modelo perfecto al ser la $Prevalencia=0$ y $Especificidad=1$ pero  $VPP$ sale malísimo, mientras que $nMCC$ y $nMarkedness$ nos dice que nuestro modelo no es mejor que al azar, por último el $VPN$ es perfecto. Son resultados que no tienen mucho sentido, aunque matemáticamente son todos correctos.

¿Qué ha ocurrido? ¿Qué va mal? Pues resulta que en casos de datos desbalanceados (prevalencia muy pequeña) lo que más prima son los los verdaderos negativos mientras que el resto de los valores de la matriz de confusión es como que tienden a cero.

Sin embargo y aquí es lo importante;  **no nos importa los verdaderos negativos** porque lo fácil para el modelo es predecir que siempre es negativo y acertará prácticamente siempre porque hay muy pocos positivos, pero eso no es lo que nos interesa. Así que nos interesan nuevas métricas que para calcularlas no se usen los verdaderos negativo.

Resumiendo:
  * $TP$: Habrá muy poco pero si los hay, queremos que los detecte
  * $FN$: Siempre nos interesa tener en cuenta los errores y por lo tanto que tengan un valor pequeño
  * $FP$: Siempre nos interesa tener en cuenta los errores y por lo tanto que tengan un valor pequeño
  * $TN$: No nos interesa su valor porque seguro que es muy alto y eso //contamina// el resultado de las métricas del rendimiento global

Pues justamente eso es lo que hacen las métricas para datos desbalaceados ( No tienen en cuenta los verdaderos negativos $TN$)
    * [[.tema08.metricas_derivadas#Jaccard]]
    * [[.tema08.metricas_derivadas#F1-score]]
    * [[.tema08.metricas_derivadas#Fowlkes-Mallows (FM)]]
    * [[.tema08.metricas_derivadas#PR-AUC]]

<note tip>
Una métrica para datos desbalanceados es una métrica que no use en el cálculo los verdaderos negativos $TN$. Es decir es una métrica que ignora totalmente ese valor.

Y como hemos visto eso tiene sentido ya que el valor de los verdaderos negativos $TN$ será 
desproporcionadamente alto respecto a los demás y desvirtuará el resultado de cualquier métrica que use los verdaderos negativos.
</note>

Y ahora que hemos explicado que necesitamos estas métricas, ¿Cuál debemos usar? Empecemos viendo las fórmulas de las 3 primeras métricas:

$$
\begin{array}
\\
Indice \; Jaccard&=&\frac{TP}{TP+FN+FP}
\\
F_1{\text -}score&=&\frac{TP}{\frac{(TP+FN)+(TP+FP)}{2}}
\\
Fowlkes-Mallows&=&\frac{TP}{\sqrt{(TP+FN)*(TP+FP)}}
\end{array}
$$


Las tres métricas tienen en común el numerador que es $TP$ y en el denominador también tienen en común que solo usan $TP$ , $FN$ y $FP$. Sin embargo difieren entre ellos en como calculan el denominador.

¿Cual usar? analicemos como se comportan en la siguiente figura.

{{:clase:iabd:pia:2eval:comparacion_metricas_desbalaceados_sin_pr_auc_alta_especificidad_muy_baja_prevalenica.png|}}

Esta figura muestra los resultados de las tres métricas pero teniendo en cuenta 2 factores:
  * La especificidad es muy alta: Eso es normal ya que la mayoría de resultados es verdaderos negativos.
  * La prevalencia es muy baja: Tambien es normal ya que es lo importante en este caso.

Analicemos como se comportan:
  * Las métricas de $F_1{\text -}score$ y $FM$ son muy parecidas aunque cuando difieren, $F_1{\text -}score$ es la más baja
  * $Jaccard$ es la más diferente pero siempre da valores más bajos.

Aunque realmente las 3 tienen valores //semejantes// en el sentido de que no se cruzan sus curvas en ninguna circunstancia (A diferencia de otras métricas vistas anteriormente).

Pero vamos ahora a ver las tres métricas viendo como se comportan usando directamente la matriz de confusión y viendo a que dan más importancia.



Sin embargo aun nos falta el PR-AUC. Que vamos a analizar a continuación.

===== Ejercicios =====

==== Ejercicio 1 ====
Indica para los siguientes problemas de IA cual es la mejor métrica a usar:
  * Un modelo en el que no está clara la prevalencia.
  * Un modelo en el que la prevalencia es muy muy muy baja.
  * Un modelo en el que la prevalencia es muy muy muy alta. 
  * Un modelo en el que sabemos la prevalencia y no es extrema

==== Ejercicio 2.A ====
Estamos hacienda una IA de video vigilancia para venderla a empresas o gobiernos. La IA hará fotos de caras e indicará la raza de la persona (Para que sea un problema de clasificación binaria vamos a suponer que solo hay 2 razas: caucásicos y el resto).

Indica en los siguientes supuestos que métrica/s usarías.
  * Cuando le enseñas la IA a tu jefe.
  * Cuando enseñas el modelo a un grupo de inversores.
  * Cuando enseñas el modelo para venderlo en España.
  * Cuando enseñas el modelo para venderlo en el Reino Unido.
  * Cuando enseñas el modelo para venderlo en Londres
  * Cuando enseñas el modelo para venderlo en EEUU.
  * Cuando enseñas el modelo para venderlo en Nueva Orleans
  * Cuando enseñas el modelo para venderlo en Sudan del Sur.

==== Ejercicio 2.B ====
Suponiendo que la IA tiene:
  * Sensibilidad: 96.8%
  * Especificidad: 97.2%

Haz lo siguiente:

  * Busca el porcentaje de caucásicos en las zonas anteriores
  * Elije las mejores métricas en cada caso
  * Calcula es valor de dichas métricas.


<note>
Datos de población caucásica por países:


</note>

==== Ejercicio 3 ====
Estamos hacienda una IA que hace fotos al sol y predecirá con 2 horas de antelación cuando va a haber una super fulguración solar que afecte a la tierra.

Indica en los siguientes supuestos que métrica/s usarías.
  * Cuando le enseñas la IA a tu jefe.
  * Cuando enseñas el modelo a un grupo de inversores.
  * Cuando enseñas el modelo para venderlo en España.
  * Cuando enseñas el modelo para venderlo en el Reino Unido.
  * Cuando enseñas el modelo para venderlo en Londres
  * Cuando enseñas el modelo para venderlo en EEUU.
  * Cuando enseñas el modelo para venderlo en Nueva Orleans
  * Cuando enseñas el modelo para venderlo en Sudan del Sur.

==== Ejercicio 4.A ====
Estamos hacienda una IA que hace fotos a un bebe recien nacido y detecta si al bebe tiene Sindrome de Dawn

Indica en los siguientes supuestos que métrica/s usarías.
  * Cuando le enseñas la IA a tu jefe.
  * Cuando enseñas el modelo a un grupo de inversores.
  * Cuando enseñas el modelo para venderlo en España.
  * Cuando enseñas el modelo para venderlo en el Reino Unido.
  * Cuando enseñas el modelo para venderlo en Londres
  * Cuando enseñas el modelo para venderlo en EEUU.
  * Cuando enseñas el modelo para venderlo en Nueva Orleans
  * Cuando enseñas el modelo para venderlo en Sudan del Sur.

==== Ejercicio 4.B ====
¿De que depende en este caso realmente la prevalencia?

==== Ejercicio 5 ====
Dado los siguientes problemas de Kaggle:
  * **Problema A**:[[https://www.kaggle.com/datasets/arashnic/hr-analytics-job-change-of-data-scientists|HR Analytics: Job Change of Data Scientists]]: Al contratar a alguien , averiguar si es persona va a buscar rápidamente cambiar de trabajo.
  * **Problema B**:[[https://www.kaggle.com/datasets/adityakadiwal/water-potability/code|Water Quality]]: Averiguar si es base a cierto parámetros del agua , ésta es potable.
  * **Problema C**:[[https://www.kaggle.com/datasets/hopesb/student-depression-dataset/data|Student Depression Dataset.]]: Predecir si un estudiante va a tener depresión.

Responde a las siguientes cuestiones

  * Indica la prevalencia del problema:
    * Si no se sabe porque depende de donde se vaya a usar.
    * Si es la de los datos
    * Si es otro valor conocido. En ese caso di cual.
  * En base a la prevalencia indica la métrica de rendimiento global más adecuada.

Usando la métrica que has seleccionado, muestra para cada problema una gráfica en la que se muestre esa métrica en función del umbral (threshold). Y elige el umbral más adecuado.
logongas

Herramientas de usuario

Herramientas del sitio

Herramientas de la página
