logongas

Herramientas de usuario

Herramientas del sitio

Traza:
clase:iabd:pia:2eval:tema07-apendices-metricas

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anterior Revisión previa
Próxima revisión 		Revisión previa
clase:iabd:pia:2eval:tema07-apendices-metricas [2024/03/09 20:16]
admin [Juntado dos Métricas Básicas] 		clase:iabd:pia:2eval:tema07-apendices-metricas [2024/03/19 19:50]
admin borrado
Línea 35: Línea 35:
 ^  ^  Fórmula que usan  ^^^^^ ^  ^  Fórmula que usan  ^^^^^
 ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^ ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^
-| Sensibilidad (TPR) y Especificidad (TNR)  |  $Balanced \; Accuracy=\frac{TPR+TNR}{2}$  |    |    |  $Informedness=TPR+TNR-1$ |   |+| Sensibilidad (TPR) y Especificidad (TNR)  |    |    |    |  $Informedness=TPR+TNR-1$ |   |
 | Sensibilidad (TPR) y FPR  |    |    |    |   |  $Positive \; likelihood \; ratio=\frac{TPR}{FPR}$ | | Sensibilidad (TPR) y FPR  |    |    |    |   |  $Positive \; likelihood \; ratio=\frac{TPR}{FPR}$ |
 | Especificidad (TNR) y FNR  |    |    |    |   |  $Negative \; likelihood \; ratio=\frac{FNR}{TNR}$ | | Especificidad (TNR) y FNR  |    |    |    |   |  $Negative \; likelihood \; ratio=\frac{FNR}{TNR}$ |
Línea 42: Línea 42:
 Mas información: Mas información:
   * [[https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2749250/|Youden Index and the optimal threshold for markers with mass at zero]]: El indice Youden es el máximo Informedness según el threshold   * [[https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2749250/|Youden Index and the optimal threshold for markers with mass at zero]]: El indice Youden es el máximo Informedness según el threshold
 +  * {{ :clase:iabd:pia:2eval:youden-index_for_rating_diagnostic_tests.pdf |Youden-Index for rating diagnostic tests}}: Explicación del índica Informedness o indice Youden
 +
 +$$
 +Youden \; Index=maximo \{ sensibilidad(threhold)+especificidad(threhold)-1 \} \;\; threshold \in [0,1]
 +$$
  
 \\ \\
Línea 49: Línea 54:
 ^  ^  Fórmula que usan  ^^^^^ ^  ^  Fórmula que usan  ^^^^^
 ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^ ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^
-| Sensibilidad (TPR) y Especificidad (TNR)  |    |  $\frac{1}{\frac{1}{TPR}+\frac{1}{TNR}}$  |  $\sqrt{TPR*TNR}$  |   |  $\frac{TPR}{TNR}$ y $\frac{TNR}{TPR}$ | +| Sensibilidad (TPR) y Especificidad (TNR)  |  $\frac{TPR+TNR}{2}$  |  $\frac{2}{\frac{1}{TPR}+\frac{1}{TNR}}$  |  $\sqrt{TPR*TNR}$  |   |  $\frac{TPR}{TNR}$ y $\frac{TNR}{TPR}$ | 
-| Sensibilidad (TPR) y FPR  |  $\frac{TPR+FPR}{2}$  |  $\frac{1}{\frac{1}{TPR}+\frac{1}{FPR}}$  |  $\sqrt{TPR*FPR}$  |  $TPR+FPR-1$ |  $\frac{FPR}{TPR}$ | +| Sensibilidad (TPR) y FPR  |  $\frac{TPR+FPR}{2}$  |  $\frac{2}{\frac{1}{TPR}+\frac{1}{FPR}}$  |  $\sqrt{TPR*FPR}$  |  $TPR+FPR-1$ |  $\frac{FPR}{TPR}$ | 
-| Especificidad (TNR) y FNR  |  $\frac{TNR+FNR}{2}$  |  $\frac{1}{\frac{1}{TNR}+\frac{1}{FNR}}$  |  $\sqrt{TNR*FNR}$  |  $TNR+FNR-1$ |  $\frac{TNR}{FNR}$ | +| Especificidad (TNR) y FNR  |  $\frac{TNR+FNR}{2}$  |  $\frac{2}{\frac{1}{TNR}+\frac{1}{FNR}}$  |  $\sqrt{TNR*FNR}$  |  $TNR+FNR-1$ |  $\frac{TNR}{FNR}$ | 
-| FPR y FNR  |  $\frac{FPR+FNR}{2}$  |  $\frac{1}{\frac{1}{FPR}+\frac{1}{FNR}}$  |  $\sqrt{FPR*FNR}$  |  $FPR+FNR-1$ |  $\frac{FNR}{FPR}$ y $\frac{FPR}{FNR}$ |+| FPR y FNR  |  $\frac{FPR+FNR}{2}$  |  $\frac{2}{\frac{1}{FPR}+\frac{1}{FNR}}$  |  $\sqrt{FPR*FNR}$  |  $FPR+FNR-1$ |  $\frac{FNR}{FPR}$ y $\frac{FPR}{FNR}$ |
  
 <note tip> <note tip>
Línea 77: Línea 82:
 ^  ^  Fórmula que usan  ^^^^^ ^  ^  Fórmula que usan  ^^^^^
 ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^ ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^
-| PPV y NPV  |  $\frac{PPV+NPV}{2}$  |  $\frac{1}{\frac{1}{PPV}+\frac{1}{NPV}}$  |  $\sqrt{PPV*NPV}$  |   |  $\frac{PPV}{NPV}$ y $\frac{NPV}{PPV}$ | +| PPV y NPV  |  $\frac{PPV+NPV}{2}$  |  $\frac{2}{\frac{1}{PPV}+\frac{1}{NPV}}$  |  $\sqrt{PPV*NPV}$  |   |  $\frac{PPV}{NPV}$ y $\frac{NPV}{PPV}$ | 
-| PPV y FOR  |  $\frac{PPV+FOR}{2}$  |  $\frac{1}{\frac{1}{PPV}+\frac{1}{FOR}}$  |  $\sqrt{PPV*FOR}$  |  $PPV+FOR-1$ |  $\frac{PPV}{FOR}$ y $\frac{FOR}{PPV}$ | +| PPV y FOR  |  $\frac{PPV+FOR}{2}$  |  $\frac{2}{\frac{1}{PPV}+\frac{1}{FOR}}$  |  $\sqrt{PPV*FOR}$  |  $PPV+FOR-1$ |  $\frac{PPV}{FOR}$ y $\frac{FOR}{PPV}$ | 
-| NPV y FDR  |  $\frac{NPV+FDR}{2}$  |  $\frac{1}{\frac{1}{NPV}+\frac{1}{FDR}}$  |  $\sqrt{NPV*FDR}$  |  $NPV+FDR-1$ |  $\frac{NPV}{FDR}$ y $\frac{FDR}{NPV}$ | +| NPV y FDR  |  $\frac{NPV+FDR}{2}$  |  $\frac{2}{\frac{1}{NPV}+\frac{1}{FDR}}$  |  $\sqrt{NPV*FDR}$  |  $NPV+FDR-1$ |  $\frac{NPV}{FDR}$ y $\frac{FDR}{NPV}$ | 
-| FDR y FOR  |  $\frac{FDR+FOR}{2}$  |  $\frac{1}{\frac{1}{FDR}+\frac{1}{FOR}}$  |  $\sqrt{FDR*FOR}$  |  $FDR+FOR-1$ |  $\frac{FDR}{FOR}$ y $\frac{FOR}{FDR}$ |+| FDR y FOR  |  $\frac{FDR+FOR}{2}$  |  $\frac{2}{\frac{1}{FDR}+\frac{1}{FOR}}$  |  $\sqrt{FDR*FOR}$  |  $FDR+FOR-1$ |  $\frac{FDR}{FOR}$ y $\frac{FOR}{FDR}$ |
  
 <note tip> <note tip>
Línea 94: Línea 99:
 ^  ^  Fórmula que usan  ^^^^^ ^  ^  Fórmula que usan  ^^^^^
 ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^ ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^
-| PPV y Sensibilidad (TPR)  |    |  $F_{1}score=\frac{1}{\frac{1}{PPV}+\frac{1}{TPR}}$  |  $Fowlkes-Mallows \; index=\sqrt{PPV*TPR}$  |   |   |+| PPV y Sensibilidad (TPR)  |    |  $F_{1}score=\frac{2}{\frac{1}{PPV}+\frac{1}{TPR}}$  |  $Fowlkes-Mallows \; index=\sqrt{PPV*TPR}$  |   |   |
 | NPV y Especificidad (TNR)  |    |    |    |   |   | | NPV y Especificidad (TNR)  |    |    |    |   |   |
 \\ \\
Línea 103: Línea 108:
 ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^ ^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^
 | PPV y Sensibilidad (TPR)  |  $\frac{PPV+TPR}{2}$  |   |    |  $PPV+TPR-1$ |  $\frac{PPV}{TPR}$ y $\frac{TPR}{PPV}$ | | PPV y Sensibilidad (TPR)  |  $\frac{PPV+TPR}{2}$  |   |    |  $PPV+TPR-1$ |  $\frac{PPV}{TPR}$ y $\frac{TPR}{PPV}$ |
-| NPV y Especificidad (TNR)  |  $\frac{NPV+TNR}{2}$  |  $\frac{1}{\frac{1}{NPV}+\frac{1}{TNR}}$  |  $\sqrt{NPV*TNR}$  |  $NPV+TNR-1$ |  $\frac{NPV}{TNR}$ y $\frac{TNR}{NPV}$ |+| NPV y Especificidad (TNR)  |  $\frac{NPV+TNR}{2}$  |  $\frac{2}{\frac{1}{NPV}+\frac{1}{TNR}}$  |  $\sqrt{NPV*TNR}$  |  $NPV+TNR-1$ |  $\frac{NPV}{TNR}$ y $\frac{TNR}{NPV}$ |
  
-===== Otras métricas ===== +===== Más métricas derivadas ===== 
-Veamos ahora otras métricas que si que existen pero no encajan en organización que habíamos creado.+Veamos ahora otras métricas que derivamos a partir de las básicas que son Sensibilidad, Especificidad, Prevalencia, FPR y FNR.
  
 ==== Accuracy ==== ==== Accuracy ====
Línea 115: Línea 120:
 $$ $$
  
-Debido a que usa los 4 valores vamos a expresar la misma fórmula usando Especificidad, Sensibilidad y Prevalencia. Esto se hace ya que así podremos usar la prevalencia que queramos y no la de nuestros datos.+  * Debido a que usa los 4 valores vamos a expresar la misma fórmula usando Especificidad, Sensibilidad y Prevalencia. Esto se hace ya que así podremos usar la prevalencia que queramos y no la de nuestros datos.
  
 $$ $$
Línea 121: Línea 126:
 $$ $$
  
-Eso se puede expresar como la suma de 2 probabilidades+  * Eso se puede expresar como la suma de 2 probabilidades
  
 $$ $$
Línea 131: Línea 136:
 $$ $$
  
-Vamos a ver que para la prevalencia de los datos, las 2 fórmulas son iguales.+  * Por lo tanto la fórmula que como:
  
 $$ $$
-Sensibilidad*Prevalencia+Especificidad*(1-Prevalencia)=\frac{TP}{(TP+FN)}*\frac{(TP+FN)}{TP+FN+FP+TN}+\frac{TN}{(FP+TN)}*\frac{(FP+TN)}{TP+FN+FP+TN}=+Accuracy=Sensibilidad*Prevalencia+Especificidad*(1-Prevalencia)
 $$ $$
 +
 +
 +  * Vamos a ver que para la prevalencia de los datos, las 2 fórmulas son iguales.
  
 $$ $$
-\frac{TP}{TP+FN+FP+TN}+\frac{TN}{TP+FN+FP+TN}=\frac{TP+TN}{TP+FN+FP+TN}=Accuracy+Sensibilidad*Prevalencia+Especificidad*(1-Prevalencia)=\frac{TP}{(TP+FN)}*\frac{(TP+FN)}{TP+FN+FP+TN}+\frac{TN}{(FP+TN)}*\frac{(FP+TN)}{TP+FN+FP+TN}=
 $$ $$
- 
-Por lo tanto: 
  
 $$ $$
-Accuracy=Sensibilidad*Prevalencia+Especificidad*(1-Prevalencia)+\frac{TP}{TP+FN+FP+TN}+\frac{TN}{TP+FN+FP+TN}=\frac{TP+TN}{TP+FN+FP+TN}=Accuracy
 $$ $$
  
  
-==== Accuracy y Balanced Accuracy ==== 
  
-Veamos ahora la relación que hay entre //Accuracy// y //Balanced Accuracy//.+==== Balanced Accuracy ==== 
 +Realmente esta no es una nueva métrica sino que es la misma que //Accuracy// pero con una prevalencia del 0.5 
  
 $$ $$
Línea 156: Línea 163:
 $$ $$
  
-Pero si calculamos //Accuracy// suponiendo que la $Prevalencia=0.5$ obtenemos:+  * Pero si calculamos //Accuracy// suponiendo que la $Prevalencia=0.5$ obtenemos:
  
 $$ $$
Línea 178: Línea 185:
 $$ $$
  
-Se deduce de la siguiente forma:+  * Se deduce de la siguiente forma:
  
 $$ $$
Línea 188: Línea 195:
 $$ $$
  
-Sabiendo que:+  * Sabiendo que:
  
 $$ $$
Línea 206: Línea 213:
 $$ $$
  
-Entonces:+  * Entonces:
  
 $$ $$
Línea 226: Línea 233:
 $$ $$
 \frac{TP}{TP+FP+FN}=Indice \; Jaccard \frac{TP}{TP+FP+FN}=Indice \; Jaccard
 +$$
 +
 +  * Sin embargo también podemos definir el Indice Jaccard en función de la sensibilidad, la especificidad y la prevalencia.Usando el teorema de bayes podemos definir P(Positivo) de la siguiente forma:
 +
 +$$
 +P(Positivo)=\frac{P(Positivo|Enfermo)*P(Enfermo)}{P(Enfermo|Positivo)}=
 +$$
 +
 +$$
 +\frac{P(Positivo|Enfermo)*P(Enfermo)}{1} \div \frac{P(Positivo|Enfermo)*P(Enfermo)}{P(Positivo|Enfermo)*P(Enfermo)+P(Positivo|Sano)*P(Sano)}=
 +$$
 +
 +$$
 +Sensibilidad*Prevalencia+(1-Especificidad)*(1-Prevalencia)
 +$$
 +
 +
 +  * Y ahora usamos la formula de P(Positivo) en la definición del Indice Jaccard
 +
 +$$
 +Indice \; Jaccard=\frac{P(Positivo|Enfermo)*P(Enfermo)}{P(Positivo)+P(Enfermo)-P(Positivo|Enfermo)*P(Enfermo)}=
 +$$
 +
 +$$
 +\frac{Sensibilidad*Prevalencia}{Sensibilidad*Prevalencia+(1-Especificidad)*(1-Prevalencia)+Prevalencia-Sensibilidad*Prevalencia}=
 +$$
 +
 +$$
 +\frac{Sensibilidad*Prevalencia}{(1-Especificidad)*(1-Prevalencia)+Prevalencia}
 +$$
 +
 +  * Por lo tanto
 +
 +$$
 +Indice \; Jaccard=\frac{Sensibilidad*Prevalencia}{(1-Especificidad)*(1-Prevalencia)+Prevalencia}
 $$ $$
  
Línea 236: Línea 278:
 Prevalence \; threshold=\frac{\sqrt{Sensibilidad(1-Especificidad)}+(Especificidad-1)}{Sensibilidad+Especificidad+1} Prevalence \; threshold=\frac{\sqrt{Sensibilidad(1-Especificidad)}+(Especificidad-1)}{Sensibilidad+Especificidad+1}
 $$ $$
-Que jugando un poco con los signos se obtiene la formula equivalente:+Que jugando un poco con los signos se obtiene la formula equivalente que aparece en Wikipedia:
 $$ $$
 Prevalence \; threshold=\frac{\sqrt{Sensibilidad*FPR}-FPR}{Sensibilidad-FPR} Prevalence \; threshold=\frac{\sqrt{Sensibilidad*FPR}-FPR}{Sensibilidad-FPR}
 $$ $$
  
 +==== Diagnostic odds ratio ====
 +Se define como la división entre //Positive likelihood ratio (LR+)// y  //Negative likelihood ratio (LR-)//
 +
 +$$
 +DOR=\frac{LR+}{LR-}=\frac{TP*TN}{FP*FN}
 +$$
 +
 +  * Aunque también se puede definir en función de la sensibilidad y la especificidad
 +
 +$$
 +DOR=\frac{LR+}{LR-}=\frac{\frac{TPR}{1-TNR}}{\frac{1-TPR}{TNR}}=\frac{Sensibilidad*Especificidad}{(1-Sensibilidad)(1-Especificidad)}
 +$$
 +
 +===== Otras métricas =====
  
 ==== Matthews correlation coefficient ==== ==== Matthews correlation coefficient ====

Herramientas de la página

Excepto donde se indique lo contrario, el contenido de este wiki esta bajo la siguiente licencia: GNU Free Documentation License 1.3
GNU Free Documentation License 1.3 Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki