Muestra las diferencias entre dos versiones de la página.
Ambos lados, revisión anterior Revisión previa Próxima revisión | Revisión previa | ||
clase:iabd:pia:2eval:tema07-apendices-metricas [2024/03/09 19:50] admin [Otras métricas] |
clase:iabd:pia:2eval:tema07-apendices-metricas [2024/03/19 19:50] admin borrado |
||
---|---|---|---|
Línea 35: | Línea 35: | ||
^ ^ Fórmula que usan ^^^^^ | ^ ^ Fórmula que usan ^^^^^ | ||
^ Métricas básicas que usan ^ Media aritmética | ^ Métricas básicas que usan ^ Media aritmética | ||
- | | Sensibilidad (TPR) y Especificidad (TNR) | | + | | Sensibilidad (TPR) y Especificidad (TNR) | | | | $Informedness=TPR+TNR-1$ | | |
| Sensibilidad (TPR) y FPR | | | | | | Sensibilidad (TPR) y FPR | | | | | ||
| Especificidad (TNR) y FNR | | | | | | Especificidad (TNR) y FNR | | | | | ||
| FPR y FNR | | | | | FPR y FNR | | | | ||
+ | |||
+ | Mas información: | ||
+ | * [[https:// | ||
+ | * {{ : | ||
+ | |||
+ | $$ | ||
+ | Youden \; Index=maximo \{ sensibilidad(threhold)+especificidad(threhold)-1 \} \;\; threshold \in [0,1] | ||
+ | $$ | ||
\\ | \\ | ||
Línea 46: | Línea 54: | ||
^ ^ Fórmula que usan ^^^^^ | ^ ^ Fórmula que usan ^^^^^ | ||
^ Métricas básicas que usan ^ Media aritmética | ^ Métricas básicas que usan ^ Media aritmética | ||
- | | Sensibilidad (TPR) y Especificidad (TNR) | | $\frac{1}{\frac{1}{TPR}+\frac{1}{TNR}}$ | + | | Sensibilidad (TPR) y Especificidad (TNR) | |
- | | Sensibilidad (TPR) y FPR | $\frac{TPR+FPR}{2}$ | + | | Sensibilidad (TPR) y FPR | $\frac{TPR+FPR}{2}$ |
- | | Especificidad (TNR) y FNR | $\frac{TNR+FNR}{2}$ | + | | Especificidad (TNR) y FNR | $\frac{TNR+FNR}{2}$ |
- | | FPR y FNR | $\frac{FPR+FNR}{2}$ | + | | FPR y FNR | $\frac{FPR+FNR}{2}$ |
<note tip> | <note tip> | ||
Línea 74: | Línea 82: | ||
^ ^ Fórmula que usan ^^^^^ | ^ ^ Fórmula que usan ^^^^^ | ||
^ Métricas básicas que usan ^ Media aritmética | ^ Métricas básicas que usan ^ Media aritmética | ||
- | | PPV y NPV | $\frac{PPV+NPV}{2}$ | + | | PPV y NPV | $\frac{PPV+NPV}{2}$ |
- | | PPV y FOR | $\frac{PPV+FOR}{2}$ | + | | PPV y FOR | $\frac{PPV+FOR}{2}$ |
- | | NPV y FDR | $\frac{NPV+FDR}{2}$ | + | | NPV y FDR | $\frac{NPV+FDR}{2}$ |
- | | FDR y FOR | $\frac{FDR+FOR}{2}$ | + | | FDR y FOR | $\frac{FDR+FOR}{2}$ |
<note tip> | <note tip> | ||
Línea 91: | Línea 99: | ||
^ ^ Fórmula que usan ^^^^^ | ^ ^ Fórmula que usan ^^^^^ | ||
^ Métricas básicas que usan ^ Media aritmética | ^ Métricas básicas que usan ^ Media aritmética | ||
- | | PPV y Sensibilidad (TPR) | | $F_{1}score=\frac{1}{\frac{1}{PPV}+\frac{1}{TPR}}$ | + | | PPV y Sensibilidad (TPR) | | $F_{1}score=\frac{2}{\frac{1}{PPV}+\frac{1}{TPR}}$ |
| NPV y Especificidad (TNR) | | | | | | NPV y Especificidad (TNR) | | | | | ||
\\ | \\ | ||
Línea 100: | Línea 108: | ||
^ Métricas básicas que usan ^ Media aritmética | ^ Métricas básicas que usan ^ Media aritmética | ||
| PPV y Sensibilidad (TPR) | $\frac{PPV+TPR}{2}$ | | PPV y Sensibilidad (TPR) | $\frac{PPV+TPR}{2}$ | ||
- | | NPV y Especificidad (TNR) | $\frac{NPV+TNR}{2}$ | + | | NPV y Especificidad (TNR) | $\frac{NPV+TNR}{2}$ |
- | ===== Otras métricas ===== | + | ===== Más métricas |
- | Veamos ahora otras métricas que si que existen pero no encajan en organización que habíamos creado. | + | Veamos ahora otras métricas que derivamos a partir de las básicas |
==== Accuracy ==== | ==== Accuracy ==== | ||
Línea 112: | Línea 120: | ||
$$ | $$ | ||
- | Debido a que usa los 4 valores vamos a expresar la misma fórmula usando Especificidad, | + | * Debido a que usa los 4 valores vamos a expresar la misma fórmula usando Especificidad, |
$$ | $$ | ||
Línea 118: | Línea 126: | ||
$$ | $$ | ||
- | Eso se puede expresar como la suma de 2 probabilidades | + | * Eso se puede expresar como la suma de 2 probabilidades |
$$ | $$ | ||
Línea 128: | Línea 136: | ||
$$ | $$ | ||
- | Vamos a ver que para la prevalencia de los datos, las 2 fórmulas son iguales. | + | * Por lo tanto la fórmula que como: |
$$ | $$ | ||
- | Sensibilidad*Prevalencia+Especificidad*(1-Prevalencia)=\frac{TP}{(TP+FN)}*\frac{(TP+FN)}{TP+FN+FP+TN}+\frac{TN}{(FP+TN)}*\frac{(FP+TN)}{TP+FN+FP+TN}= | + | Accuracy=Sensibilidad*Prevalencia+Especificidad*(1-Prevalencia) |
$$ | $$ | ||
+ | |||
+ | |||
+ | * Vamos a ver que para la prevalencia de los datos, las 2 fórmulas son iguales. | ||
$$ | $$ | ||
- | \frac{TP}{TP+FN+FP+TN}+\frac{TN}{TP+FN+FP+TN}=\frac{TP+TN}{TP+FN+FP+TN}=Accuracy | + | Sensibilidad*Prevalencia+Especificidad*(1-Prevalencia)=\frac{TP}{(TP+FN)}*\frac{(TP+FN)}{TP+FN+FP+TN}+\frac{TN}{(FP+TN)}*\frac{(FP+TN)}{TP+FN+FP+TN}= |
$$ | $$ | ||
- | |||
- | Por lo tanto: | ||
$$ | $$ | ||
- | Accuracy=Sensibilidad*Prevalencia+Especificidad*(1-Prevalencia) | + | \frac{TP}{TP+FN+FP+TN}+\frac{TN}{TP+FN+FP+TN}=\frac{TP+TN}{TP+FN+FP+TN}=Accuracy |
$$ | $$ | ||
- | ==== Accuracy y Balanced Accuracy ==== | ||
- | Veamos ahora la relación | + | ==== Balanced Accuracy ==== |
+ | Realmente esta no es una nueva métrica sino que es la misma que // | ||
$$ | $$ | ||
Línea 153: | Línea 163: | ||
$$ | $$ | ||
- | Pero si calculamos // | + | * Pero si calculamos // |
$$ | $$ | ||
Línea 175: | Línea 185: | ||
$$ | $$ | ||
- | Se deduce de la siguiente forma: | + | * Se deduce de la siguiente forma: |
$$ | $$ | ||
Línea 185: | Línea 195: | ||
$$ | $$ | ||
- | Sabiendo que: | + | * Sabiendo que: |
$$ | $$ | ||
Línea 203: | Línea 213: | ||
$$ | $$ | ||
- | Entonces: | + | * Entonces: |
$$ | $$ | ||
Línea 223: | Línea 233: | ||
$$ | $$ | ||
\frac{TP}{TP+FP+FN}=Indice \; Jaccard | \frac{TP}{TP+FP+FN}=Indice \; Jaccard | ||
+ | $$ | ||
+ | |||
+ | * Sin embargo también podemos definir el Indice Jaccard en función de la sensibilidad, | ||
+ | |||
+ | $$ | ||
+ | P(Positivo)=\frac{P(Positivo|Enfermo)*P(Enfermo)}{P(Enfermo|Positivo)}= | ||
+ | $$ | ||
+ | |||
+ | $$ | ||
+ | \frac{P(Positivo|Enfermo)*P(Enfermo)}{1} \div \frac{P(Positivo|Enfermo)*P(Enfermo)}{P(Positivo|Enfermo)*P(Enfermo)+P(Positivo|Sano)*P(Sano)}= | ||
+ | $$ | ||
+ | |||
+ | $$ | ||
+ | Sensibilidad*Prevalencia+(1-Especificidad)*(1-Prevalencia) | ||
+ | $$ | ||
+ | |||
+ | |||
+ | * Y ahora usamos la formula de P(Positivo) en la definición del Indice Jaccard | ||
+ | |||
+ | $$ | ||
+ | Indice \; Jaccard=\frac{P(Positivo|Enfermo)*P(Enfermo)}{P(Positivo)+P(Enfermo)-P(Positivo|Enfermo)*P(Enfermo)}= | ||
+ | $$ | ||
+ | |||
+ | $$ | ||
+ | \frac{Sensibilidad*Prevalencia}{Sensibilidad*Prevalencia+(1-Especificidad)*(1-Prevalencia)+Prevalencia-Sensibilidad*Prevalencia}= | ||
+ | $$ | ||
+ | |||
+ | $$ | ||
+ | \frac{Sensibilidad*Prevalencia}{(1-Especificidad)*(1-Prevalencia)+Prevalencia} | ||
+ | $$ | ||
+ | |||
+ | * Por lo tanto | ||
+ | |||
+ | $$ | ||
+ | Indice \; Jaccard=\frac{Sensibilidad*Prevalencia}{(1-Especificidad)*(1-Prevalencia)+Prevalencia} | ||
$$ | $$ | ||
Línea 233: | Línea 278: | ||
Prevalence \; threshold=\frac{\sqrt{Sensibilidad(1-Especificidad)}+(Especificidad-1)}{Sensibilidad+Especificidad+1} | Prevalence \; threshold=\frac{\sqrt{Sensibilidad(1-Especificidad)}+(Especificidad-1)}{Sensibilidad+Especificidad+1} | ||
$$ | $$ | ||
- | Que jugando un poco con los signos se obtiene la formula equivalente: | + | Que jugando un poco con los signos se obtiene la formula equivalente |
$$ | $$ | ||
Prevalence \; threshold=\frac{\sqrt{Sensibilidad*FPR}-FPR}{Sensibilidad-FPR} | Prevalence \; threshold=\frac{\sqrt{Sensibilidad*FPR}-FPR}{Sensibilidad-FPR} | ||
$$ | $$ | ||
+ | ==== Diagnostic odds ratio ==== | ||
+ | Se define como la división entre //Positive likelihood ratio (LR+)// y //Negative likelihood ratio (LR-)// | ||
+ | |||
+ | $$ | ||
+ | DOR=\frac{LR+}{LR-}=\frac{TP*TN}{FP*FN} | ||
+ | $$ | ||
+ | |||
+ | * Aunque también se puede definir en función de la sensibilidad y la especificidad | ||
+ | |||
+ | $$ | ||
+ | DOR=\frac{LR+}{LR-}=\frac{\frac{TPR}{1-TNR}}{\frac{1-TPR}{TNR}}=\frac{Sensibilidad*Especificidad}{(1-Sensibilidad)(1-Especificidad)} | ||
+ | $$ | ||
+ | |||
+ | ===== Otras métricas ===== | ||
==== Matthews correlation coefficient ==== | ==== Matthews correlation coefficient ==== | ||
Línea 275: | Línea 334: | ||
Valor para una predicción que nunca acierta= -1.0 | Valor para una predicción que nunca acierta= -1.0 | ||
</ | </ | ||
- | |||
- | |||
- | <note warning> | ||
- | La métrica también está en [[https:// | ||
- | he visto que no tiene el parámetro '' | ||
- | |||
- | \\ | ||
- | |||
- | Además en [[https:// | ||
- | > Also please note that MCC values printed from Keras during iterations will be incorrect because of the metric calculation per batch size. You can only trust MCC value from calling " | ||
- | </ | ||
- | |||
- | |||
Mas información: | Mas información: |