logongas

Herramientas de usuario

Herramientas del sitio

Traza:
clase:iabd:pia:2eval:tema07-apendices

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anterior Revisión previa
Próxima revisión 		Revisión previa
clase:iabd:pia:2eval:tema07-apendices [2024/03/19 14:04]
admin [Más métricas] 		clase:iabd:pia:2eval:tema07-apendices [2024/03/19 17:04] (actual)
admin [Más métricas]
Línea 233: Línea 233:
  
 ===== Métricas ===== ===== Métricas =====
 +Las métricas que ya las hemos explicado en el tema de métricas son:
 +    * Métricas básicas (Sensibilidad, Especificidad, FNR y FPR)
 +    * Métricas derivadas según el teorema de bayes (PPV,NPV, FDR y FOR)
  
 +Las métricas que ahora vamos a ver son métricas que hacen la media entre alguna de las dos métricas que acabamos de indicar.
 +
 +Para organizar las métricas según 2 criterios:
 +  * Según que métricas juntan
 +    * Métricas básicas (Sensibilidad, Especificidad, FNR y FPR)
 +    * Métricas derivadas (PPV,NPV, FDR y FOR)
 +    * Métricas mixtas, que usa una básica y otra derivada.
 +  * Según la fórmula que usan:
 +    * Media aritmética
 +    * Media armónica
 +    * Media geométrica
 +    * L1-Norma
 +    * L2-Norma
 +    * Ratio
 ==== Juntado dos Métricas Básicas ==== ==== Juntado dos Métricas Básicas ====
-^  ^  Fórmula que usan  ^^^^^ +^  ^  Fórmula que usan  ^^^^^^ 
-^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^ +^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  L1-Norma  ^  L2-Norma  ^  Ratio  ^ 
-| Sensibilidad (TPR) y Especificidad (TNR)  |    |    |    |  $Informedness=TPR+TNR-1$ |   | +| Sensibilidad (TPR) y Especificidad (TNR)  |    |    |    |  $Informedness=TPR+TNR-1$  |   |   | 
-| Sensibilidad (TPR) y FPR  |    |    |    |   |  $Positive \; likelihood \; ratio=\frac{TPR}{FPR}$ | +| Sensibilidad (TPR) y FPR  |    |    |    |    |   |  $Positive \; likelihood \; ratio=\frac{TPR}{FPR}$ | 
-| Especificidad (TNR) y FNR  |    |    |    |   |  $Negative \; likelihood \; ratio=\frac{FNR}{TNR}$ |+| Especificidad (TNR) y FNR  |    |    |    |    |   |  $Negative \; likelihood \; ratio=\frac{FNR}{TNR}$ |
 | FPR y FNR  |    |    |   |   | | FPR y FNR  |    |    |   |   |
  
Línea 245: Línea 262:
 ==== Juntado dos Métricas derivadas ==== ==== Juntado dos Métricas derivadas ====
  
-^  ^  Fórmula que usan  ^^^^^ +^  ^  Fórmula que usan  ^^^^^^ 
-^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^ +^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  L1-Norma  ^  L2-Norma  ^  Ratio  ^ 
-| PPV y NPV  |    |    |    |  $Markdness=PPV+NPV-1$ |   | +| PPV y NPV  |    |    |    |  $Markdness=PPV+NPV-1$ |    |   | 
-| PPV y FOR  |    |    |    |   |   | +| PPV y FOR  |    |    |    |   |   |    | 
-| NPV y FDR  |    |    |    |   |   | +| NPV y FDR  |    |    |    |   |   |    | 
-| FDR y FOR  |    |    |    |   |   |+| FDR y FOR  |    |    |    |   |   |    |
  
  
Línea 258: Línea 275:
   * La siguiente tabla son métricas que existen (Tienen nombre)   * La siguiente tabla son métricas que existen (Tienen nombre)
  
-^  ^  Fórmula que usan  ^^^^^ +^  ^  Fórmula que usan  ^^^^^^ 
-^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  Suma-1  ^  Ratio  ^ +^  Métricas básicas que usan  ^  Media aritmética  ^  Media armónica  ^  Media geométrica  ^  L1-Norma  ^  L2-Norma  ^  Ratio  ^ 
-| PPV y Sensibilidad (TPR)  |    |  $F_{1}score=\frac{2}{\frac{1}{PPV}+\frac{1}{TPR}}$  |  $Fowlkes-Mallows \; index=\sqrt{PPV*TPR}$  |   |   | +| PPV y Sensibilidad (TPR)  |    |  $F_{1}score=\frac{2}{\frac{1}{PPV}+\frac{1}{TPR}}$  |  $Fowlkes-Mallows \; index=\sqrt{PPV*TPR}$  |   |   |    | 
-| NPV y Especificidad (TNR)  |    |    |    |   |   |+| NPV y Especificidad (TNR)  |    |    |    |   |   |    |
  
 ===== Más métricas ===== ===== Más métricas =====
Línea 291: Línea 308:
 P(Enfermo)&=&\frac{TP+FN}{TP+FN+FP+TN} P(Enfermo)&=&\frac{TP+FN}{TP+FN+FP+TN}
 \\ \\
 +
 +
 +
 P(Sano)&=&\frac{FP+TN}{TP+FN+FP+TN} P(Sano)&=&\frac{FP+TN}{TP+FN+FP+TN}
 \\ \\
Línea 385: Línea 405:
 DOR=\frac{LR+}{LR-}=\frac{\frac{TPR}{1-TNR}}{\frac{1-TPR}{TNR}}=\frac{Sensibilidad*Especificidad}{(1-Sensibilidad)(1-Especificidad)} DOR=\frac{LR+}{LR-}=\frac{\frac{TPR}{1-TNR}}{\frac{1-TPR}{TNR}}=\frac{Sensibilidad*Especificidad}{(1-Sensibilidad)(1-Especificidad)}
 $$ $$
 +
 +==== Matthews Correlation Coefficient o MMC ====
 +Es otra métrica pero que tiene en cuenta que los datos no estén balanceados. 
 +
 +El MMC tiene un valor entre -1 a 1. Siendo:
 +  * 1 : El clasificador funciona perfectamente
 +  * 0 : El clasificador acierta aleatoriamente
 +  * -1 : El clasificador acierta peor que aleatoriamente, es decir que clasifica al revés "perfectamente"
 +
 +$$MCC = \frac{ \mathit{TP} \times \mathit{TN} - \mathit{FP} \times \mathit{FN} } {\sqrt{ (\mathit{TP} + \mathit{FP}) ( \mathit{TP} + \mathit{FN} ) ( \mathit{TN} + \mathit{FP} ) ( \mathit{TN} + \mathit{FN} ) } }$$
 +
 +
 +Podemos hacer uso de la métrica con la función ''sklearn.metrics.matthews_corrcoef'' de sklearn
 +
 +Ejemplo de uso:
 +<sxh python>
 +from sklearn.metrics import matthews_corrcoef
 +
 +y_true = [1,1,1,1,0,0,0,0]
 +y_pred = [1,1,1,1,0,0,0,0]
 +print("Valor para una predicción que acierta siempre=",matthews_corrcoef(y_true,y_pred))
 +
 +y_true = [1,1,1,1,0,0,0,0]
 +y_pred = [1,1,0,0,1,1,0,0]
 +print("Valor para una predicción que acierta la mitad=",matthews_corrcoef(y_true,y_pred))
 +
 +y_true = [1,1,1,1,0,0,0,0]
 +y_pred = [0,0,0,0,1,1,1,1]
 +print("Valor para una predicción que nunca acierta=",matthews_corrcoef(y_true,y_pred))
 +</sxh>
 +
 +
 +<sxh base>
 +Valor para una predicción que acierta siempre= 1.0
 +Valor para una predicción que acierta la mitad= 0.0
 +Valor para una predicción que nunca acierta= -1.0
 +</sxh>
 +
 +
 +
 +
 +
 +Mas información:
 +  * [[https://scikit-learn.org/stable/modules/generated/sklearn.metrics.matthews_corrcoef.html|sklearn.metrics.matthews_corrcoef]]
 +  * [[https://towardsdatascience.com/the-best-classification-metric-youve-never-heard-of-the-matthews-correlation-coefficient-3bf50a2f3e9a|Matthews Correlation Coefficient is The Best Classification Metric You’ve Never Heard Of]]
 +  * [[https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5721660/|Ten quick tips for machine learning in computational biology]]
 +  * [[https://medium.com/@cdefaux/phi-coefficient-a-k-a-matthews-correlation-coefficient-binary-classification-11e2c29db91e|Phi Coefficient A.K.A Matthews Correlation Coefficient (Binary Classification)]]
 +  * {{ :clase:iabd:pia:2eval:the_advantages_of_the_matthews_correlation_coeffic.pdf |The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation}}
 +  * [[https://en.wikipedia.org/wiki/Phi_coefficient|Phi coefficient-Wikipedia]]
 +
 +
 +
 +
 +
  
clase/iabd/pia/2eval/tema07-apendices.1710853488.txt.gz · Última modificación: 2024/03/19 14:04 por admin

Herramientas de la página

Excepto donde se indique lo contrario, el contenido de este wiki esta bajo la siguiente licencia: GNU Free Documentation License 1.3
GNU Free Documentation License 1.3 Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki