logongas

Herramientas de usuario

Herramientas del sitio

Ocultar Menú
Traza:
clase:iabd:pia:2eval:tema08.metricas_clasificacion

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anterior Revisión previa
Próxima revisión 		Revisión previa
clase:iabd:pia:2eval:tema08.metricas_clasificacion [2025/02/19 12:20]
admin [Ejercicios] 		clase:iabd:pia:2eval:tema08.metricas_clasificacion [2025/02/26 20:11] (actual)
admin [Ejercicios]
Línea 359: Línea 359:
 <sxh python> <sxh python>
 metrics=[tf.keras.metrics.Recall()] metrics=[tf.keras.metrics.Recall()]
-metrics=["Recall"]+metrics=["recall"]
 </sxh> </sxh>
  
Línea 367: Línea 367:
 history.history['val_recall'] history.history['val_recall']
 </sxh> </sxh>
 +
 +<note important>
 +En versiones antiguas de Tensorflow, se llamaba ''Recall'' (Con la R en mayúscula)
 +</note>
  
 Ejemplo: Ejemplo:
Línea 387: Línea 391:
  
 <sxh python> <sxh python>
 +
 +from tensorflow.keras import backend as K
 +
 def specificity(y_true, y_score,threshold = 0.5): def specificity(y_true, y_score,threshold = 0.5):
          
Línea 445: Línea 452:
  
  
-Entonces:+Y se puede calcular de 2 maneras distintas:
  
-  * Ariméticamente+  * Aritméticamente
  
 <sxh python> <sxh python>
Línea 726: Línea 733:
 {{:clase:iabd:pia:2eval:threshold-metricas.png?direct|}} {{:clase:iabd:pia:2eval:threshold-metricas.png?direct|}}
  
-¿Qué valor de umbral dejarías? Elige uno que no sea ''0.5'' 
  
 <note important> <note important>
Línea 734: Línea 740:
  
 ==== Ejercicio 5.B ==== ==== Ejercicio 5.B ====
-Vuelve a mostrar la matriz de confusión con todas las métricas pero usando el umbral que decidiste en el apartado anterior.+Muestra varias matrices de confusión, una para cada uno de estos umbrales: ''[0.2,0.3,0.4,0.5,0.7,0.8]'' 
 +{{:clase:iabd:pia:2eval:matriz-confusion-varios-umbrales.png|}} 
 + 
 + 
 +¿Que es mejor una alta precisión alta (VPP) o un alto VPN? Elije el umbral adecuado.
  
 <note important> <note important>
 Usa los datos de **test** para obtener las métricas.  Usa los datos de **test** para obtener las métricas. 
 </note> </note>
 +
 +==== Ejercicio 5.C ====
 +Ahora calcula una tabla similar a esta para ver resultado de 8 pacientes.
 +
 +<sxh python>
 +Paciente      y_score    Umbral  Resultado    Prob.      Realidad
 +                                 Test         Acierto
 +----------  ---------  --------  -----------  ---------  ----------
 +Nº 347      0.32628         0.3  Positivo     88% VPP    Enfermo
 +Nº 270      0.95804         0.3  Positivo     88% VPP    Enfermo
 +Nº 213      0.958995        0.3  Positivo     88% VPP    Sano
 +Nº 3        0.31489         0.3  Positivo     88% VPP    Sano
 +Nº 214      0.286227        0.3  Negativo     96% VPN    Sano
 +Nº 265      0               0.3  Negativo     96% VPN    Sano
 +Nº 92       0.0623996       0.3  Negativo     96% VPN    Enfermo
 +Nº 476      0.275804        0.3  Negativo     96% VPN    Enfermo
 +</sxh>
 +
 +Responde ahora a estas preguntas:
 +  * ¿Que tiene de extraño el valor de algunos resultados? 
 +  * ¿Es útil el ''y-score''?
 +  * Porque $P(Enfermo|Positivo)=VPP=Precisión$ es siempre la misma?
 +  * Porque $P(Sano|Negativo)=VPN$ es siempre la misma?
 +
 +Para saber con que pacientes debe probar concretamente en tu modelo, usa la función ''get_pacientes_a_probar(model)'' que retornará un array con los pacientes a probar.
 +
 +<sxh python>
 +def get_paciente_a_probar(indices,y_pred,order):
 +    y_pred_values = y_pred[indices]
 +    sorted_indices = indices[0][np.argsort(order*y_pred_values)]
 +
 +    return sorted_indices[0]
 +
 +def get_pacientes_a_probar(model):
 +    breast_cancer=load_breast_cancer()
 +    tolerancia=0.07
 +    desc=-1
 +    asc=1
 +    numeros_pacientes=[]
 +
 +    y_pred=model.predict(breast_cancer.data,verbose=False).reshape(-1)
 +
 +    #TP Malo:
 +    numeros_pacientes.append(get_paciente_a_probar(np.where((breast_cancer.target==1) & (y_pred>best_threshold) & (y_pred<best_threshold+tolerancia)),y_pred,asc))
 +    #TP Bueno
 +    numeros_pacientes.append(get_paciente_a_probar(np.where((breast_cancer.target==1) & (y_pred>1-tolerancia) & (y_pred<1)),y_pred,desc))
 +
 +    #FP Malo
 +    numeros_pacientes.append(get_paciente_a_probar(np.where((breast_cancer.target==0) & (y_pred>1-tolerancia) & (y_pred<1)),y_pred,desc))
 +    #FP Casi bueno
 +    numeros_pacientes.append(get_paciente_a_probar(np.where((breast_cancer.target==0) & (y_pred>best_threshold) & (y_pred<best_threshold+tolerancia)),y_pred,asc))
 +
 +    #TN Malo
 +    numeros_pacientes.append(get_paciente_a_probar(np.where((breast_cancer.target==0) & (y_pred>best_threshold-tolerancia) & (y_pred<best_threshold)),y_pred,desc))
 +    #TN Bueno
 +    numeros_pacientes.append(get_paciente_a_probar(np.where((breast_cancer.target==0) & (y_pred>0.0) & (y_pred<tolerancia)),y_pred,asc))
 +
 +    #FN Malo
 +    numeros_pacientes.append(get_paciente_a_probar(np.where((breast_cancer.target==1) & (y_pred>0.0) & (y_pred<=tolerancia)),y_pred,desc))
 +    #FN Casi bueno
 +    numeros_pacientes.append(get_paciente_a_probar(np.where((breast_cancer.target==1) & (y_pred>best_threshold-tolerancia) & (y_pred<best_threshold)),y_pred,asc))
 +
 +    return numeros_pacientes
 +</sxh>
  
 ==== Ejercicio 6 ==== ==== Ejercicio 6 ====
-Indica en los siguientes problemas si subirías o bajarías el umbral+Indica en los siguientes problemas si es mejor una precisión alta (VPP) o un alto VPN
  
   * Una IA que detecta si hay petroleo en el subsuelo   * Una IA que detecta si hay petroleo en el subsuelo
Línea 747: Línea 821:
   * Una IA que decide si te concede un préstamo   * Una IA que decide si te concede un préstamo
   * Una IA que decide una persona en un juicio es inocente   * Una IA que decide una persona en un juicio es inocente
-  * Una IA que corrige automáticamente un examen y te dice si has aprobado+  * Una IA que corrige automáticamente un examen y  dice si se ha aprobado
  
- 
-==== Ejercicio 7 ==== 
-Haz ahora un pequeño programa en modo texto en python en el que: 
-  * Se pregunte al usuario los datos del "//bread cancer//". 
-    * Para facilitar la entrada que ponga valores por defecto para cada //x// y que indique el rango que tenemos en los posibles valores. 
-  * La prevalencia. Si la deja en blanco serán las de los datos 
-  * Que indique si tiene o no cáncer. 
-    * Si tiene cáncer que indique al usuario la probabilidad de que esta IA haya acertado (VPP) 
-    * Si no tiene cáncer que indique al usuario la probabilidad de que esta IA haya acertado (VPN) 
- 
-<note important> 
-Ahora hazte las siguientes preguntas 
-  * ¿Deberíamos haber preguntado al usuario el umbral? 
-  * ¿Deberíamos mostrar al usuario el ''y_score''? 
-</note> 
  
  
clase/iabd/pia/2eval/tema08.metricas_clasificacion.1739964019.txt.gz · Última modificación: 2025/02/19 12:20 por admin

Herramientas de la página

Excepto donde se indique lo contrario, el contenido de este wiki esta bajo la siguiente licencia: GNU Free Documentation License 1.3
GNU Free Documentation License 1.3 Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki