Diferencias

Muestra las diferencias entre dos versiones de la página.

--- clase:iabd:pia:2eval:tema08.seleccion-metricas [2025/01/02 19:15]
admin [Métricas independientes de la prevalencia]
+++ clase:iabd:pia:2eval:tema08.seleccion-metricas [2025/04/14 10:42] (actual)
admin [Métricas para datos desbalaceados]
@@ Línea 1: / Línea 1: @@
-====== 8.d Selección de métricas ======
+====== 8.d Selección de métricas de clasificación ======
 Ahora que vemos visto todas las métricas vamos a explicar cuando usar cada una de ellas.
@@ Línea 137: / Línea 137: @@
  $nMarkedness=\frac{VPP+VPN}{2}$
-===== Métricas para datos desbalaceados =====
+===== Métricas para datos desbalanceados =====
 El último grupo de métricas que vamos a ver son las métrica para datos desbalanceados. Datos desbalanceados significa con prevalencias muy pequeñas o muy grandes aunque nos vamos a limitar a hablar cuando la prevalencia tiene un valor muy pequeño.
@@ Línea 277: / Línea 277: @@
 Sin embargo aun nos falta el PR-AUC. Que vamos a analizar a continuación.
+===== Ejercicios =====
+==== Ejercicio 1 ====
+Indica para los siguientes problemas de IA cual es la mejor métrica a usar:
+  * Un modelo en el que no está clara la prevalencia.
+  * Un modelo en el que la prevalencia es muy muy muy baja.
+  * Un modelo en el que la prevalencia es muy muy muy alta.
+  * Un modelo en el que sabemos la prevalencia y no es extrema
+==== Ejercicio 2.A ====
+Estamos hacienda una IA de video vigilancia para venderla a empresas o gobiernos. La IA hará fotos de caras e indicará la raza de la persona (Para que sea un problema de clasificación binaria vamos a suponer que solo hay 2 razas: caucásicos y el resto).
+Indica en los siguientes supuestos que métrica/s usarías.
+  * Cuando le enseñas la IA a tu jefe.
+  * Cuando enseñas el modelo a un grupo de inversores.
+  * Cuando enseñas el modelo para venderlo en España.
+  * Cuando enseñas el modelo para venderlo en el Reino Unido.
+  * Cuando enseñas el modelo para venderlo en Londres
+  * Cuando enseñas el modelo para venderlo en EEUU.
+  * Cuando enseñas el modelo para venderlo en Nueva Orleans
+  * Cuando enseñas el modelo para venderlo en Sudan del Sur.
+==== Ejercicio 2.B ====
+Suponiendo que la IA tiene:
+  * Sensibilidad: 96.8%
+  * Especificidad: 97.2%
+Haz lo siguiente:
+  * Busca el porcentaje de caucásicos en las zonas anteriores
+  * Elije las mejores métricas en cada caso
+  * Calcula es valor de dichas métricas.
+<note>
+Datos de población caucásica por países:
+<nodisp 2>
+  * España: 75%
+  * Reino Unido: 86%
+  * Londres: 53%
+  * EEUU: 57%
+  * Nueva Orleans: 31%
+  * Sudan del Sur: 0.6%
+</nodisp>
+</note>
+==== Ejercicio 3 ====
+Estamos hacienda una IA que hace fotos al sol y predecirá con 2 horas de antelación cuando va a haber una super fulguración solar que afecte a la tierra.
+Indica en los siguientes supuestos que métrica/s usarías.
+  * Cuando le enseñas la IA a tu jefe.
+  * Cuando enseñas el modelo a un grupo de inversores.
+  * Cuando enseñas el modelo para venderlo en España.
+  * Cuando enseñas el modelo para venderlo en el Reino Unido.
+  * Cuando enseñas el modelo para venderlo en Londres
+  * Cuando enseñas el modelo para venderlo en EEUU.
+  * Cuando enseñas el modelo para venderlo en Nueva Orleans
+  * Cuando enseñas el modelo para venderlo en Sudan del Sur.
+==== Ejercicio 4.A ====
+Estamos hacienda una IA que hace fotos a un bebe recien nacido y detecta si al bebe tiene Sindrome de Dawn
+Indica en los siguientes supuestos que métrica/s usarías.
+  * Cuando le enseñas la IA a tu jefe.
+  * Cuando enseñas el modelo a un grupo de inversores.
+  * Cuando enseñas el modelo para venderlo en España.
+  * Cuando enseñas el modelo para venderlo en el Reino Unido.
+  * Cuando enseñas el modelo para venderlo en Londres
+  * Cuando enseñas el modelo para venderlo en EEUU.
+  * Cuando enseñas el modelo para venderlo en Nueva Orleans
+  * Cuando enseñas el modelo para venderlo en Sudan del Sur.
+==== Ejercicio 4.B ====
+¿De que depende en este caso realmente la prevalencia?
+==== Ejercicio 5 ====
+Dado los siguientes problemas de Kaggle:
+  * **Problema A**:[[https://www.kaggle.com/datasets/arashnic/hr-analytics-job-change-of-data-scientists|HR Analytics: Job Change of Data Scientists]]: Al contratar a alguien , averiguar si es persona va a buscar rápidamente cambiar de trabajo.
+  * **Problema B**:[[https://www.kaggle.com/datasets/adityakadiwal/water-potability/code|Water Quality]]: Averiguar si es base a cierto parámetros del agua , ésta es potable.
+  * **Problema C**:[[https://www.kaggle.com/datasets/hopesb/student-depression-dataset/data|Student Depression Dataset.]]: Predecir si un estudiante va a tener depresión.
+Responde a las siguientes cuestiones
+  * Indica la prevalencia del problema:
+    * Si no se sabe porque depende de donde se vaya a usar.
+    * Si es la de los datos
+    * Si es otro valor conocido. En ese caso di cual.
+  * En base a la prevalencia indica la métrica de rendimiento global más adecuada.
+Usando la métrica que has seleccionado, muestra para cada problema una gráfica en la que se muestre esa métrica en función del umbral (threshold). Y elige el umbral más adecuado.

logongas

Herramientas de usuario

Herramientas del sitio

Diferencias

Herramientas de la página