Diferencias

Muestra las diferencias entre dos versiones de la página.

--- clase:iabd:pia:2eval:tema08.intervalo_confianza [2024/05/22 11:48]
admin [Comparación de métricas]
+++ clase:iabd:pia:2eval:tema08.intervalo_confianza [2025/03/03 11:45] (actual)
admin [Ejercicios]
@@ Línea 1: / Línea 1: @@
-====== 8. Optimización de redes neuronales b) Evaluación de Modelos ======
+====== 8.e Intervalos de confianza ======
 Cuando calculamos una métrica realmente no tenemos el valor real de la métrica sino un valor (llamado estimador) que nos ayuda para saber el verdadero valor de la métrica.
@@ Línea 106: / Línea 106: @@
 ¿Porque Jeffreys? Porque es el que usa estadística bayesiana para calcular el intervalo de confianza. Así que realmente no es un intervalo de confianza sino un intervalo de credibilidad. ¿cual es la diferencia? Vamos a explicarlo con el ejemplo que estamos usando:
   * **Intervalo de confianza**  de ''Clopper-Pearson'' de ''[0.9133, 0.9904]'' significa que hay un 95% de probabilidad de que ese intervalo contenga al valor real que estamos buscando.
-  * **Intervalo de credibilidad**  de ''Jeffreys'' de ''[0.9194, 0.9881]'' significa que hay un 95% de probabilidad de que el valor real que estamos buscando esté en ese intervalo.
+  * **Intervalo de credibilidad**  de ''Jeffreys'' de ''[0.9194, 0.9881]'' significa que hay un 95% de probabilidad de que el valor real que estamos buscando esté en ese intervalo. Es decir, que el valor real es una variable aleatorio y cada valor posible tiene una probabilidad. Y el intervalo de credibilidad es el conjunto de valores reales cuya probabilidad es el 95%.
 En el siguiente código se puede ver como da el mismo resultado usando ''proportion_confint(method="jeffreys")'' que calculándolo mediante el teorema de bayes y usando como prior una  $Beta(0.5,0.5)$ . Y por lo tanto ''Jeffreys'' es un **Intervalo de credibilidad** ya que es lo que se calcula en la estadística bayesiana.
@@ Línea 316: / Línea 316: @@
 </sxh>
-Lo primero es que hemos creado la función ''get_interval'' que nos retorna el intervalo de credibilidad (en este caso el Highest Density Interval  o HDI). Calculamos ambos intervalos y los mostramos:
+Lo primero es que hemos creado la función ''get_interval'' que nos retorna el [[https://easystats.github.io/bayestestR/articles/credible_interval.html|intervalo de credibilidad]] (en este caso el Highest Density Interval  o HDI ). Calculamos ambos intervalos y los mostramos:
 <sxh python>
@@ Línea 357: / Línea 357: @@
 **Si el intervalo incluye al cero es que tienen la misma métrica.** Y en el ejemplo como el intervalo contiene el cero es que tienen la misma métrica.
+Veamos ahora otro ejemplo:
+<sxh python>
+TP1=131
+FN1=16
+TP2=116
+FN2=31
+interval1=get_interval(TP1,TP1+FN1)
+interval2=get_interval(TP2,TP2+FN2)
+figure=plt.figure(figsize=(5.5, 3))
+axes = figure.add_subplot()
+intervalos=[
+    interval1,
+    interval2
+]
+ylabels=['Modelo 1', 'Modelo 2']
+plot_intervals_with_guides(axes,intervalos,"Comparación de modelos","Sensibilidad",ylabels)
+</sxh>
+{{:clase:iabd:pia:2eval:comparacion_2_metricas_b.png?direct|}}
+<sxh python>
+print(get_hdi_compare(TP1,TP1+FN1,TP2,TP2+FN2))
+</sxh>
+<sxh base>
+[0.018992455698845223, 0.18505496723415582]
+</sxh>
+Por lo que en este caso se solapan pero no tiene la misma métrica.
+De todas en este caso, el intervalo está rozando el cero, hay un concepto llamado [[https://easystats.github.io/bayestestR/articles/region_of_practical_equivalence.html|Region of Practical Equivalence (ROPE)]] que dice que aunque no esté el cero en el intervalo, nos vale una región cercana al cero ya que de forma práctica es como si fuera el cero.
+Mas información:
+  * {{ :clase:iabd:pia:2eval:a_bayesian_interpretation_of_the_confusion_matrix.pdf |A bayesian interpretation of the confusion matrix}}
+  * {{ :clase:iabd:pia:2eval:classifier_uncertainty.evidence_potential_impact_and_probabilistic_treatment.pdf |Classifier uncertainty:evidence, potential impact and probabilistic treatment}}
+  * {{ :clase:iabd:pia:2eval:the_balanced_accuracy_and_its_posterior_distribution.pdf |The balanced accuracy and its posterior distribution}}
+  * [[https://doingbayesiandataanalysis.blogspot.com/2018/05/just-published-rejecting-or-accepting.html|Just published: "Rejecting or Accepting Parameter Values in Bayesian Estimation"]]
+  * [[https://doingbayesiandataanalysis.blogspot.com/2013/08/how-much-of-bayesian-posterior.html|How much of a Bayesian posterior distribution falls inside a region of practical equivalence (ROPE)]]
 ===== Ejercicios =====
@@ Línea 398: / Línea 442: @@
 ¿Que umbral elegirías?
-<note tip>Para ahcer este típo de gráficas usa el método:
+<note tip>Para hacer este típo de gráficas usa el método:
 ''axes.fill_between(rango_threshold, rango_sensibilidad_lower, rango_sensibilidad_upper, color=color, alpha=0.5)''</note>

logongas

Herramientas de usuario

Herramientas del sitio

Diferencias

Herramientas de la página