Muestra las diferencias entre dos versiones de la página.
Ambos lados, revisión anterior Revisión previa Próxima revisión | Revisión previa Próxima revisión Ambos lados, revisión siguiente | ||
clase:iabd:pia:2eval:tema08.intervalo_confianza [2023/12/26 18:42] admin [Estadística bayesiana y precision] |
clase:iabd:pia:2eval:tema08.intervalo_confianza [2024/05/09 12:55] admin |
||
---|---|---|---|
Línea 1: | Línea 1: | ||
====== 8. Optimización de redes neuronales b) Evaluación de Modelos ====== | ====== 8. Optimización de redes neuronales b) Evaluación de Modelos ====== | ||
+ | Cuando calculamos una métrica realmente no tenemos el valor real de la métrica sino un valor (llamado estimador) que nos ayuda para saber el verdadero valor de la métrica. | ||
- | ===== Intervalos | + | El valor real de la métrica no lo podemos obtener pero si al menos in intervalo en el que es probable que esté ese valor real. A ese intervalo se le llama el intervalo |
- | * Teoria | + | En este prospecto médico para un test de COVID se muestran los intervalos |
- | * [[https:// | + | |
- | * [[https:// | + | |
- | * {{ : | + | |
- | * {{ :clase: | + | |
- | * {{ : | + | |
- | * {{ : | + | |
- | * {{ : | + | |
- | * Herramientas: | + | |
- | * [[https:// | + | |
- | * [[https:// | + | |
- | * Código Python | + | |
- | * [[https:// | + | |
- | * [[https:// | + | |
- | + | Los datos que se muestran son los siguientes: | |
- | ===== Calculo de errores ===== | + | |
- | * {{ : | + | |
- | * {{ : | + | |
- | + | ||
- | ===== Covid ===== | + | |
- | + | ||
- | * {{ : | + | |
- | + | ||
- | ===== Estadística bayesiana y precision ===== | + | |
- | * {{{{ : | + | |
- | * {{ : | + | |
- | * {{ : | + | |
- | * {{ : | + | |
- | * {{ : | + | |
- | * Prevalencia | + | |
- | * {{ : | + | |
- | * {{ : | + | |
- | + | ||
- | + | ||
- | ===== Probabilidad del resultado de la red ===== | + | |
- | * {{ : | + | |
- | * {{ : | + | |
- | * [[https:// | + | |
- | + | ||
- | * {{ : | + | |
- | * {{ : | + | |
- | * [[https:// | + | |
- | * scikit-learn | + | |
- | * [[https:// | + | |
- | * [[https:// | + | |
- | * [[https:// | + | |
- | * Regresión logística isotónica | + | |
- | * Calibración de Platt | + | |
- | * | + | |
- | + | ||
- | + | ||
- | + | ||
- | ===== PyMC3 ===== | + | |
- | * {{ : | + | |
- | + | ||
- | + | ||
- | ===== Probabilidad condicional y métricas ===== | + | |
$$ | $$ | ||
\begin{array} | \begin{array} | ||
\\ | \\ | ||
- | PP&=&TP+FP | + | E&=&115&=&Nº \; de \; enfermos |
\\ | \\ | ||
- | PN&=&FN+TN | + | S&=&311&=&Nº \; de \; sanos |
\\ | \\ | ||
- | P&=&TP+FN | + | TP&=&111&=&Nº \; predichos |
\\ | \\ | ||
- | N&=&FP+TN | + | TN&=&310&=&Nº \; predichos |
- | \\ | + | |
- | T& | + | |
\end{array} | \end{array} | ||
$$ | $$ | ||
Línea 81: | Línea 25: | ||
\begin{array} | \begin{array} | ||
\\ | \\ | ||
- | P(Enfermo|Test \; positivo)& | + | Sensibilidad& |
\\ | \\ | ||
- | P(Sano|Test \; positivo)& | + | Especificidad& |
- | \\ | + | |
- | P(Enfermo|Test \; negativo)& | + | |
- | \\ | + | |
- | P(Sano|Test \; negativo)& | + | |
\end{array} | \end{array} | ||
$$ | $$ | ||
- | $$ | + | La sensibilidad real y la especificidad real no la conocemos ya que con otros paciente habría dado unos resultados distintos, por ello se calcula el intervalo de confianza que nos dice que ese intervalo con un 95% de probabilidad tendrá dentro el valor buscado. |
- | \begin{array} | + | |
- | \\ | + | Siguiendo con el test de covid los intervalos de confianza mostrados son: |
- | P(Test \; positivo|Enfermo)& | + | |
- | \\ | + | |
- | P(Test \; positivo|Sano)& | + | |
- | \\ | + | |
- | P(Test \; negativo|Enfermo)& | + | |
- | \\ | + | |
- | P(Test \; negativo|Sano)& | + | |
- | \end{array} | + | |
- | $$ | + | |
$$ | $$ | ||
- | |||
\begin{array} | \begin{array} | ||
\\ | \\ | ||
- | P(Enfermo)&=&\frac{TP+FN}{TP+FN+FP+TN}& | + | Sensibilidad&=&[91, |
\\ | \\ | ||
- | P(Sano)&=&\frac{FP+TN}{TP+FN+FP+TN}& | + | Especificidad&=&[98, |
- | \\ | + | |
- | P(Test \; positivo)& | + | |
- | \\ | + | |
- | P(Test \; negativo)& | + | |
\end{array} | \end{array} | ||
$$ | $$ | ||
- | |||
- | * ¿cuanto es la prevalencia que se usa en la $precision$? | ||
- | |||
- | Usando el teorema de bayes: | ||
- | $$P(H|E)=\frac{P(E|H)*P(H)}{P(E)} = \frac{P(E|H)*P(H)}{P(E|H)*P(H)+P(E|\overline{H})*P(\overline{H})}$$ | ||
- | |||
- | $$P(Enfermo|Test \; positivo)=\frac{P(Test \; positivo|Enfermo)*P(Enfermo)}{P(Test \; positivo|Enfermo)*P(Enfermo)+P(Test \; positivo|Sano)*P(Sano)} | ||
- | $$P(Enfermo|Test \; positivo)=\frac{P(Test \; positivo|Enfermo)*P(Enfermo)}{P(Test \; positivo|Enfermo)*P(Enfermo)+P(Test \; positivo|Sano)*(1-P(Enfermo))} | ||
- | $$precision=\frac{sensibilidad*prevalencia}{sensibilidad*prevalencia+False\ positive\ rate*(1-prevalencia)} | ||
- | $$precision=\frac{sensibilidad*prevalencia}{sensibilidad*prevalencia+(1-especifidad)*(1-prevalencia)} | ||
- | $$\frac{TP}{TP+FP}=\frac{\frac{TP}{TP+FN}*prevalencia}{\frac{TP}{TP+FN}*prevalencia+(1-\frac{TN}{TN+FP})*(1-prevalencia)}$$ | ||
- | |||
- | Y depejando se obtiene: | ||
- | |||
- | $$prevalencia=\frac{TP+FN}{TP+FN+FP+TN}=\frac{P}{P+N}=\frac{P}{T}$$ | ||
- | |||
- | |||
- | ==== Probabilidad ==== | ||
- | Para eventos independientes | ||
- | |||
- | $$P(A \cup B)=P(A)+P(B)−P(A)⋅P(B)$$ | ||
- | $$P(A \cap B) = P(A) \cdot P(B)$$ | ||