logongas

Herramientas de usuario

Herramientas del sitio

Traza:
clase:iabd:pia:2eval:tema08.intervalo_confianza

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anterior Revisión previa
Próxima revisión 		Revisión previa
Próxima revisión Ambos lados, revisión siguiente
clase:iabd:pia:2eval:tema08.intervalo_confianza [2023/12/21 21:49]
admin [Estadística bayesiana y precision] 		clase:iabd:pia:2eval:tema08.intervalo_confianza [2024/05/09 12:55]
admin
Línea 1: Línea 1:
 ====== 8. Optimización de redes neuronales b) Evaluación de Modelos ====== ====== 8. Optimización de redes neuronales b) Evaluación de Modelos ======
 +Cuando calculamos una métrica realmente no tenemos el valor real de la métrica sino un valor (llamado estimador) que nos ayuda para saber el verdadero valor de la métrica.
  
  
-===== Intervalos de confianza =====+El valor real de la métrica no lo podemos obtener pero si al menos in intervalo en el que es probable que esté ese valor real. A ese intervalo se le llama el intervalo de confianza.
  
-  * Teoria +En este prospecto médico para un test de COVID se muestran los intervalos de confianza la para la sensibilidad y la especificidad: {{ :clase:iabd:pia:2eval:sars-cov-2_rapid_antigen_test_es.pdf |}}.
-    * [[https://sebastianraschka.com/blog/2022/confidence-intervals-for-ml.html|Creating Confidence Intervals for Machine Learning Classifiers]] +
-    * [[https://hmong.es/wiki/Wilson_score_interval|Intervalo de confianza de la proporción binomial]] +
-    * {{ :clase:iabd:pia:2eval:intervalos_de_confianza_para_las_estimaciones_de_proporciones_y_las_diferencias_entre_ellas.pdf |Intervalos de confianza para las estimaciones de proporciones y las diferencias entre ellas}} +
-    * {{ :clase:iabd:pia:2eval:capitulo_5.inferencia_estadistica_ii_estimacion_por_intervalo_de_confianza.pdf |Capitulo 5.Inferencia Estadística II: Estimación por Intervalo de Confianza}} +
-    * {{ :clase:iabd:pia:2eval:intervalos_de_confianza_e_intervalos_de_credibilidad_para_una_proporcion.pdf |Intervalos de confianza e intervalos de credibilidad para una proporción}} +
-    * {{ :clase:iabd:pia:2eval:bioestadistica_para_no_estadisticos.08_intervalos_de_confianza.pdf |Bioestadistica para no estadisticos. Intervalos de confianza}} +
-    * {{ :clase:iabd:pia:2eval:understanding_and_interpreting_confidence_and_credible_intervals_around_effect_estimates.pdf |Understanding and interpreting confidence and credible intervals around effect estimates}} +
-  * Herramientas: +
-    * [[https://www.causascientia.org/math_stat/ProportionCI.html|Exact Confidence Interval for a Proportion]]:Herramienta online para calcular intervalos de confianza con el teorema de bayes +
-    * [[https://epitools.ausvet.com.au/ciproportion|Límites de confianza para una proporción]]: Herramienta online para calcular intervalos de confianza. +
-  * Código Python +
-    * [[https://www.statsmodels.org/v0.12.2/generated/statsmodels.stats.proportion.proportion_confint.html|statsmodels.stats.proportion.proportion_confint]]: Calculo en Pyhton de intervalos de confianza. +
-    * [[https://akshay-a.medium.com/confidence-interval-for-population-proportion-basic-understanding-in-python-56b8cc5f8320|Confidence Interval for Population Proportion basic understanding in python]]+
  
- +Los datos que se muestran son los siguientes:
-===== Calculo de errores ===== +
-  * {{ :clase:iabd:pia:2eval:propagacion_de_errores.pdf |Propagación de errores}} +
-  * {{ :clase:iabd:pia:2eval:guia_practica_para_la_realizacion_de_la_medida_y_el_calculo_de_errores.pdf |Guía práctica para la realización de la medida y el cálculo de errores}} +
- +
-===== Covid ===== +
- +
-  * {{ :clase:iabd:pia:2eval:sars-cov-2_rapid_antigen_test_es.pdf |}}: Prospecto de un test de COVID para ver las métricas y los intervalos de confianza +
- +
-===== Estadística bayesiana y precision ===== +
-  * {{{{ :clase:iabd:pia:2eval:las_pruebas_pcr_con_elevada_sensibilidad_y_especificidad_en_condiciones_de_alta_prevalencia_o_bajo_prescripcion_medica_son_fiables.pdf |Las pruebas PCR con elevada sensibilidad y especificidad, en condiciones de alta prevalencia o bajo prescripción médica, son fiables}} +
-  * {{ :clase:iabd:pia:2eval:6-ayuda_pruebas_diagnsticas.pdf |Pruebas diagnosticas}}: Explicación desde el punto de vista médico de Bayes con la especificidad y sensibilidad +
-  * {{ :clase:iabd:pia:2eval:falsos_negativos_en_tests_de_covid-19.pdf |Falsos negativos en tests de COVID-19}} +
-  * {{ :clase:iabd:pia:2eval:commentary_sensitivity_specificity_and_predictive_values_foundations_pliabilities_and_pitfalls_in_research_and_practice.pdf |Commentary: Sensitivity, Specificity,and Predictive Values: Foundations,Pliabilities, and Pitfalls in Research and Practice}} +
-  * Prevalencia +
-    * {{ :clase:iabd:pia:2eval:riesgo_de_contagio_por_covid-19_en_funcion_del_tipo_de_contacto_y_de_la_renta_familiar.pdf |Riesgo de contagio por COVID-19 en función del tipo de contacto y de la renta familiar}} +
-    * {{ :clase:iabd:pia:2eval:prevalencia_de_infeccion_por_coronavirus_sars-cov-2_en_pacientes_y_profesionales_de_un_hospital_de_media_y_larga_estancia_en_espana.pdf |Prevalencia de infección por coronavirus SARS-CoV-2 en pacientes y profesionales de un hospital de media y larga estancia en España}} +
- +
- +
-===== Probabilidad del resultado de la red ===== +
-  * {{ :clase:iabd:pia:2eval:introduction_to_uncertainty_in_deep_learning.pdf |Introduction to Uncertainty in Deep Learning}} +
-  * {{ :clase:iabd:pia:2eval:calibrar_modelos_de_machine_learning.pdf |Calibrar modelos de machine learning}} +
- +
-  * {{ :clase:iabd:pia:2eval:predicting_good_probabilities_with_supervised_learning.pdf |Predicting Good Probabilities With Supervised Learning}} +
-  * {{ :clase:iabd:pia:2eval:neural_network_prediction_scores_are_not_probabilities.pdf |Neural Network Prediction Scores are not Probabilities}} +
-  * [[https://machinelearningmastery.com/calibrated-classification-model-in-scikit-learn/|How and When to Use a Calibrated Classification Model with scikit-learn]] +
-  * scikit-learn +
-    * [[https://scikit-learn.org/stable/auto_examples/calibration/plot_calibration_curve.html|Probability Calibration curves]] +
-    * [[https://scikit-learn.org/stable/modules/generated/sklearn.calibration.calibration_curve.html|sklearn.calibration.calibration_curve]] +
-    * [[https://scikit-learn.org/stable/modules/generated/sklearn.calibration.CalibratedClassifierCV.html|sklearn.calibration.CalibratedClassifierCV]] +
-  * Regresión logística isotónica +
-  * Calibración de Platt +
-  *  +
- +
- +
- +
-===== PyMC3 ===== +
-  * {{ :clase:iabd:pia:2eval:bayesian_linear_regression_in_python_using_machine_learning_to_predict_student_grades_part_2.pdf |Bayesian Linear Regression in Python: Using Machine Learning to Predict Student Grades Part 2}} +
- +
- +
-===== Probabilidad condicional y métricas =====+
  
 $$ $$
 \begin{array} \begin{array}
 \\ \\
-PP&=&TP+FP  &=& \text{predichos  positivos}+E&=&115&=&Nº \; de \; enfermos
 \\ \\
-PN&=&FN+TN  &=& \text{predichos  negativos}+S&=&311&=&Nº \; de \; sanos
 \\ \\
-P&=&TP+FN  &=&\text{realmente enfermos}+TP&=&111&=&Nº \; predichos \; positivos
 \\ \\
-N&=&FP+TN  &=& \text{realmente sanos} +TN&=&310&=&Nº \; predichos \; negativos
-\\ +
-T&=&TP+FP+FN+TN&=& \text{Todos}+
 \end{array} \end{array}
 $$ $$
Línea 79: Línea 25:
 \begin{array} \begin{array}
 \\ \\
-P(Enfermo|Test \; positivo)&=&\frac{TP}{TP+FP}&=&\frac{TP}{PP}&=&Precisión&&+Sensibilidad&=&\frac{111}{115}&=&0,9652&=&96,52\%
 \\ \\
-P(Sano|Test \; positivo)&=&\frac{FP}{TP+FP}&=&\frac{FP}{PP}&=&False \; discovery \; rate \; (FDR)&=&1-Precisión +Especificidad&=&\frac{310}{311}&=&0,9968&=&99,68\%
-\\ +
-P(Enfermo|Test \; negativo)&=&\frac{FN}{FN+TN}&=&\frac{FP}{PN}&=&False \; omission \; rate \; (FOR)&=&1-NPV +
-\\ +
-P(Sano|Test \; negativo)&=&\frac{TN}{FN+TN}&=&\frac{TN}{PN}&=&Negative \; predictive \; value \; (NPV)&&+
 \end{array} \end{array}
 $$ $$
  
-$$ +La sensibilidad real y la especificidad real no la conocemos ya que con otros paciente habría dado unos resultados distintos, por ello se calcula el intervalo de confianza que nos dice que ese intervalo con un 95% de probabilidad tendrá dentro el valor buscado. 
-\begin{array} + 
-\\ +Siguiendo con el test de covid los intervalos de confianza mostrados son:
-P(Test \; positivo|Enfermo)&=&\frac{TP}{TP+FN}&=&\frac{TP}{P}&=&Sensibilidad&& +
-\\ +
-P(Test \; positivo|Sano)&=&\frac{FP}{FP+TN}&=&\frac{FP}{N}&=&False \; positive \; rate \; (FPR)&=&1-Especificidad +
-\\ +
-P(Test \; negativo|Enfermo)&=&\frac{FN}{TP+FN}&=&\frac{FN}{P}&=&False \; negative \; rate \; (FNR)&=&1-Sensibilidad +
-\\ +
-P(Test \; negativo|Sano)&=&\frac{TN}{FP+TN}&=&\frac{TN}{N}&=&Especificidad&& +
-\end{array} +
-$$+
  
 $$ $$
- 
 \begin{array} \begin{array}
 \\ \\
-P(Enfermo)&=&\frac{TP+FN}{TP+FN+FP+TN}&=&\frac{P}{T}&=&Prevalencia+Sensibilidad&=&[91,33‑99,04]
 \\ \\
-P(Sano)&=&\frac{FP+TN}{TP+FN+FP+TN}&=&\frac{N}{T} +Especificidad&=&[98,22‑99,99]
-\\ +
-P(Test \; positivo)&=&\frac{TP+FP}{TP+FN+FP+TN}&=&\frac{PP}{T} +
-\\ +
-P(Test \; negativo)&=&\frac{FN+TN}{TP+FN+FP+TN}&=&\frac{PN}{T}+
 \end{array} \end{array}
 $$ $$
  
  
- 
-  * ¿cuanto es la prevalencia que se usa en la $precision$? 
- 
-Usando el teorema de bayes: 
-$$P(H|E)=\frac{P(E|H)*P(H)}{P(E)} = \frac{P(E|H)*P(H)}{P(E|H)*P(H)+P(E|\overline{H})*P(\overline{H})}$$ 
- 
-$$P(Enfermo|Test \; positivo)=\frac{P(Test \; positivo|Enfermo)*P(Enfermo)}{P(Test \; positivo|Enfermo)*P(Enfermo)+P(Test \; positivo|Sano)*P(Sano)}  $$ 
-$$P(Enfermo|Test \; positivo)=\frac{P(Test \; positivo|Enfermo)*P(Enfermo)}{P(Test \; positivo|Enfermo)*P(Enfermo)+P(Test \; positivo|Sano)*(1-P(Enfermo))}  $$ 
-$$precision=\frac{sensibilidad*prevalencia}{sensibilidad*prevalencia+False\ positive\ rate*(1-prevalencia)}  $$ 
-$$precision=\frac{sensibilidad*prevalencia}{sensibilidad*prevalencia+(1-especifidad)*(1-prevalencia)}  $$ 
-$$\frac{TP}{TP+FP}=\frac{\frac{TP}{TP+FN}*prevalencia}{\frac{TP}{TP+FN}*prevalencia+(1-\frac{TN}{TN+FP})*(1-prevalencia)}$$ 
- 
-Y depejando se obtiene: 
- 
-$$prevalencia=\frac{TP+FN}{TP+FN+FP+TN}=\frac{P}{P+N}=\frac{P}{T}$$ 
- 
- 
-==== Probabilidad ==== 
-Para eventos independientes 
- 
-$$P(A \cup B)=P(A)+P(B)−P(A)⋅P(B)$$ 
-$$P(A \cap B) = P(A) \cdot P(B)$$ 
  
  
  
clase/iabd/pia/2eval/tema08.intervalo_confianza.txt · Última modificación: 2024/05/22 12:14 por admin

Herramientas de la página

Excepto donde se indique lo contrario, el contenido de este wiki esta bajo la siguiente licencia: GNU Free Documentation License 1.3
GNU Free Documentation License 1.3 Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki