====== 8. Optimización de redes neuronales b) Evaluación de Modelos ====== ===== Intervalos de confianza ===== * Teoria * [[https://sebastianraschka.com/blog/2022/confidence-intervals-for-ml.html|Creating Confidence Intervals for Machine Learning Classifiers]] * [[https://hmong.es/wiki/Wilson_score_interval|Intervalo de confianza de la proporción binomial]] * {{ :clase:iabd:pia:2eval:intervalos_de_confianza_para_las_estimaciones_de_proporciones_y_las_diferencias_entre_ellas.pdf |Intervalos de confianza para las estimaciones de proporciones y las diferencias entre ellas}} * {{ :clase:iabd:pia:2eval:capitulo_5.inferencia_estadistica_ii_estimacion_por_intervalo_de_confianza.pdf |Capitulo 5.Inferencia Estadística II: Estimación por Intervalo de Confianza}} * {{ :clase:iabd:pia:2eval:intervalos_de_confianza_e_intervalos_de_credibilidad_para_una_proporcion.pdf |Intervalos de confianza e intervalos de credibilidad para una proporción}} * {{ :clase:iabd:pia:2eval:bioestadistica_para_no_estadisticos.08_intervalos_de_confianza.pdf |Bioestadistica para no estadisticos. Intervalos de confianza}} * {{ :clase:iabd:pia:2eval:understanding_and_interpreting_confidence_and_credible_intervals_around_effect_estimates.pdf |Understanding and interpreting confidence and credible intervals around effect estimates}} * Herramientas: * [[https://www.causascientia.org/math_stat/ProportionCI.html|Exact Confidence Interval for a Proportion]]:Herramienta online para calcular intervalos de confianza con el teorema de bayes * [[https://epitools.ausvet.com.au/ciproportion|Límites de confianza para una proporción]]: Herramienta online para calcular intervalos de confianza. * Código Python * [[https://www.statsmodels.org/v0.12.2/generated/statsmodels.stats.proportion.proportion_confint.html|statsmodels.stats.proportion.proportion_confint]]: Calculo en Pyhton de intervalos de confianza. * [[https://akshay-a.medium.com/confidence-interval-for-population-proportion-basic-understanding-in-python-56b8cc5f8320|Confidence Interval for Population Proportion basic understanding in python]] ===== Covid ===== * {{ :clase:iabd:pia:2eval:sars-cov-2_rapid_antigen_test_es.pdf |}}: Prospecto de un test de COVID para ver las métricas y los intervalos de confianza ===== Estadística bayesiana y precision ===== * {{{{ :clase:iabd:pia:2eval:las_pruebas_pcr_con_elevada_sensibilidad_y_especificidad_en_condiciones_de_alta_prevalencia_o_bajo_prescripcion_medica_son_fiables.pdf |Las pruebas PCR con elevada sensibilidad y especificidad, en condiciones de alta prevalencia o bajo prescripción médica, son fiables}} * {{ :clase:iabd:pia:2eval:6-ayuda_pruebas_diagnsticas.pdf |Pruebas diagnosticas}}: Explicación desde el punto de vista médico de Bayes con la especificidad y sensibilidad * {{ :clase:iabd:pia:2eval:falsos_negativos_en_tests_de_covid-19.pdf |Falsos negativos en tests de COVID-19}} * {{ :clase:iabd:pia:2eval:commentary_sensitivity_specificity_and_predictive_values_foundations_pliabilities_and_pitfalls_in_research_and_practice.pdf |Commentary: Sensitivity, Specificity,and Predictive Values: Foundations,Pliabilities, and Pitfalls in Research and Practice}} * {{ :clase:iabd:pia:2eval:comentario_sensibilidad_especificidad_y_valores_predictivos_fundamentos_flexibilidades_y_dificultades_en_la_investigacion_y_la_practica.pdf |Comentario: Sensibilidad, especificidad y valores predictivos: fundamentos,flexibilidades y dificultades en la investigación y la práctica}}: El documento anterior pero traducido al castellano. * Prevalencia * {{ :clase:iabd:pia:2eval:riesgo_de_contagio_por_covid-19_en_funcion_del_tipo_de_contacto_y_de_la_renta_familiar.pdf |Riesgo de contagio por COVID-19 en función del tipo de contacto y de la renta familiar}} * {{ :clase:iabd:pia:2eval:prevalencia_de_infeccion_por_coronavirus_sars-cov-2_en_pacientes_y_profesionales_de_un_hospital_de_media_y_larga_estancia_en_espana.pdf |Prevalencia de infección por coronavirus SARS-CoV-2 en pacientes y profesionales de un hospital de media y larga estancia en España}} ===== Probabilidad del resultado de la red ===== * {{ :clase:iabd:pia:2eval:introduction_to_uncertainty_in_deep_learning.pdf |Introduction to Uncertainty in Deep Learning}} * {{ :clase:iabd:pia:2eval:calibrar_modelos_de_machine_learning.pdf |Calibrar modelos de machine learning}} * [[https://wttech.blog/blog/2021/a-guide-to-model-calibration/|A guide to model calibration]] * {{ :clase:iabd:pia:2eval:predicting_good_probabilities_with_supervised_learning.pdf |Predicting Good Probabilities With Supervised Learning}} * {{ :clase:iabd:pia:2eval:neural_network_prediction_scores_are_not_probabilities.pdf |Neural Network Prediction Scores are not Probabilities}} * [[https://machinelearningmastery.com/calibrated-classification-model-in-scikit-learn/|How and When to Use a Calibrated Classification Model with scikit-learn]] * scikit-learn * [[https://scikit-learn.org/stable/auto_examples/calibration/plot_calibration_curve.html|Probability Calibration curves]] * [[https://scikit-learn.org/stable/modules/generated/sklearn.calibration.calibration_curve.html|sklearn.calibration.calibration_curve]] * [[https://scikit-learn.org/stable/modules/generated/sklearn.calibration.CalibratedClassifierCV.html|sklearn.calibration.CalibratedClassifierCV]] * Regresión logística isotónica * Calibración de Platt * ===== PyMC3 ===== * {{ :clase:iabd:pia:2eval:bayesian_linear_regression_in_python_using_machine_learning_to_predict_student_grades_part_2.pdf |Bayesian Linear Regression in Python: Using Machine Learning to Predict Student Grades Part 2}} ===== Probabilidad condicional y métricas ===== $$ \begin{array} \\ PP&=&TP+FP &=& \text{predichos positivos} \\ PN&=&FN+TN &=& \text{predichos negativos} \\ P&=&TP+FN &=&\text{realmente enfermos} \\ N&=&FP+TN &=& \text{realmente sanos} \\ T&=&TP+FP+FN+TN&=& \text{Todos} \end{array} $$ $$ \begin{array} \\ P(Enfermo|Test \; positivo)&=&\frac{TP}{TP+FP}&=&\frac{TP}{PP}&=&Positive \; predictive \; value \; (PPV)&=&Precisión& \\ P(Sano|Test \; negativo)&=&\frac{TN}{FN+TN}&=&\frac{TN}{PN}&=&Negative \; predictive \; value \; (NPV)&& \\ P(Enfermo|Test \; negativo)&=&\frac{FN}{FN+TN}&=&\frac{FP}{PN}&=&False \; omission \; rate \; (FOR)&=&1-NPV \\ P(Sano|Test \; positivo)&=&\frac{FP}{TP+FP}&=&\frac{FP}{PP}&=&False \; discovery \; rate \; (FDR)&=&1-Precisión \end{array} $$ $$ \begin{array} \\ P(Test \; positivo|Enfermo)&=&\frac{TP}{TP+FN}&=&\frac{TP}{P}&=&Sensibilidad&& \\ P(Test \; positivo|Sano)&=&\frac{FP}{FP+TN}&=&\frac{FP}{N}&=&False \; positive \; rate \; (FPR)&=&1-Especificidad \\ P(Test \; negativo|Enfermo)&=&\frac{FN}{TP+FN}&=&\frac{FN}{P}&=&False \; negative \; rate \; (FNR)&=&1-Sensibilidad \\ P(Test \; negativo|Sano)&=&\frac{TN}{FP+TN}&=&\frac{TN}{N}&=&Especificidad&& \end{array} $$ $$ \begin{array} \\ P(Enfermo)&=&\frac{TP+FN}{TP+FN+FP+TN}&=&\frac{P}{T}&=&Prevalencia \\ P(Sano)&=&\frac{FP+TN}{TP+FN+FP+TN}&=&\frac{N}{T} \\ P(Test \; positivo)&=&\frac{TP+FP}{TP+FN+FP+TN}&=&\frac{PP}{T} \\ P(Test \; negativo)&=&\frac{FN+TN}{TP+FN+FP+TN}&=&\frac{PN}{T} \end{array} $$ * ¿cuanto es la prevalencia que se usa en la $precision$? Usando el teorema de bayes: $$P(H|E)=\frac{P(E|H)*P(H)}{P(E)} = \frac{P(E|H)*P(H)}{P(E|H)*P(H)+P(E|\overline{H})*P(\overline{H})}$$ $$P(Enfermo|Test \; positivo)=\frac{P(Test \; positivo|Enfermo)*P(Enfermo)}{P(Test \; positivo|Enfermo)*P(Enfermo)+P(Test \; positivo|Sano)*P(Sano)} $$ $$P(Enfermo|Test \; positivo)=\frac{P(Test \; positivo|Enfermo)*P(Enfermo)}{P(Test \; positivo|Enfermo)*P(Enfermo)+P(Test \; positivo|Sano)*(1-P(Enfermo))} $$ $$precision=\frac{sensibilidad*prevalencia}{sensibilidad*prevalencia+False\ positive\ rate*(1-prevalencia)} $$ $$precision=\frac{sensibilidad*prevalencia}{sensibilidad*prevalencia+(1-especifidad)*(1-prevalencia)} $$ $$\frac{TP}{TP+FP}=\frac{\frac{TP}{TP+FN}*prevalencia}{\frac{TP}{TP+FN}*prevalencia+(1-\frac{TN}{TN+FP})*(1-prevalencia)}$$ Y depejando se obtiene: $$prevalencia=\frac{TP+FN}{TP+FN+FP+TN}=\frac{P}{P+N}=\frac{P}{T}$$ ==== Probabilidad ==== Para eventos independientes $$P(A \cup B)=P(A)+P(B)−P(A)⋅P(B)$$ $$P(A \cap B) = P(A) \cdot P(B)$$ ==== Otros ==== Tipos de estudios médicos: * Estudio transversal: Busca obtener la prevalencia en un momento específico. * Estudio caso-control: Busca obtener una relación entre la enfermedad y otro factor. [[https://en.wikipedia.org/wiki/Pre-_and_post-test_probability|Pre- and post-test probability]]