logongas

Esta página es de solo lectura. Puedes ver la fuente pero no puedes cambiarla. Pregunta a tu administrador si crees que esto es incorrecto.
====== 8. Optimización de redes neuronales b) Evaluación de Modelos ======


===== Intervalos de confianza =====

  * Teoria
    * [[https://sebastianraschka.com/blog/2022/confidence-intervals-for-ml.html|Creating Confidence Intervals for Machine Learning Classifiers]]
    * [[https://hmong.es/wiki/Wilson_score_interval|Intervalo de confianza de la proporción binomial]]
    * {{ :clase:iabd:pia:2eval:intervalos_de_confianza_para_las_estimaciones_de_proporciones_y_las_diferencias_entre_ellas.pdf |Intervalos de confianza para las estimaciones de proporciones y las diferencias entre ellas}}
    * {{ :clase:iabd:pia:2eval:capitulo_5.inferencia_estadistica_ii_estimacion_por_intervalo_de_confianza.pdf |Capitulo 5.Inferencia Estadística II: Estimación por Intervalo de Confianza}}
    * {{ :clase:iabd:pia:2eval:intervalos_de_confianza_e_intervalos_de_credibilidad_para_una_proporcion.pdf |Intervalos de confianza e intervalos de credibilidad para una proporción}}
    * {{ :clase:iabd:pia:2eval:bioestadistica_para_no_estadisticos.08_intervalos_de_confianza.pdf |Bioestadistica para no estadisticos. Intervalos de confianza}}
    * {{ :clase:iabd:pia:2eval:understanding_and_interpreting_confidence_and_credible_intervals_around_effect_estimates.pdf |Understanding and interpreting confidence and credible intervals around effect estimates}}
  * Herramientas:
    * [[https://www.causascientia.org/math_stat/ProportionCI.html|Exact Confidence Interval for a Proportion]]:Herramienta online para calcular intervalos de confianza con el teorema de bayes
    * [[https://epitools.ausvet.com.au/ciproportion|Límites de confianza para una proporción]]: Herramienta online para calcular intervalos de confianza.
  * Código Python
    * [[https://www.statsmodels.org/v0.12.2/generated/statsmodels.stats.proportion.proportion_confint.html|statsmodels.stats.proportion.proportion_confint]]: Calculo en Pyhton de intervalos de confianza.
    * [[https://akshay-a.medium.com/confidence-interval-for-population-proportion-basic-understanding-in-python-56b8cc5f8320|Confidence Interval for Population Proportion basic understanding in python]]



===== Covid =====

  * {{ :clase:iabd:pia:2eval:sars-cov-2_rapid_antigen_test_es.pdf |}}: Prospecto de un test de COVID para ver las métricas y los intervalos de confianza

===== Estadística bayesiana y precision =====
  * {{{{ :clase:iabd:pia:2eval:las_pruebas_pcr_con_elevada_sensibilidad_y_especificidad_en_condiciones_de_alta_prevalencia_o_bajo_prescripcion_medica_son_fiables.pdf |Las pruebas PCR con elevada sensibilidad y especificidad, en condiciones de alta prevalencia o bajo prescripción médica, son fiables}}
  * {{ :clase:iabd:pia:2eval:6-ayuda_pruebas_diagnsticas.pdf |Pruebas diagnosticas}}: Explicación desde el punto de vista médico de Bayes con la especificidad y sensibilidad
  * {{ :clase:iabd:pia:2eval:falsos_negativos_en_tests_de_covid-19.pdf |Falsos negativos en tests de COVID-19}}
  * {{ :clase:iabd:pia:2eval:commentary_sensitivity_specificity_and_predictive_values_foundations_pliabilities_and_pitfalls_in_research_and_practice.pdf |Commentary: Sensitivity, Specificity,and Predictive Values: Foundations,Pliabilities, and Pitfalls in Research and Practice}}
  * {{ :clase:iabd:pia:2eval:comentario_sensibilidad_especificidad_y_valores_predictivos_fundamentos_flexibilidades_y_dificultades_en_la_investigacion_y_la_practica.pdf |Comentario: Sensibilidad, especificidad y valores predictivos: fundamentos,flexibilidades y dificultades en la investigación y la práctica}}: El documento anterior pero traducido al castellano.
  * Prevalencia
    * {{ :clase:iabd:pia:2eval:riesgo_de_contagio_por_covid-19_en_funcion_del_tipo_de_contacto_y_de_la_renta_familiar.pdf |Riesgo de contagio por COVID-19 en función del tipo de contacto y de la renta familiar}}
    * {{ :clase:iabd:pia:2eval:prevalencia_de_infeccion_por_coronavirus_sars-cov-2_en_pacientes_y_profesionales_de_un_hospital_de_media_y_larga_estancia_en_espana.pdf |Prevalencia de infección por coronavirus SARS-CoV-2 en pacientes y profesionales de un hospital de media y larga estancia en España}}


===== Probabilidad del resultado de la red =====
  * {{ :clase:iabd:pia:2eval:introduction_to_uncertainty_in_deep_learning.pdf |Introduction to Uncertainty in Deep Learning}}
  * {{ :clase:iabd:pia:2eval:calibrar_modelos_de_machine_learning.pdf |Calibrar modelos de machine learning}}
  * [[https://wttech.blog/blog/2021/a-guide-to-model-calibration/|A guide to model calibration]]

  * {{ :clase:iabd:pia:2eval:predicting_good_probabilities_with_supervised_learning.pdf |Predicting Good Probabilities With Supervised Learning}}
  * {{ :clase:iabd:pia:2eval:neural_network_prediction_scores_are_not_probabilities.pdf |Neural Network Prediction Scores are not Probabilities}}
  * [[https://machinelearningmastery.com/calibrated-classification-model-in-scikit-learn/|How and When to Use a Calibrated Classification Model with scikit-learn]]
  * scikit-learn
    * [[https://scikit-learn.org/stable/auto_examples/calibration/plot_calibration_curve.html|Probability Calibration curves]]
    * [[https://scikit-learn.org/stable/modules/generated/sklearn.calibration.calibration_curve.html|sklearn.calibration.calibration_curve]]
    * [[https://scikit-learn.org/stable/modules/generated/sklearn.calibration.CalibratedClassifierCV.html|sklearn.calibration.CalibratedClassifierCV]]
  * Regresión logística isotónica
  * Calibración de Platt
  * 



===== PyMC3 =====
  * {{ :clase:iabd:pia:2eval:bayesian_linear_regression_in_python_using_machine_learning_to_predict_student_grades_part_2.pdf |Bayesian Linear Regression in Python: Using Machine Learning to Predict Student Grades Part 2}}


===== Probabilidad condicional y métricas =====

$$
\begin{array}
\\
PP&=&TP+FP  &=& \text{predichos  positivos}
\\
PN&=&FN+TN  &=& \text{predichos  negativos}
\\
P&=&TP+FN  &=&\text{realmente enfermos}
\\
N&=&FP+TN  &=& \text{realmente sanos}
\\
T&=&TP+FP+FN+TN&=& \text{Todos}
\end{array}
$$

$$
\begin{array}
\\
P(Enfermo|Test \; positivo)&=&\frac{TP}{TP+FP}&=&\frac{TP}{PP}&=&Positive \; predictive \; value \; (PPV)&=&Precisión&
\\
P(Sano|Test \; negativo)&=&\frac{TN}{FN+TN}&=&\frac{TN}{PN}&=&Negative \; predictive \; value \; (NPV)&&
\\
P(Enfermo|Test \; negativo)&=&\frac{FN}{FN+TN}&=&\frac{FP}{PN}&=&False \; omission \; rate \; (FOR)&=&1-NPV
\\
P(Sano|Test \; positivo)&=&\frac{FP}{TP+FP}&=&\frac{FP}{PP}&=&False \; discovery \; rate \; (FDR)&=&1-Precisión


\end{array}
$$

$$
\begin{array}
\\
P(Test \; positivo|Enfermo)&=&\frac{TP}{TP+FN}&=&\frac{TP}{P}&=&Sensibilidad&&
\\
P(Test \; positivo|Sano)&=&\frac{FP}{FP+TN}&=&\frac{FP}{N}&=&False \; positive \; rate \; (FPR)&=&1-Especificidad
\\
P(Test \; negativo|Enfermo)&=&\frac{FN}{TP+FN}&=&\frac{FN}{P}&=&False \; negative \; rate \; (FNR)&=&1-Sensibilidad
\\
P(Test \; negativo|Sano)&=&\frac{TN}{FP+TN}&=&\frac{TN}{N}&=&Especificidad&&
\end{array}
$$

$$

\begin{array}
\\
P(Enfermo)&=&\frac{TP+FN}{TP+FN+FP+TN}&=&\frac{P}{T}&=&Prevalencia
\\
P(Sano)&=&\frac{FP+TN}{TP+FN+FP+TN}&=&\frac{N}{T}
\\
P(Test \; positivo)&=&\frac{TP+FP}{TP+FN+FP+TN}&=&\frac{PP}{T}
\\
P(Test \; negativo)&=&\frac{FN+TN}{TP+FN+FP+TN}&=&\frac{PN}{T}
\end{array}
$$



  * ¿cuanto es la prevalencia que se usa en la $precision$?

Usando el teorema de bayes:
$$P(H|E)=\frac{P(E|H)*P(H)}{P(E)} = \frac{P(E|H)*P(H)}{P(E|H)*P(H)+P(E|\overline{H})*P(\overline{H})}$$

$$P(Enfermo|Test \; positivo)=\frac{P(Test \; positivo|Enfermo)*P(Enfermo)}{P(Test \; positivo|Enfermo)*P(Enfermo)+P(Test \; positivo|Sano)*P(Sano)}  $$
$$P(Enfermo|Test \; positivo)=\frac{P(Test \; positivo|Enfermo)*P(Enfermo)}{P(Test \; positivo|Enfermo)*P(Enfermo)+P(Test \; positivo|Sano)*(1-P(Enfermo))}  $$
$$precision=\frac{sensibilidad*prevalencia}{sensibilidad*prevalencia+False\ positive\ rate*(1-prevalencia)}  $$
$$precision=\frac{sensibilidad*prevalencia}{sensibilidad*prevalencia+(1-especifidad)*(1-prevalencia)}  $$
$$\frac{TP}{TP+FP}=\frac{\frac{TP}{TP+FN}*prevalencia}{\frac{TP}{TP+FN}*prevalencia+(1-\frac{TN}{TN+FP})*(1-prevalencia)}$$

Y depejando se obtiene:

$$prevalencia=\frac{TP+FN}{TP+FN+FP+TN}=\frac{P}{P+N}=\frac{P}{T}$$


==== Probabilidad ====
Para eventos independientes

$$P(A \cup B)=P(A)+P(B)−P(A)⋅P(B)$$
$$P(A \cap B) = P(A) \cdot P(B)$$


==== Otros ====
Tipos de estudios médicos:
  * Estudio transversal: Busca obtener la prevalencia en un momento específico.
  * Estudio caso-control: Busca obtener una relación entre la enfermedad y otro factor.

 [[https://en.wikipedia.org/wiki/Pre-_and_post-test_probability|Pre- and post-test probability]]
logongas

Herramientas de usuario

Herramientas del sitio

Herramientas de la página
