8. Optimización de redes neuronales b) Evaluación de Modelos

Intervalos de confianza

Teoria

Creating Confidence Intervals for Machine Learning Classifiers

Intervalo de confianza de la proporción binomial

Intervalos de confianza para las estimaciones de proporciones y las diferencias entre ellas

Capitulo 5.Inferencia Estadística II: Estimación por Intervalo de Confianza

Intervalos de confianza e intervalos de credibilidad para una proporción

Bioestadistica para no estadisticos. Intervalos de confianza

Understanding and interpreting confidence and credible intervals around effect estimates

Herramientas:

Exact Confidence Interval for a Proportion:Herramienta online para calcular intervalos de confianza con el teorema de bayes

Límites de confianza para una proporción: Herramienta online para calcular intervalos de confianza.

Código Python

statsmodels.stats.proportion.proportion_confint: Calculo en Pyhton de intervalos de confianza.

Confidence Interval for Population Proportion basic understanding in python

Calculo de errores

Propagación de errores

Guía práctica para la realización de la medida y el cálculo de errores

Covid

sars-cov-2_rapid_antigen_test_es.pdf: Prospecto de un test de COVID para ver las métricas y los intervalos de confianza

Estadística bayesiana y probabilidad del resultado de la red

Las pruebas PCR con elevada sensibilidad y especificidad, en condiciones de alta prevalencia o bajo prescripción médica, son fiables

Falsos negativos en tests de COVID-19

Introduction to Uncertainty in Deep Learning

Calibrar modelos de machine learning

Prevalencia

Riesgo de contagio por COVID-19 en función del tipo de contacto y de la renta familiar

Prevalencia de infección por coronavirus SARS-CoV-2 en pacientes y profesionales de un hospital de media y larga estancia en España

Predicting Good Probabilities With Supervised Learning

Neural Network Prediction Scores are not Probabilities

How and When to Use a Calibrated Classification Model with scikit-learn

scikit-learn

Probability Calibration curves

sklearn.calibration.calibration_curve

sklearn.calibration.CalibratedClassifierCV

Regresión logística isotónica

Calibración de Platt

Probabilidad condicional y métricas

¿cuanto es la prevalencia que se usa en la ?

Usando el teorema de bayes:

Y depejando se obtiene:

Pero en vez de usar la se podría usar el resultado de la red si ésta fuera una probabilidad, y se podría hacer de 2 formas distintas:

Ponderando una valor u otro según un peso llamado

O multiplicando ambos valores suponiendo que son independientes

Por lo que:

Probabilidad

Para eventos independientes