Probabilidad métricas

Vamos a explicar como calcular la probabilidad que da una red neuronal en función de la prevalencia y el resultado de la red.

Para ello vamos a imaginar que la red neuronal, analiza una imágen para decirnos si tenemos cancer. El resultado puede ser positivo si tenemos cáncer y negativo si no tenemos cáncer.

Negativo=0

Positivo=1

Para calcular las métricas tenemos 2 arrays:

Array con los valores reales o verdaderos.

Array con los valores predichos por la red neuronal.

y ahora los juntamos en un único conjunto

Parejas de datos reales y predichos.

El umbral

Y vamos a suponer que el umbral para saber si es positivo o negativo es 0.5

La matriz de confusión es la siguiente:

Predicción
PN,Negativo	PP,Positivo
Realidad	N,Negativo	TN	FP
P,Positivo	FN	TP

Sin embargo tanto la predicción como la realidad son números , por lo tanto se puede expresar así:

Predicción
PN,	PP,
Realidad	N,	TN	FP
P,	FN	TP

Ahora mostremos las métricas

Predicción	Métricas
PN,	PP,	Predicho [0,0.5[	Predicho [0.5,1[
Realidad	N,	TN	FP
P,	FN	TP
Métricas	Negativa
Positiva

Pero usando Bayes podemos calcular los valores predictivos positivos y negativos usando la prevalencia que queramos:

Simplificando las fórmulas

Ahora vamos a cambiar las fórmulas para en vez de poner por rangos de y usaremos un conjunto de rangos llamado :

Por lo tanto ahora habrá menos fórmulas.

Predicción
Pre0,	Pre1,
Realidad	N,
P,

Ahora mostremos las métricas

Predicción	Métricas
Pre0,	Pre1,	Predicho0	Predicho1
Realidad	N,
P,
Métricas	Negativa
Positiva

y ahora la tabla de confusión se podría simplificar aun más

Predicción	Métricas
Prei,	Predichoi
Realidad	N,
P,
Métricas	Negativa
Positiva

Volvemos a usar Bayes para calcular la precisión usando la prevalencia que queramos:

Generalizando los intervalos

y ahora viene lo interesante, ¿que pasaría si en vez de haber un único umbral hubiera 10 umbrales?

En el siguiente código en Python se puede ver el resultado de usar las fórmulas:main.ipynb

Infinitos intervalos

¿Y si hubiera infinitos intervalos? Que podríamos sacar la probabilidad exacta para el resultado que nos ha dado.

¿como sacarlo para infinitos intervalos? Pues calculando la función de densidad de probabilidad.

Sabemos que la función de coste para las redes neuronales es :

Los valores de son 0 o 1, mientras que los valores de es un número real entre 0 y 1

Veamos ahora gráficamente como es la fórmula según si o