Diferencias

Muestra las diferencias entre dos versiones de la página.

--- clase:iabd:pia:1eval:tema06-apendices [2022/02/27 19:52]
admin [Tipos de funciones de activación en capas ocultas]
+++ clase:iabd:pia:1eval:tema06-apendices [2022/03/30 08:54]
admin [Tipos de funciones de activación en capas ocultas]
@@ Línea 134: / Línea 134: @@
 ===== Tipos de funciones de activación en capas ocultas =====
+==== sigmoid ====
+La fórmula de la sigmoide se obtiene a partir de la función $logit$ o $log odds$.
+$$odds(p) = \frac{p}{1-p} $$
+$$logit(p) = log(odds(p))=log(\frac{p}{1-p}) $$
+Ahora:
+$$logit(p) = ax+b $$
+$$log(\frac{p}{1-p}) = ax+b $$
+Si despejamos $p$ de la anterior fórmula:
+$$
+log(\frac{p}{1-p}) = ax+b \\
+e^{log(\frac{p}{1-p})} = e^{ax+b} \\
+\frac{p}{1-p}=e^{ax+b} \\
+p=e^{ax+b} \cdot (1-p) \\
+p=e^{ax+b}-pe^{ax+b} \\
+p+pe^{ax+b}=e^{ax+b} \\
+p(1+e^{ax+b})=e^{ax+b} \\
+p=\frac{e^{ax+b}}{1+e^{ax+b}} \\
+p=\frac{  \frac{e^{ax+b}}{e^{ax+b}}   }{ \frac{1+e^{ax+b}}{e^{ax+b}}   } \\
+p=\frac{  1   }{ 1+\frac{1}{e^{ax+b}}   } \\
+p=\frac{  1   }{ 1+e^{-(ax+b)}   } \\
+$$
+Que es exactamente la función sigmoide
+  * Más información
+    * [[https://en.wikipedia.org/wiki/Odds|Odds (Wikipedia)]]
+    * [[https://towardsdatascience.com/https-towardsdatascience-com-what-and-why-of-log-odds-64ba988bf704|WHAT and WHY of Log Odds]]
+    * [[https://medium.com/nerd-for-tech/understanding-logistic-regression-782baa868a54|Understanding Logistic Regression]]
 ==== ReLU y Leaky ReLU ====
@@ Línea 268: / Línea 306: @@
 </sxh>
-==== Tiempo de cálculo  ====
+===== Tiempo de cálculo  =====
 Para cada problema puede que una función sea mejor que otra, es decir que cosiga entrenar en un menor número de épocas. Aun así a veces no puede preocupar el tiempo de CPU/GPU que usa cada función de activación.

logongas

Herramientas de usuario

Herramientas del sitio

Diferencias

Herramientas de la página