Diferencias

Muestra las diferencias entre dos versiones de la página.

--- clase:iabd:pia:2eval:tema08 [2024/04/21 12:29]
admin [Regularización]
+++ clase:iabd:pia:2eval:tema08 [2024/04/21 12:45]
admin [Analizando la regularización]
@@ Línea 22: / Línea 22: @@
 Existen 3 tipos de regularizadores (realmente existen más):
-  * ''L1'': También llamada //Lasso//. Intenta hacer los pesos lo más pequeños posibles.
+  * **L1**: También llamada //Lasso//. Intenta hacer los pesos lo más pequeños posibles.
-  * ''L2'': También llamada //Ridge//. Intenta eliminar correlaciones entre pesos.
+  * **L2**: También llamada //Ridge//. Intenta eliminar correlaciones entre pesos.
-  * ''L1L2'': También llamada //ElasticNet//. Es la unión de los 2 anteriores.
+  * **L1 y L2**: También llamada //ElasticNet//. Es la unión de los 2 anteriores.
+$$
+\begin{array}
+\\
+Loss \; con &\;& L1 &\;& \; &=&\frac 1 n \displaystyle\sum_{i=1}^{n} {(y_i-y'_i)^2 } &+& \alpha \frac 1 m \displaystyle\sum_{j=1}^{m} {|w_j|^1}
+\\
+Loss \; con &\;& \; &\;& L2 &=&\frac 1 n \displaystyle\sum_{i=1}^{n} {(y_i-y'_i)^2 } &\;& \; &+& \beta \frac 1 {2m} \displaystyle\sum_{j=1}^{m} {|w_j|^2}
+\\
+Losss \; con &\;& L1 &\;& L2 &=&\frac 1 n \displaystyle\sum_{i=1}^{n} {(y_i-y'_i)^2 } &+& \alpha \frac 1 m \displaystyle\sum_{j=1}^{m} {|w_j|^1}  &+&  \beta \frac 1 {2m} \displaystyle\sum_{j=1}^{m} {|w_j|^2}
+\\
+\end{array}
+$$
-Las fórmulas concretas, están en [[tema08-apendices]].
 Más información:
   * [[https://www.tensorflow.org/api_docs/python/tf/keras/regularizers|Module: tf.keras.regularizers]]
+  * [[tema08-apendices]]
   * [[http://laid.delanover.com/difference-between-l1-and-l2-regularization-implementation-and-visualization-in-tensorflow/|Difference between L1 and L2 regularization, implementation and visualization in Tensorflow]]: Las imágenes en 3D de las 2 regularizaciones.
   * [[https://explained.ai/regularization/impl.html|How we express regularization in practice]]: Mas imágenes en 3D de L1 y L2
@@ Línea 110: / Línea 124: @@
+<note >
+La conclusión con estas gráficas es que hay que valorar entre 2 opciones:
+  * Entrenar pocas épocas antes de que haya sobreajuste y no necesitar ninguna regularización.
+  * Entrenar durante muchas épocas aunque haya sobreajuste y aplicar regularización
+La opción a elegir dependerá del problema y hay que probar ambas opciones para saber cual es la mejor opción.
+</note>
+<note tip>
+Aunque una regla es que si elegimos entrenar durante pocas épocas antes del sobre ajuste pero el rendimiento no es satisfactorio, entonces deberemos entrenar durante más épocas aunque tengamos sobre ajuste y aplicar la regularización
+</note>
 ===== Dropout =====

logongas

Herramientas de usuario

Herramientas del sitio

Diferencias

Herramientas de la página