Diferencias

Muestra las diferencias entre dos versiones de la página.

--- clase:iabd:pia:2eval:tema08-apendices [2022/05/18 14:31]
admin
+++ — (actual)
@@ Línea 1: / Línea 1: @@
-====== 8. Optimización de redes neuronales: Apendices ======
-===== Regularización =====
-Vamos a suponer la siguiente función de pérdida:
- $Error=\frac 1 n \displaystyle\sum_{i=1}^{n} {(y_i-y'_i)^2 }$
-  *  $y$ : Valor real
-  *  $y'$ : Valor predicho.
-{{ :clase:iabd:pia:2eval:regularizacion.gif?direct |}}
-==== L1 (Lasso) ====
-Hace que los pesos tiendan a ser cero
- $Error=\frac 1 n \displaystyle\sum_{i=1}^{n} {(y_i-y'_i)^2 } + \alpha \frac 1 m \displaystyle\sum_{j=1}^{m} {|w_j|^1}$
-  * α: Es cuanto queremos que regularicemos. Si vale 0, no se regulariza nada. Si vale 1 se regulariza muchísimo.
-El uso del valor absoluto hace que cuanto mas pequeño sea el valor de ''w'', menos sea el error.
-{{:clase:iabd:pia:1eval:regularizacion_l1.png|}}
-Sirve para:
-  * Eliminar variables de entrada que no sirven.
-==== L2 (Ridge) ====
-Hace que los pesos tiendan a tener un valor bajo pero no es necesario que sena tan bajos como con L1
- $Error=\frac 1 n \displaystyle\sum_{i=1}^{n} {(y_i-y'_i)^2 } + \alpha \frac 1 {2m} \displaystyle\sum_{j=1}^{m} {|w_j|^2}$
-  * α: Es cuanto queremos que regularicemos. Si vale 0, no se regulariza nada. Si vale 1 se regulariza muchísimo.
-  *
-El uso de elevar al cuadrado hace que para valores entre -1 y 1, se hagan aun mas pequeños los ''w'' por lo que no es necesario que sena tan cercanos a cero.
-{{:clase:iabd:pia:1eval:regularizacion_l2.png|}}
-Sirve para:
-  * Eliminar variables que están correlacionadas.
-<note tip>Podemos ver la difrencia entre la función del valor absoluto (L1) y elevar al cuadrado (L2) aquí: [[https://www.geogebra.org/calculator/gsra5hm3|GeoGebra L1 y L2]]</note>
-==== L1 y L2 (ElasticNet) ====
-Es la unión de L1 y L2.
-Parece un nuevo hiperparámetro ''r'' que indica si queremos que se de mas importancia a L1 o a L2.
-  * Si r vale 1, solo se hace regularización L1
-  * Si r vale 0, solo se hace regularización L2
-  * Si r vale 0,5, se le da la misma importancia a regularizar con L1 que con L2.
- $Error=\frac 1 n \displaystyle\sum_{i=1}^{n} {(y_i-y'_i)^2 } + r \cdot \alpha \frac 1 m \displaystyle\sum_{j=1}^{m} {|w_j|^1}  + (1-r) \cdot \alpha \frac 1 {2m} \displaystyle\sum_{j=1}^{m} {|w_j|^2}$
-{{ :clase:iabd:pia:2eval:regularizacion-l1_l2_l1l2.png?direct |}}
-  * Azul: L1 (Lasso)
-  * Verde: L2 (Ridge)
-  * Rojo: L1 y L2 (ElasticNet)
-Más información:
-  * [[https://www.iartificial.net/regularizacion-lasso-l1-ridge-l2-y-elasticnet/|Regularización Lasso L1, Ridge L2 y ElasticNet]]: Fórmulas de L1, L2 y ElasticNet
-  * [[http://laid.delanover.com/difference-between-l1-and-l2-regularization-implementation-and-visualization-in-tensorflow/|Difference between L1 and L2 regularization, implementation and visualization in Tensorflow]]: Las imágenes en 3D de las 2 regularizaciones.
-  * [[https://explained.ai/regularization/impl.html|How we express regularization in practice]]: Mas imágenes en 3D de L1 y L2
-  * [[https://ichi.pro/es/intuiciones-sobre-la-regularizacion-l1-y-l2-38891695686241|Intuiciones sobre la regularización L1 y L2]]
-  * [[https://rorasa.wordpress.com/2012/05/13/l0-norm-l1-norm-l2-norm-l-infinity-norm/|l0-Norm, l1-Norm, l2-Norm, … , l-infinity Norm]]: Las normas (de matemáticas) que se usan en L1 y L2.
-  * [[https://codatalicious.medium.com/regularization-1a186c620598|Regularization]]
-  * [[https://towardsdatascience.com/machine-learning-regularization-techniques-in-real-life-your-dogs-nap-time-as-a-regularized-9c533510fe83|Machine Learning regularization techniques in real life]]
-  * [[https://medium.com/nerd-for-tech/lasso-and-ridge-regularization-simply-explained-d551ee1e47b7|LASSO and Ridge Regularization .. Simply Explained]]
-  * [[https://www.linkedin.com/pulse/l1-l2-regularization-why-neededwhat-doeshow-helps-ravi-shankar/|L1, L2 Regularization – Why needed/What it does/How it helps?]]
-  * [[https://www.linkedin.com/pulse/bias-variance-tradeoff-what-why-important-ravi-shankar|Bias-Variance Tradeoff: What is it and why is it important?]]
-  * {{ :clase:iabd:pia:regulation_techniques_for_multicollinearity-lasso_ridge_and_elastic_nets.pdf |Regulation Techniques for Multicollinearity: Lasso, Ridge, and Elastic Nets}}
-  * [[https://stats.stackexchange.com/questions/151304/why-is-ridge-regression-called-ridge-why-is-it-needed-and-what-happens-when|Why is ridge regression called "ridge", why is it needed, and what happens when λ goes to infinity?]]
-  * {{ :clase:iabd:pia:2eval:shrinkage_ridge_regression_subset_selection_and_lasso.pdf |}}
-  * [[https://ichi.pro/es/de-la-regresion-lineal-a-la-regresion-de-crestas-el-lazo-y-la-red-elastica-86512636393446|De la regresión lineal a la regresión de crestas, el lazo y la red elástica]]: Están las gráficas de L1, L2 pero también L1+L2
-  * [[https://medium.com/analytics-vidhya/logistic-regression-a3249301b75e|Logistic Regression]]: Explica cosas de L1 y L2
-  * [[https://www.youtube.com/watch?v=MgEp4Gb9TCA|No Todas las Bolas Son Redondas | Cuando π ≠ 3,14...]]

logongas

Herramientas de usuario

Herramientas del sitio

Diferencias

Herramientas de la página