8. Optimización de redes neuronales: Apendices

Regularización

L1 (Lasso)

Hace que los pesos tiendan a ser cero

α: Es cuanto queremos que regularicemos. Si vale 0, no se regulariza nada. Si vale 1 se regulariza muchísimo.

El uso del valor absoluto hace que cuanto mas pequeño sea el valor de w, menos sea el error.

Sirve para:

Eliminar variables de entrada que no sirven.

L2 (Ridge)

Hace que los pesos tiendan a tener un valor bajo pero no es necesario que sena tan bajos como con L1

α: Es cuanto queremos que regularicemos. Si vale 0, no se regulariza nada. Si vale 1 se regulariza muchísimo.

El uso de elevar al cuadrado hace que para valores entre -1 y 1, se hagan aun mas pequeños los w por lo que no es necesario que sena tan cercanos a cero.

Sirve para:

Eliminar variables que están correlacionadas.

Podemos ver la difrencia entre la función del valor absoluto (L1) y elevar al cuadrado (L2) aquí: GeoGebra L1 y L2

L1 y L2 (ElasticNet)

Es la unión de L1 y L2.

Parece un nuevo hiperparámetro r que indica si queremos que se de mas importancia a L1 o a L2.

Si r vale 1, solo se hace regularización L1

Si r vale 0, solo se hace regularización L2

Si r vale 0,5, se le da la misma importancia a regularizar con L1 que con L2.

Azul: L1 (Lasso)

Verde: L2 (Ridge)

Rojo: L1 y L2 (ElasticNet)

Más información:

Regularización Lasso L1, Ridge L2 y ElasticNet: Fórmulas de L1, L2 y ElasticNet

Difference between L1 and L2 regularization, implementation and visualization in Tensorflow: Las imágenes en 3D de las 2 regularizaciones.

How we express regularization in practice: Mas imágenes en 3D de L1 y L2

Intuiciones sobre la regularización L1 y L2

l0-Norm, l1-Norm, l2-Norm, … , l-infinity Norm: Las normas (de matemáticas) que se usan en L1 y L2.

Regularization

Machine Learning regularization techniques in real life

LASSO and Ridge Regularization .. Simply Explained

L1, L2 Regularization – Why needed/What it does/How it helps?

Bias-Variance Tradeoff: What is it and why is it important?

Regulation Techniques for Multicollinearity: Lasso, Ridge, and Elastic Nets

Why is ridge regression called "ridge", why is it needed, and what happens when λ goes to infinity?

shrinkage_ridge_regression_subset_selection_and_lasso.pdf

De la regresión lineal a la regresión de crestas, el lazo y la red elástica: Están las gráficas de L1, L2 pero también L1+L2

Logistic Regression: Explica cosas de L1 y L2

No Todas las Bolas Son Redondas | Cuando π ≠ 3,14...