9.c Apendices

Regularización

Vamos a suponer la siguiente función de pérdida:

: Valor real

: Valor predicho.

L1 (Lasso)

Hace que los pesos tiendan a ser cero

α: Es cuanto queremos que regularicemos. Si vale 0, no se regulariza nada. Si vale 1 se regulariza muchísimo.

El uso del valor absoluto hace que cuanto mas pequeño sea el valor de w, menos sea el error.

Sirve para:

Eliminar variables de entrada que no sirven.

L2 (Ridge)

Hace que los pesos tiendan a tener un valor bajo pero no es necesario que sena tan bajos como con L1

α: Es cuanto queremos que regularicemos. Si vale 0, no se regulariza nada. Si vale 1 se regulariza muchísimo.

El uso de elevar al cuadrado hace que para valores entre -1 y 1, se hagan aun mas pequeños los w por lo que no es necesario que sena tan cercanos a cero.

Sirve para:

Eliminar variables que están correlacionadas.

Podemos ver la difrencia entre la función del valor absoluto (L1) y elevar al cuadrado (L2) aquí: GeoGebra L1 y L2

L1 y L2 (ElasticNet)

Es la unión de L1 y L2.

Parece un nuevo hiperparámetro r que indica si queremos que se de mas importancia a L1 o a L2.

Si r vale 1, solo se hace regularización L1

Si r vale 0, solo se hace regularización L2

Si r vale 0,5, se le da la misma importancia a regularizar con L1 que con L2.

Azul: L1 (Lasso)

Verde: L2 (Ridge)

Rojo: L1 y L2 (ElasticNet)