7.h Código

Durante el tema hemos visto los gráficos que explican el descenso de gradiente. Veamos ahora como se pueden hacer dichos gráficos en Python.

La función que coste que hemos usado es la siguiente

cuya gráfica es la siguiente:

En python la función con NumPy sería así:

Y el algoritmo que calcula cada uno de los del descenso de gradiente es el siguiente:

Si ejecutamos lo siguiente:

El resultado es:

Que son cada uno de los valores de que empiezan en -0.35, -0.67 y acaban en 0.2657862, -1.59573582$

Pasamos ahora a mostrar los valores dentro de la gráfica de la función, para ello hemos creado 2 funciones:

plot_loss_function: Que dibuja la superficie con todos los colores

plot_descenso_gradiente: Dibuja los puntos por donde va pasando el algoritmo del descenso de gradiente

Si ejecutamos el código:

Vemos la siguiente gráfica donde se muestran los puntos que hemos obtenido de la función get_puntos_descenso_gradiente

La estrella roja es desde donde empieza el algoritmo.Es decir, el valor inicial de los parámetros La estrella azul es donde acaba el algoritmo.Es decir, el valor tras el entrenamiento de los parámetros Los puntos amarillo son los pasos por lo que se va moviendo el algoritmo. Cada uno de los valores intermedios de los parámetros durante el entrenamiento.

Optimizadores de Keras

Podemos mejorar nuestro código en Python haciendo que podamos usar directamente los Optimizers de Keras y de esa forma ver como funciona cada uno de ellos. Para poder usarlos directamente vamos a creas las nuevas funciones loss_tf y get_puntos_descenso_gradiente_optimizer adecuadas a TensorFlow y Keras.

Lo que ha cambiado principalmente es la función get_puntos_descenso_gradiente_optimizer no hace cálculo del gradiente (derivada) ni actualiza los parámetros, sino que llama a la función de Keras de optimización.

Si usamos get_puntos_descenso_gradiente_optimizer ahora con tf.keras.optimizers.SGD Vamos que el resultado es prácticamente el mismo que cuando lo hicimos manualmente.

Y podemos generar de la misma forma el gráfico:

Y obviamente el resultado es el mismo