logongas

Herramientas de usuario

Herramientas del sitio

Ocultar Menú
Traza:
clase:iabd:pia:2eval:tema07.backpropagation_descenso_gradiente

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anterior Revisión previa
Próxima revisión 		Revisión previa
clase:iabd:pia:2eval:tema07.backpropagation_descenso_gradiente [2025/01/08 11:30]
admin [7.b Descenso de gradiente] 		clase:iabd:pia:2eval:tema07.backpropagation_descenso_gradiente [2025/01/22 18:28] (actual)
admin [Ejercicios]
Línea 160: Línea 160:
  
 <note tip>En el contexto del descenso de gradiente no se suele hablar que el resultado de la fórmula es la derivada sino el gradiente. Ya que para eso estamos en el //descenso de gradente//</note> <note tip>En el contexto del descenso de gradiente no se suele hablar que el resultado de la fórmula es la derivada sino el gradiente. Ya que para eso estamos en el //descenso de gradente//</note>
 +
 +Para entender la derivada podemos usar estos 2 recursos de Gecebra:
 +  * [[https://www.geogebra.org/classic/kspgbec4|Pendiente de una recta]]: La pendiente es el valor de las derivada.
 +  * [[https://www.geogebra.org/m/zfg8nxt6|Cálculo gráfico de derivadas]]: Se puede ver la derivada (pendiente) en cada punto de una curva
  
  
Línea 618: Línea 622:
 Para intentar solventar los problemas del algoritmo del descenso de gradiente existen diversas variaciones del mismo que vamos a ver en el siguiente apartado. Para intentar solventar los problemas del algoritmo del descenso de gradiente existen diversas variaciones del mismo que vamos a ver en el siguiente apartado.
  
 +==== Punto de silla ====
 +Al entrenar redes neuronales, existe el concepto de "Punto de silla". 
 +Es un punto en el que para cada parámetro estaría en un mínimo o máximo local. 
 +Su nombre viene de que parece una silla de montar a caballo.
 +
 +{{:clase:iabd:pia:2eval:punto_de_silla.png?500|}}
 +
 +No debe preocuparnos los puntos de silla ya que al actualizar los parámetros, la "forma" de la función de coste cambiará y lo fácil es que se salga del punto de silla.
  
 ===== Usando optimizadores en Keras  ===== ===== Usando optimizadores en Keras  =====
Línea 1090: Línea 1102:
  
 <sxh python> <sxh python>
-parametros=[(-0.3,0.1)]+parametros=[(-0.3,0),(0.1,-0.2),(0.4,-0.4),(0.8,-2)]
 plot_parametros(x,y_true,parametros) plot_parametros(x,y_true,parametros)
 </sxh> </sxh>
  
-Que muestra la siguiente gráfica:+Que muestra la siguiente figura:
  
 {{:clase:iabd:pia:2eval:tema_7_ejer_3_salida.png|}} {{:clase:iabd:pia:2eval:tema_7_ejer_3_salida.png|}}
  
-Esta gráfica muestra en rojo que con los valores de ''w=-0.3'' y ''b=0.1'' el valor de la pérdida de la red es 0.59. ''loss=0.59''.  +Cada par de valores del array ''parametros'' son los parámetros en cada una de las épocas. 
-Mientras que en verde se muestra los valores que harían mínima cada ua de las funciones ''w=0.55'' y ''b=-4''.+ 
 +En las 2 primeras gráficas se muestra en rojo que con los valores de ''w=-0.3'' y ''b=0'' el valor de la pérdida de la red es 0.58. ''loss=0.50''.  
 +Mientras que en verde se muestra los valores que harían mínima cada una de las funciones ''w=0.56'' y ''b=-5''.  
 +Y así sucesivamente con el resto de parámetros 
 + 
 +En las últimas gráficas se muestra a la izquierda cada uno de los "loss" que ha habido en cada "época" y a la derecha como han evolucionado los parámetros en cada "época".
  
 Modifica el array ''parametros'' añadiendo mas pares de valores de ''w'' y ''b'' para ver si consigues obtener un valor de ''loss'' lo más cercano a 0 que sea posible. Deberás ir modificando poco a poco los valores de ''w'' y ''b''. Modifica el array ''parametros'' añadiendo mas pares de valores de ''w'' y ''b'' para ver si consigues obtener un valor de ''loss'' lo más cercano a 0 que sea posible. Deberás ir modificando poco a poco los valores de ''w'' y ''b''.
Línea 1182: Línea 1199:
   * Función de activación de las capas ocultas: ''selu''   * Función de activación de las capas ocultas: ''selu''
  
-Prueba únicamente con **5 épocas** con todas las combinaciones de lo siguiente:+Prueba únicamente con **20 épocas** con todas las combinaciones de lo siguiente:
  
   * Optimizadores   * Optimizadores
clase/iabd/pia/2eval/tema07.backpropagation_descenso_gradiente.1736332206.txt.gz · Última modificación: 2025/01/08 11:30 por admin

Herramientas de la página

Excepto donde se indique lo contrario, el contenido de este wiki esta bajo la siguiente licencia: GNU Free Documentation License 1.3
GNU Free Documentation License 1.3 Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki