DigiSim

La Caja Blanca — Una Red Neuronal sin Secretos

Aprendizaje automático · h. 1986

ES
La Caja Blanca — Una Red Neuronal sin Secretos

Preparando la exposición…

Operar

CONJUNTO DE ENTRENAMIENTO

1 = tiene un trazo vertical · 0 = no lo tiene

Cómo funciona
  1. El conjunto de entrenamiento contiene imágenes sintéticas de 4×4. La clase 1 presenta un trazo vertical y la clase 0 no. La red se entrena para distinguir ambas clases.
  2. Cada imagen aporta 16 valores de intensidad de píxel a la capa de entrada. El brillo de cada esfera representa el valor numérico correspondiente.
  3. Cada línea representa un peso aprendido: azul para valores positivos, naranja para negativos y grosor para la magnitud. Los pesos parten de una inicialización aleatoria determinista.
  4. Durante la propagación hacia delante, cada unidad oculta forma una suma ponderada de las 16 entradas y un sesgo. ReLU calcula después max(0, z). El inspector enumera todos los términos de las sumas de las dos unidades ocultas.
  5. Los dos logits de salida pasan por softmax para producir probabilidades de clase. Para la clase etiquetada y, la pérdida de entropía cruzada es −log p(y).
  6. La retropropagación aplica la regla de la cadena para calcular la derivada de la pérdida respecto de cada peso y sesgo. Un gradiente expresa una sensibilidad local, no una fracción causal del error.
  7. El descenso del gradiente actualiza cada parámetro en la dirección que reduce la pérdida del ejemplo actual: θ ← θ − η∇θL. El grosor de las líneas cambia al actualizarse los pesos.
  8. «Ejecutar entrenamiento» repite este ciclo con todo el conjunto de datos. Observe cómo desciende la curva de pérdida y se organizan los mapas de pesos mientras las operaciones producen un detector de trazos verticales.
Inspector
Estado de la ejecución
modo—tarjeta—clase—paso de cálculo—actualizaciones de pesos—épocas—pérdida de la última época—
  • peso positivo
  • peso negativo
grosor = intensidad