一个真实的全连接网络,正在学习识别数字。每个球是一个神经元,每条线是一个权重。点击任意球可打开查看精确求和过程;某条线越亮,说明上游激活值 × 该权重越大。
∇-check 待检…
轮次
0
已见样本
0
训练损失
—
测试准确率
—
参数量
—
状态
空闲
前向 · 激活信号
兴奋性(+ 权重)
抑制性(− 权重)
反向 · 误差梯度
梯度脉冲 →
线 = 模型(权重)
球 = 激活值(每次输入)
拖动 旋转 · 滚动 缩放 · 点击球 打开
训练期间:已知 vs 学习得到
INPUT数值 已知 — 我们输入的像素
HIDDEN 1权重 未知 — 含义自学 · 无目标
HIDDEN 2权重 未知 — 含义自学 · 无目标
OUTPUT含义 + 目标 已知 · 权重 未知
每条线是一个权重 = 未知;训练就是求解全部 — 个权重。我们设计层结构、大小、激活函数 & 损失函数;我们获得训练后的权重。隐藏层没有答案键 — 只有从输出层反向传来的误差。
神经元内部 · 精确求和
— 请选择 —线为何明亮? · 机制
每条线携带一个数值:上游神经元的激活值乘以该连线的权重(ai · wij)。当该乘积很大时连线变亮 — 因为来源神经元激活强烈、或权重大、或两者兼有。暖色 = 推高目标,冷色 = 拉低目标。打开一个神经元,悬停其柱状图可点亮对应连线。
监督 · 提供了什么
探测中图像 始终已知
答案:—
网络猜测: — —
损失: — (偏差程度)
修正向后传递
每张训练图像都配有正确答案;网络据此调整权重。在探测 / 测试时答案被隐藏 — 网络必须独立给出答案。
输出 · 10个答案神经元(softmax)
最后一层的10个神经元相互竞争;softmax 将其分数转为总和为1的概率。
探测 & 绘制 · 输入一个数字
发送一个清晰的数字,或自己画一个(16×16是网络真实输入尺寸)。整个图会立即重新激活。