这是一个揭开盖子的神经网络。它是能够学到某样东西的最小网络 — 十六个输入、两个隐藏神经元、两个输出 — 而且故意保持如此之小：小到每一次乘法、每一次累加、每一个梯度都是您能在屏幕上读到的数字。大多数可视化展示给您学习的形状，这个展品展示的是算术。
按下单步，时间轴每次执行一个运算。一张 4×4 卡片展开为十六个输入节点；发光的数据包沿导线携带每个输入，上方显示精确的乘法 — 输入乘以权重等于乘积。每个隐藏神经元像收据一样累计其十六个乘积，划出分界线，写下总和 Z；ReLU 要么通过它，要么将其截断为零，神经元随之变暗。两个输出变为概率，误差以减法形式直白呈现：预测值减真实值。随后光线反转，红色数据包携带误差向后传播，链式法则将其分配到各输入导线，每个权重公开更新：旧权重加梯度等于新权重，导线实际变粗或变细以匹配。
改为运行训练，同一引擎便在整套牌中飞速运行，您可以观看两个隐藏神经元专门化 — 其感受野逐渐锐化为区分 1 和 0 的特征。这里的数学是真实的，已针对有限差分进行梯度验证。当您准备好以完整规模看到相同的算术 — 数千个权重读取真实数字 — 时，请到隔壁的神经元实验室；这个房间是您从中毕业的特写视角。
规格
- 拓扑
- 16 → 2 → 2，ReLU 隐藏层，softmax 输出
- 训练
- 真实交叉熵反向传播，数值 ∇ 验证
- 为何两个神经元
- 小到每根线和每次乘法都清晰可见
- 模拟内容
- 前向追踪、梯度流、实时权重更新
更多机器学习展品
