이것은 뚜껑이 열린 신경망입니다. 여전히 무언가를 배울 수 있는 가장 작은 네트워크 — 16개의 입력, 2개의 은닉 뉴런, 2개의 출력 — 이며, 그것이 작게 유지되는 것은 의도적입니다: 모든 단일 곱셈, 모든 누적 합산, 모든 기울기가 화면에서 읽을 수 있는 숫자가 될 만큼 작습니다. 대부분의 시각화가 학습의 형태를 보여주는 반면, 이것은 산술을 보여줍니다.
스텝을 누르면 타임라인이 한 번에 하나의 연산을 걷습니다. 4×4 카드가 16개의 입력 노드로 펼쳐지고, 빛나는 패킷이 각 입력을 선을 따라 운반하며 위에 정확한 곱셈 — 입력 곱하기 가중치 = 곱 — 이 표시됩니다. 각 은닉 뉴런은 16개의 곱을 영수증처럼 합산하고, 선을 그리고, 합계 Z를 씁니다. ReLU는 그것을 통과시키거나 0으로 고정하고 뉴런은 어두워집니다. 두 출력은 확률이 되고, 오류는 뺄셈으로 적나라하게 드러납니다: 예측 빼기 진실. 그런 다음 조명이 역전되어 빨간 패킷이 그 오류를 역방향으로 운반하고, 연쇄 규칙이 입력 선들에 걸쳐 분할되며, 각 가중치가 공개적으로 업데이트됩니다: 이전 가중치 더하기 기울기 = 새 가중치, 그리고 선이 물리적으로 굵어지거나 가늘어져 일치합니다.
대신 훈련 실행을 선택하면 같은 엔진이 전체 덱을 전력 질주하고, 두 은닉 뉴런이 전문화되는 것을 볼 수 있습니다 — 수용 필드가 1과 0을 구분하는 특징으로 선명해집니다. 여기서의 수학은 진짜이며, 유한 차분에 대해 기울기가 검사됐습니다. 같은 산술을 전체 규모로 볼 준비가 됐다면 — 실제 숫자를 읽는 수천 개의 가중치 — 옆방의 뉴런 실험실로 가세요. 이 방은 졸업하는 클로즈업입니다.
사양
- 토폴로지
- 16 → 2 → 2, ReLU 은닉층, 소프트맥스 출력
- 훈련
- 실제 교차 엔트로피 역전파, 수치적으로 ∇-검사
- 뉴런이 두 개인 이유
- 모든 선과 곱셈이 보일 만큼 작음
- 시뮬레이션
- 순전파 트레이스, 기울기 흐름, 실시간 가중치 업데이트
머신러닝 더 보기
