Review: Optimization with Batch

• 我們實際上在算 $g$ (gradient) 的時候，並不是對所有 data 算出來的 $L$ (loss) 做微分，而是將整個 data 拆分成一組一組的 B (batch or mini batch)，然後對每一組的 data 重複做以下動作。
  • pick initial values $\theta^0$：選定特定一組參數 $\theta^0$計算，
  • 計算 $g^0$：把 $\theta^0$ 這組參數放入 $L$ 中得出 $L^1$，對 $L^1$ 做微分，就會得到 $g^0$。
  • 計算 $g^1$ , $g^2$ ...。
• 1 epoch：把所有的 batch 都看過一遍
• 實際上在 training 時，每一個 epoch 我們會做 shuffle (有不同方式)，助教在作業做的shuffle，是讓每個 epoch 的每組 batch 的 data 都不一樣。

Why should we use Batch?

Small Batch v.s. Large Batch

Error Surface

• 以 Error Surface 來觀察 training 時 $L$ 的變化 (藍色 loss 小，紅色 loss 大)
  • 假設 training data 有20筆
  • 左側 Batch size = Full Batch，因此 model 要看完20筆 data 才會更新參數。
  • 右側 Batch size = 1，因此 model 每看完1筆 data 就會更新一次參數，在一個 epoch 中總共會更新20次，更新速度快但雜訊較多。
  • 小結：左側的技能cd長，但威力較大，右側的技能cd短，但雜訊較多。

• 打臉剛剛的小結，平行運算時，Batch size 較大不一定需要比較長的時間去計算 $g$。

  • 用 MNIST 的手寫圖片的任務來測試
  • 當 Batch size 小於1000時，所需要的時間幾乎是一樣的，但超過1000時，還是會有它的限制。（此情況是使用 Tesla V100 GPU 的測試結果）

  

• 下圖左側講的是更新一次參數所需要花費的時間，右側是跑完一個 epoch 所需要的時間，可以看到 batch size 越大，跑一次 epoch 的時間越少。

• 因此到這邊會覺得，在使用GPU的情況下，大的 batch size 速度快而且學習得夠穩定，完勝小的 batch size。

Small Batch Advantage

Accuracy 表現較好

• 如前面所提到的，使用小的 batch size 時訓練的 $L$ 看起來雜訊比較多，然而這些雜訊竟然可以提升 model 預測的準度。（MNIST、CIFAR-10 都是圖片辨識的任務）
• 因為是在同一種 model 下測試不同 batch size 的結果，因此不會是 model bias 的問題，這是 optimization 的問題。