打臉剛剛的小結,平行運算時,Batch size 較大不一定需要比較長的時間去計算 $g$。
下圖左側講的是更新一次參數所需要花費的時間,右側是跑完一個 epoch 所需要的時間,可以看到 batch size 越大,跑一次 epoch 的時間越少。
因此到這邊會覺得,在使用GPU的情況下,大的 batch size 速度快而且學習得夠穩定,完勝小的 batch size。
Accuracy 表現較好