batchsize大小对训练有什么影响

Batch_size的作用：决定了下降的方向。

在合理范围内，增大Batch_size的好处：

提高了内存利用率以及大矩阵乘法的并行化效率；

跑完一次epoch(全数据集）所需要的迭代次数减少，对相同的数据量，处理的速度比小的Batch_size要更快。

扩展资料

在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。

盲目增大Batch_size，Batch_size过大的坏处：

提高了内存利用率，但是内存容量可能撑不住；

跑完一次epoch(全数据集)所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加，从而对参数的修正也就显得更加缓慢；

Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化（会影响随机性的引入）。

batch_size设的大一些，收敛得快，也就是需要训练的次数少，准确率上升的也很稳定，但是实际使用起来精度不高；

batch_size设的小一些，收敛得慢，可能准确率来回震荡，因此需要把基础学习速率降低一些，但是实际使用起来精度较高。