在学习率默认1e-3的情况下，batchsize取100更好，10000太大了。正常来说batchsize肯定是越大收敛速度越快，大的batchsize需要的batch数目少，1个小时就可以训练完imageNet。而且大的batchsize梯度更稳定，loss曲线更平滑。但是如果batchsize过大，会导致效果变差（大的batchsize收敛到sharp minimum， 小的batchsize收敛到flat minimum，后者泛化能力更好）。论文中目前研究batchsize超过8000之后，效果就不好了。当然如果能够增大学习率，可能10000是最优的（因为样本量也挺大的）。我觉得面试官这个题目应该多给些条件，比如学习率固定为多少？