batch、batch

    技术2022-07-12  75

    epoch:周期, 表示把所有的训练集输入到模型完整地训练一遍batch:批, 模型训练时,往往不是一次性把所有的训练集输入到模型中,而是把训练集分成较小的批,即分成一个个的 batchbatch_size:批大小, batch 的大小iteration / step:迭代, 一个 iteration / step,更新一次参数权重,即进行一次学习,每一次更新参数需要 batch_size 个样本进行运算学习,根据运算结果调整更新一次参数

    例如: 假设训练集中有 2000 个样本,把训练集的 2000 个样本一个不漏地输入到模型中,让模型进行学习,即为 1 个 epoch;训练的时候 2000 个样本太多了,分小一点,若分成 10 份,则 batch = 10;batch_size = 2000/10 = 200;此时,每次输入到模型的样本数为 batch_size 大小,即每一次输入 200 个样本;每输入一个 batch_size 大小的样本,模型则学习一次,更新一次参数,即一个 iteration / step。

    Processed: 0.009, SQL: 9