PyTorch梯度爆炸、loss反向传播为nan

    技术2022-07-16  78

    在最近的项目中用到了自定义loss函数,代码一切都准备就绪后,在训练时遇到了梯度爆炸的问题,每次训练几个iterations后,梯度和loss都会变为nan。一般情况下,梯度中间部分值存在0情况,梯度就会产生nan,导致该层向前的层梯度和权重都为Nan

    参考文献:

    https://zhuanlan.zhihu.com/p/79046709
    Processed: 0.008, SQL: 9