PyTorch调参

在写CVAE模型的过程中，遇到一个loss突然变大的过程，看到网络上说由于Adam的原因，所以会导致收敛不稳定。可以把amdgrad参数打开。

optimizer = Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=args.lr, weight_decay=args.wd, amsgrad=True)