如何基于经验性寻找最佳学习率

Hands on empirically searching for learning rate

3e-4 is the best learning rate for Adam, hands down.

如果 3e-4 在我的数据集上无法作用于模型，我会采取两个办法：

• 如果看不到损失值移动的明确方向，我会降低学习率。
• 如果在小数点后 5 或 6 位才能看到损失减少，我会提高学习率。
• 如有必要，我会再重复上面的过程。

2015 年，Leslie N. Smith 将上述的反复试验法形式化为一种名为 LR Range Test 的技术。这个方法很简单，你只需将模型和数据迭代几次，把学习率初始值设置得比较小，然后在每次迭代后增加。你需要记录学习率的每次损失并将它画出。

LR Range Test 图应该包括三个区域，第一个区域中学习率太小以至于损失几乎没有减少，第二个区域里损失收敛很快，最后一个区域中学习率太大以至于损失开始发散。

除了确保你正在选择最佳学习率之外，该技术还可以作为一种「保险」检查。如果 LR Range Test 没有显示上述 3 个区域，或者图中有断层（损失中有 NaN 值），则表示模型中有缺陷或者数据中有错误。在运行模型之前，最好获取一个理想的 LR range 图。