libai lr_scheduler设计文档

[oneflow-inc]

libai lr_scheduler设计文档

[CPFLAME]

graph确实存在这个问题, 采用自定义的lr, 必须要定义_generate_conf_for_graph, 而这个又需要调用C++的接口. 会导致用户完全定义不了自己的LR.
但是现在libai更多的是支持graph模式, 这就导致用户用libai 只能用oneflow内置的lr_scheduler

[L1aoXingyu]

我们可以通过一个 try catch 机制去捕获这个 error，不用重新 copy 一份一样的代码

[rentainhe]

graph确实存在这个问题, 采用自定义的lr, 必须要定义_generate_conf_for_graph, 而这个又需要调用C++的接口. 会导致用户完全定义不了自己的LR. 但是现在libai更多的是支持graph模式, 这就导致用户用libai 只能用oneflow内置的lr_scheduler

可以的，写一个build来解决这个问题好了

[rentainhe]

我们可以通过一个 try catch 机制去捕获这个 error，不用重新 copy 一份一样的代码

OKKK

[dangkai4u]

先统计一下预计支持哪几种scheduler、目前可以支持哪几种（graph+eager）、暂不支持哪几种，列个清单。如果常用的都支持，个别可以不管。如果某些必要的scheduler目前不支持，那就在oneflow里添加一下吧。

[rentainhe]

先统计一下预计支持哪几种scheduler、目前可以支持哪几种（graph+eager）、暂不支持哪几种，列个清单。如果常用的都支持，个别可以不管。如果某些必要的scheduler目前不支持，那就在oneflow里添加一下吧。

暂时计划是先实现两个，WarmupMultiStepLR和WarmupCosineLR，满足目前训练的需求，后续再开PR添加其他的，可以统计一下，因为有些LR Scheduler可能几乎都用不上，不常见的让用户自己添加即可

[dangkai4u]

WarmupMultiStepLR是什么更新规则，感觉这些不够啊。transformer模型一般会用Inverse square root scheduler训练，用polynomial decay scheduler微调，这两个都支持warmup。咱们的模型主要是transformer，所以这两个应该也支持一下。

[rentainhe]

WarmupMultiStepLR是什么更新规则，感觉这些不够啊。transformer模型一般会用Inverse square root scheduler训练，用polynomial decay scheduler微调，这两个都支持warmup。咱们的模型主要是transformer，所以这两个应该也支持一下。

可以，这些都很好支持，inverse square这个恐怕是要oneflow内部支持