yarn-client模式下运行 cluster.LINEExample 用例，checkpoint 步骤报错

[nanyoullm]

yarn-client模式下运行 cluster.LINEExample 用例，checkpoint 步骤报错

[ouyangwen-it]

@ouyangwen-it 我想尝试下设置checkpoint path到hdfs，不过没有找到设置的地方，比如 LINE() 里没有找到对应参数，也许是 pscontext 里？

默认是根据你的output路径的hdfs前缀+/tmp/user路径，你输入输出填的是hdfs路径吗，如果是的话试试spark conf加上 spark.hadoop.fs.defaultFS=hdfs://namenodexxx/(你hdfs集群前缀) 跑下看看

实际上，脚本的输入input 和输出 output 已经是 hdfs 路径了，但是保存 checkpoint 的 tmp 并没有，所以报了如上的错

无奈之举，在注释掉上图 106 行，同时确保 checkpointInterval 大于 epoch 的情况下，跳过 checkpoint 这步可以正常训练，结果输出到了 hdfs
应该是客户端拿不到你的defaultFS，你可以试试spark conf加上 spark.hadoop.fs.defaultFS配置

[nanyoullm]

@paynie

[nanyoullm]

目前该项目没人维护了吗

[nanyoullm]

@leleyu 大佬有空看看吗

[ouyangwen-it]

checkpoint path要hdfs路径

[nanyoullm]

@ouyangwen-it 我想尝试下设置checkpoint path到hdfs，不过没有找到设置的地方，比如 LINE() 里没有找到对应参数，也许是 pscontext 里？

[ouyangwen-it]

@ouyangwen-it 我想尝试下设置checkpoint path到hdfs，不过没有找到设置的地方，比如 LINE() 里没有找到对应参数，也许是 pscontext 里？

默认是根据你的output路径的hdfs前缀+/tmp/user路径，你输入输出填的是hdfs路径吗，如果是的话试试spark conf加上
spark.hadoop.fs.defaultFS=hdfs://namenodexxx/(你hdfs集群前缀) 跑下看看

[nanyoullm]

@ouyangwen-it 我想尝试下设置checkpoint path到hdfs，不过没有找到设置的地方，比如 LINE() 里没有找到对应参数，也许是 pscontext 里？

默认是根据你的output路径的hdfs前缀+/tmp/user路径，你输入输出填的是hdfs路径吗，如果是的话试试spark conf加上 spark.hadoop.fs.defaultFS=hdfs://namenodexxx/(你hdfs集群前缀) 跑下看看

实际上，脚本的输入input 和输出 output 已经是 hdfs 路径了，但是保存 checkpoint 的 tmp 并没有，所以报了如上的错

无奈之举，在注释掉上图 106 行，同时确保 checkpointInterval 大于 epoch 的情况下，跳过 checkpoint 这步可以正常训练，结果输出到了 hdfs

[nanyoullm]

@ouyangwen-it 试了下，这个方法是可以的，谢谢提醒