Spyrk-cluster is a data mini-lab, considering the main technologies used these days. It's useful to either understand how to configure a cluster, or just to take it for granted to use for testing with submit or interactive jobs.
O problema persiste mesmo quando se executa spark.stop(). Ao se gerar tabelas do hive via spark-submit, e se gerar um job MapReduce (i.e. fazendo SELECT COUNT(*) [...]), é possível verificar a finalização do processo.
Ao se gerar tabelas via sessão interativa, verifica-se o erro.
Possibilidades: algum problema ao se interagir do modo interativo junto ao modo cluster; ou algum problema de alocação de recursos nos arquivos yarn-site.xml ou mapred-site.xml