kanchishimono/spark-on-k8s-images

Docker images for spark on kubernetes

spark-on-k8s-images

Docker images for spark on kubernetes

Name	Description
spark	Spark image for Spark on k8s. This image built on the image that built by official tool docker-image-tool.sh.
pyspark	PySpark image for Spark on k8s. Install PySpark on Spark image.
pyspark-jupyter	Install Jupyter Lab Server on PySpark image.

TAG

Docker image tag is named from GitHub event following rules

Event	Ref	Docker Tag	Pushed
pull_request	refs/pull/2/merge	pr-2	No
push	refs/heads/master	master	Yes
push	refs/heads/my/branch	my-branch	Yes
push tag	refs/tags/v1.2.3	v1.2.3, v1.2, v1, latest	Yes

spark-on-k8s-images's Issues

Directory for spark history server events is created unexpected location

Spark history server用eventディレクトリ作成時に想定通りの挙動になっていない。

1. デフォルト値の設定スキーマが間違っており、/が余分に多い
2. ワークディレクトリ配下にfile://tmp/spark-eventsというディレクトリが作成される。またs3への出力にも対応できない。

Dockerイメージ名再構成

Migrate to GitHub Actions

Docker ImageのビルドをGitHub Actionsへ移行する。

タグ付与、docker build actionサポートはGitHub Actionsの方が機能が充実しているため。

Spark driver java process became to zombie process

Notebookで取得したSparkSessionをcloseしたにも関わらず、NotebookのPythonカーネルをシャットダウンするとdriver java processがゾンビ (defunct) プロセスとして残る。
Docker PID 1問題のため。

Cause

• SparkSessionをcloseしてもNotebookのカーネルの子プロセスとして起動されたdriver javaプロセスは残る (py4jの仕様？)
• カーネルシャットダウンすると子のjavaプロセスが孤立する
• PID 1がJupyter Serverプロセスなので孤立したjavaプロセスの終了メッセージをキャッチできない (PID 1問題)

Resolution

• tiniを使ってJupyter Serverを起動する

References

• https://blog.phusion.nl/2015/01/20/docker-and-the-pid-1-zombie-reaping-problem/

イメージバージョン管理のため、良い感じのタグを振りたい

今は全部latest

Docker Imageの権限を修正する

事象

SparkSession取得時にspark.jars.packagesオプションで外部パッケージを導入すると、処理実行時にエラーが発生する。

Driverノードにダウンロードされたjarをexecutorに配布する際にコピーエラーが発生している模様。

java.nio.file.AccessDeniedException: ./org.mortbay.jetty_jetty-6.1.26.jar
	at sun.nio.fs.UnixException.translateToIOException(UnixException.java:84)
	at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
	at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
	at sun.nio.fs.UnixCopyFile.copyFile(UnixCopyFile.java:243)
	at sun.nio.fs.UnixCopyFile.copy(UnixCopyFile.java:581)
	at sun.nio.fs.UnixFileSystemProvider.copy(UnixFileSystemProvider.java:253)
	at java.nio.file.Files.copy(Files.java:1274)
	at org.apache.spark.util.Utils$.org$apache$spark$util$Utils$$copyRecursive(Utils.scala:664)
	at org.apache.spark.util.Utils$.copyFile(Utils.scala:635)
	at org.apache.spark.util.Utils$.fetchFile(Utils.scala:502)
	at org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$Executor$$updateDependencies$3.apply(Executor.scala:804)
	at org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$Executor$$updateDependencies$3.apply(Executor.scala:801)
	at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733)
	at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:130)
	at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:130)
	at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:236)
	at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40)
	at scala.collection.mutable.HashMap.foreach(HashMap.scala:130)
	at scala.collection.TraversableLike$WithFilter.foreach(TraversableLike.scala:732)
	at org.apache.spark.executor.Executor.org$apache$spark$executor$Executor$$updateDependencies(Executor.scala:801)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:375)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)

対策

1. MasterとWorkerのSpark実行ユーザーを揃える
   • 現在はMasterがroot、Workerがuid=185で別のユーザーになっている
2. WorkerのSPARK_HOME以下を777権限にする
   • こちらは動作確認済

参考

• https://stackoverflow.com/questions/50477893/file-access-error-running-spark-on-kubernetes

使われてないWorkerフォルダ内を削除し、今使用しているDockerfileに置き換える