-
Python 3.6+
-
Установленная Java/OpenJDK версии 11 или выше.
Проверить установку из терминала (Linux/macOs):
java -version openjdk version "15.0.1" 2020-10-20 OpenJDK Runtime Environment (build 15.0.1+9) OpenJDK 64-Bit Server VM (build 15.0.1+9, mixed mode, sharing)
-
Делаем виртуальное окружение Python:
python3 -m venv venv source venv/bin/activate
-
Активируем окружение:
# Linux, macOs source venv/bin/activate # Windows venv\Scripts\activate.bat
Официальная инструкция по активации окружения.
-
Ставим pyspark из
pip
:(venv) pip install pyspark
Установленный Docker.
Будем использовать образ Jupyter notebooks с установленным Apache Spark.
Запускаем контейнер в интерактивном режиме:
docker run -it -p 8888:8888 -p 4040:4040 -v $(pwd):/home/jovyan/work jupyter/pyspark-notebook
Остановка контейнера по CTRL + C.
- Заходим на https://colab.research.google.com/
- Выбираем вкладку GitHub и вставляем ссылку на стартовый ноутбук с нужным кодом:
https://github.com/oleg-agapov/getting-started-with-pyspark-ru/blob/master/practice-1/notebooks/google_collab_pyspark.ipynb
- Вверху справа нажимаем Connect чтобы запустить окружение
- Выполняем инструкции из ноутбука чтобы установить PySpark
Для своих целей не обязательно клонировать ноутбук, можно просто установить пакет pyspark
и начать работать.