forkfox/airflow-postgres-superset-on-docker

End to end data pipeline with Apache Airflow, Postgres and Apache Superset

Airflow + Postgres + Superset

Architektura

Uruchamianie

git clone [email protected]:finloop/airflow-postgres-superset-on-docker.git
cd airflow-postgres-superset-on-docker

Do uruchomienia serwisów potrzebne będzie id aktualnego użytkownika, które należy umieścić w pliku .env i przypisać do zmiennej AIRFLOW_UID. W systemie linux id aktualnego użytkownika można pobrać poleceniem:

id -u

Przykładowy plik .env wygląda następująco:

AIRFLOW_UID=1000

I ostatecznie uruchamiamy wszystkie serwisy:

docker-compose up

Po ich uruchomieniu należy umieścić przykładowe dane w bazie. Robimy to:

python init-postgres.py

Serwisy WWWW

• pgAdmin
• Airflow
• Superset

Pozostałe serwisy dostępne dla hosta

• client-postgres: localhost:5051
• warehouse-postgres: localhost:5052

Mapy w Apache Superset

Aby mapyw Apache Superset działały potrzebny będzie klucz do API. Moża go pozyskać za darmo tutaj: Mapbox. Należy go umieścić w pliku superset/docker/.env-non-dev jako MAPBOX_API_KEY. W następujący sposób:

MAPBOX_API_KEY='YOUR_API_KEY_FROM_MAPBOX1234567890'

Baza klienta

Aby korzystać z bazy klienta (nie włączająć pozostałych serwisów) należy użyć polecenia:

docker-compose up client-postgres pgadmin

Adres bazy (dla pgAdmina): client-postgres:5432

Konfiguracja bazy i pgAdmin:

POSTGRES_USER: postgres
POSTGRES_PASSWORD: postgres
POSTGRES_DB: postgres
PGADMIN_DEFAULT_EMAIL: [email protected]
PGADMIN_DEFAULT_PASSWORD: admin