dataqualitySpark/docker-compose.yml at main · adeuk-a/dataqualitySpark · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
version: '3.8'

services:
  # Define o serviço que chamaremos de 'pyspark-aula'
  pyspark-aula:
    # 1. Usa a imagem do Dockerfile local
    build: .
    # 2. OU usa a imagem oficial diretamente (mais rápido se não houver customização), porem customizamos o usuario
    # image: jupyter/pyspark-notebook

    container_name: pyspark_aula_container

    # Mapeia as portas
    ports:
      - "8888:8888" # Porta do Jupyter Notebook
      - "4040:4040" # Porta da UI do Spark (importante para monitorar os jobs!)

    # Mapeia o diretório local para o contêiner (Persistência dos arquivos)
    volumes:
      # Cria um diretório 'notebooks' na raiz do seu projeto local
      # e o mapeia para o WORKDIR do contêiner.
      - ./notebooks:/home/tavares/work
      # Mapeia um diretório 'data' para guardar os arquivos Parquet/ORC
      - ./data:/home/tavares/data

    # Variáveis de ambiente
    environment:
      # Token de acesso ao Jupyter (opcional, mas recomendado para segurança)
      - JUPYTER_TOKEN=tavares1234
      # Configurações do Spark (opcional, mas bom para aumentar a memória para testes)
      - SPARK_DRIVER_MEMORY=4g
      - SPARK_EXECUTOR_MEMORY=4g

    # Reinicia o contêiner em caso de falha
    restart: always