Nossa missão é fornecer o melhor ensino em engenharia de dados
Se você quer:
- Construir uma base sólida em Python e SQL
- Aprender as principais habilidades e ferramentas de engenharia de dados
- Criar ou melhorar seu portfólio de dados
- Criar ou aumentar o seu networking na área
- Mudar ou dar o próximo passo em sua carreira
A Jornada de Dados é o seu lugar
Para conhecer mais sobre o projeto participe do nosso workshop aberto
| Data | Workshop | Horário e canal |
|---|---|---|
| 24/01 | Automacao Data Quality Excel ETL | gravação na plataforma de alunos |
| 27/01 | Projeto e processos do Zero | gravação na plataforma de alunos |
| 24/02 | Pydantic, Data Quality e TDD em dados | gravação na plataforma de alunos |
| 09/03 | Docker para analista e engenheiro de dados: ajudando o seu deploy | 09h Google Meet |
| 12/03 | ETL com Python do Zero ao Deploy | 20h Youtube |
| 23/03 | Orquestrando suas ETLs com Airflow | 09h google meet |
| 15/04 | Explorando noSQL com Redis e Mongodb, flexibilidade para sua ETL | 09h google meet |
| 27/04 | restAPI fastAPI Deploy | 09h google meet |
| 11/05 | Kafka Streaming data processing | 09h google meet |
| 25/05 | Amazon SNS, SQS e Rabbit MQ | 09h google meet |
| 08/06 | Infra as a Code com Terraform | 09h google meet |
| 06/07 | Prometheus Datadog Sentry Monitoramento | 09h google meet |
| 20/07 | Machine Learning Ops | 09h google meet |
| 03/08 | Databricks e Fabric, nosso DW de milhoes | 09h google meet |
Um workshop focado em Python e SQL voltado para engenharia de dados
| Data | Workshop | Horário |
|---|---|---|
| Data | Workshop | Horário |
| --- | --- | --- |
| 19/02 | Python, Git e VScode: Python do Zero | 12am |
| 20/02 | TypeError, Type Check, Type Conversion, try-except e if | 12am |
| 21/02 | Controle de Fluxo: DEBUG, IF, FOR, While, Listas e Dicionários | 12am |
| 22/02 | Tipos complexos e Type Hint (Dicionários vs DataFrames Vs Tabelas Vs Excel) | 12am |
| 23/02 | Projeto 01: Leitura e Escrita de Arquivos, lendo 1 bilhão de linhas | 12am |
| 26/02 | Exercício de revisão | 12am |
| 27/02 | Funções em Python e Estrutura de Dados - Parte 1 | 12am |
| 28/02 | Funções em Python e Estrutura de Dados - Parte 2 | 12am |
| 29/02 | Funções em Python e Estrutura de Dados - Parte 3 | 12am |
| 01/03 | Aula de revisão | 12am |
| 04/03 | Introdução a POO | 19pm |
| 05/03 | Introdução às Classes em Python - Parte 01 | 19pm |
| 06/03 | Introdução às Classes em Python - Parte 02 | 19pm |
| 07/03 | Herança e Polimorfismo | 19pm |
| 08/03 | Criando nosso Duckdb | 19pm |
| 11/03 | Aula de revisão | 12am |
| 12/03 | Introdução a ORMs | 12am |
| 13/03 | Projeto 02: SQLAlchemy e fazendo CRUD parte 1 | 12am |
| 14/03 | Projeto 02: SQLAlchemy e fazendo CRUD parte 2 | 12am |
| 15/03 | Aula de revisão | 12 am |
| 18/03 | Introdução ao SQL: Seleção e Filtragem de Dados com Duckdb | 12am |
| 19/03 | Junções, Subqueries e Agregações com Duckdb | 12am |
| 20/03 | Inserção, Atualização e Deleção de Dados com Postgres | 12am |
| 21/03 | SQL Avançado: Funções de Janela e CTEs com Postgres | 12am |
| 22/03 | Introdução ao ETL com SQL | 12am |
| 25/03 | Projeto 03: Transformação de Dados parte 01 | 12am |
| 26/03 | Projeto 03: Transformação de Dados parte 02 | 12am |
| 27/03 | Projeto 03: Automatização de ETL e Triggers | 12am |
| 28/03 | Projeto 03: Deploy de Bancos de Dados | 12am |
| 29/03 | Projeto 03: Índices e Performance Tuning | 12am |
| 01/04 | Otimização de Consultas e Plano de Execução | 12am |
| 02/04 | Introdução a ORMs | 12am |
| 03/04 | Projeto 04: Aplicando ORMs: SQLAlchemy e fazendo CRUD parte 1 | 12am |
| 04/04 | Projeto 04: SQLAlchemy e fazendo CRUD parte 2 | 12am |
| 05/04 | Projeto 04: SQLAlchemy e fazendo CRUD parte 3 | 12am |
| 08/04 | Projeto 05: Mkdocs e documentação | 12 am |
| 09/04 | Projeto 06: Lendo 1 trilhão de linhas parte 1 | 12 am |
| 10/04 | Projeto 06: Lendo 1 trilhão de linhas parte 2 | 12 am |
| 11/04 | Projeto 07: Criando nosso dashboard com Streamlit | 12am |
| 12/04 | Projeto 07: Criando nosso dashboard com Streamlit | 12am |
Tutorial de como configurar um ambiente de desenvolvimento Python com foco no mercado de trabalho
Passo a passo para você criar os seus projetos do Zero de forma profissional
- Configuracao Python
- Configuracao Git e Github
- Configuracao VSCode
- Compreender a importância dos ambientes virtuais para o desenvolvimento em Python.
- Aprender a criar e gerenciar ambientes virtuais utilizando
pip,pipx,venvepoetry. - Explorar as vantagens e casos de uso de cada ferramenta.
- Compreender o conceito de variáveis e sua importância na programação.
- Aprender a declarar e atribuir valores às variáveis em Python.
- Explorar os tipos de dados simples suportados por Python.
- Discutir boas práticas para nomear variáveis.
- Compreender a diferença entre listas e tuplas em Python.
- Aprender a criar, acessar e manipular listas e tuplas.
- Explorar métodos e operações comuns aplicáveis a listas e tuplas.
- Dicionários: criação, chave-valor, métodos
- Conjuntos: criação, operações de conjunto, métodos
Aula 05 | Dia 23 as 12:00am Controle de Fluxo: if, else, for loops e while, Exceções e Manipulação de Erros
- Estruturas condicionais com if, else, e elif
- Loops com for para iterar sobre sequências
- Uso de loops while para execução condicional
- Exercícios práticos para reforçar o aprendizado
- Introdução a exceções e como elas são usadas em Python
- Tratamento de exceções com blocos try e except
- Utilização de else e finally em manipulação de erros
- Levantando exceções com raise e práticas recomendadas
- Revisao variaveis, tipos e fluxos
- Projeto 01
- Projeto 02
- Métodos básicos de strings: encontrar, substituir, dividir
- Concatenação, fatiamento, e formatação de strings
- Exercícios práticos para manipulação de strings
- Definição e chamada de funções
- Argumentos e retorno de valores
- Exemplos práticos e exercícios para solidificar o entendimento
- Abrindo e lendo arquivos, incluindo o uso de with para gerenciamento automático de recursos
- Escrevendo em arquivos, tratando tanto texto quanto binário
- Dicas para práticas seguras com arquivos Exercícios de aplicação para consolidar o aprendizado
- Instalando e importando a biblioteca Pandas
- Estruturas de dados do Pandas: Series e DataFrame
- Carregando dados de um arquivo para um DataFrame
- Operações básicas com Pandas: filtragem, seleção e manipulação de dados
- Exercícios práticos com datasets reais para aplicar os conceitos aprendidos
Esta estrutura oferece uma introdução abrangente e acessível ao Python, começando com operações fundamentais de strings, passando por controle de exceções, introdução a funções, manipulação de arquivos e, finalmente, utilizando uma biblioteca externa popular como o Pandas. Cada aula é projetada para construir a base de conhecimento do aluno gradualmente, permitindo-lhes aplicar o que aprenderam em exemplos e exercícios práticos, preparando-os efetivamente para trabalhos mais avançados com Python no futuro.
- Introdução às funções: definição, chamadas e retornos
- Parâmetros de funções: obrigatórios, opcionais e argumentos de palavra-chave
- Escopo de variáveis: global vs. local
- Funções anônimas (lambda)
- Decoradores: modificando o comportamento das funções
- Funções geradoras e a palavra-chave
yield
- Conceitos básicos de classes e objetos
- Definindo classes: atributos, métodos e o
__init__ - Criando e interagindo com instâncias de objetos
- Conceitos de herança: criando subclasses
- Sobrescrevendo métodos e uso de
super() - Polimorfismo e métodos mágicos (dunder methods)
- Composição vs. Herança: melhores práticas
- Encapsulamento: protegendo os dados da classe
- Métodos estáticos e de classe
- Princípios fundamentais da OOP: encapsulamento, herança, e polimorfismo
- Aplicando conceitos de OOP em Python
- Exemplos e exercícios práticos
- Introdução a padrões de projeto: Singleton, Factory, Strategy
- Implementando padrões de projeto em Python
- Discussão sobre quando e por que usar cada padrão
- Testes unitários com
unittest - Mocking e testando comportamentos em OOP
- Melhores práticas para testar código orientado a objetos
- Desenvolvendo um projeto prático utilizando OOP
- Planejamento, implementação e revisão de um projeto Python orientado a objetos
- Dicas para estruturação e organização de projetos maiores
- Revisão dos conceitos chave de OOP em Python
- Início do projeto final: aplicando OOP para resolver um problema prático
- Orientações para continuação do aprendizado em Python e próximos passos
Nossa missão é fornecer o melhor ensino em engenharia de dados
Se você quer:
- Construir uma base sólida em Python e SQL
- Aprender as principais habilidades e ferramentas de engenharia de dados
- Criar ou melhorar seu portfólio de dados
- Criar ou aumentar o seu networking na área
- Mudar ou dar o próximo passo em sua carreira
A Jornada de Dados é o seu lugar
Acredito no ensino ao vivo, são 13 workshops no total
Os encontros são aos sábados ás 9 horas, são 4 horas de workshop
- Criando uma colletor de excel em python
- Qualidade com Pydantic
- Versionamento com Git e Github
- Documentando com Mkdcos
- Observabilidade com Sentry
- UI com Streamlit (se eu não achar nada mais fácil até lá)
- Introdução aos 12 fatores
- Versionamento com Git e Github
- Migrando para Python 3.12 com Pyenv
- Ambiente virtual com PIP, Poetry e Conda
- Documentação com Mkdocs
- Teste sua aplicação com Pyenv
- Criando um fluxo de trabalho com pré-commit
- Estruturando uma PR e criando um processo
- Garantindo conformidade com CI/CD
- Pydantic para Modelagem de Dados
- Garantindo Qualidade de Dados
- Test-Driven Development em Dados com Pytest
- Estratégias de Validação de Dados
- Pydantic e TDD: Casos Práticos
- Fundamentos de Infraestrutura para Dados
- Linux Essencial para Engenheiros de Dados
- Docker: Containerização em Dados
- Criando Ambientes de Dados com Docker
- Melhores Práticas em Infra de Dados
- Introdução ao Airflow para Orquestração
- Configurando Airflow: Melhores Práticas
- Desenvolvendo Workflows Eficientes no Airflow
- Deploy de Workflows com Airflow
- Monitoramento e Troubleshooting no Airflow
- Introdução ao NoSQL: Redis e MongoDB
- Redis para Caching e Gerenciamento de Dados
- MongoDB: Modelagem e Consultas
- Comparativo NoSQL: Redis vs MongoDB
- Casos de Uso: Redis e MongoDB
- Desenvolvendo REST APIs Eficientes
- FastAPI: Criação e Documentação
- Estratégias de Deploy para APIs
- Segurança e Escalabilidade em APIs
- APIs com FastAPI: Estudos de Caso
- Introdução ao Processamento de Streaming
- Apache Kafka: Fundamentos e Práticas
- Desafios no Streaming de Dados
- Casos Práticos Kafka
- Mensageria com Amazon SNS e SQS
- RabbitMQ: Configuração e Uso
- Comparação: SNS, SQS, RabbitMQ
- Padrões de Mensageria na Cloud
- Casos de Uso em Sistemas Distribuídos
- Introdução a Infraestrutura como Código
- Terraform: Conceitos Básicos
- Gerenciando Cloud com Terraform
- Segurança e Compliance com Terraform
- Terraform: Casos de Uso Práticos
- Monitoramento com Prometheus
- Datadog para Observabilidade de Dados
- Sentry para Gestão de Erros
- Integrando Prometheus, Datadog e Sentry
- Melhores Práticas de Monitoramento
- Introdução ao MLOps
- Ciclo de Vida de Modelos ML
- Automação e Orquestração em ML
- Monitoramento e Governança de ML
- Casos Práticos de MLOps
- Databricks: Plataforma de Big Data
- Fabric: Gestão de Dados em Escala
- Arquiteturas de Data Warehouse
- Databricks e Fabric: Integração
- DW de Milhões: Desafios e Soluções
Para você aproveitar ao máximo do curso, é importante que você se sinta confortável com SQL e uma experiência com Python também será útil, ideal que você tenha entre 1 e 2 anos trabalhando com dados.
Caso você não tenha de 1 a 2 anos na área terá que estudar muito SQL e Python em paralelo, acredito que ao menos 1h por dia de estudos fora os Workshops.
Mas fique tranquilo, temos o nosso Bootcamp de 100 dias de Python e SQL para te colocar no shape.
Aqui é o lugar certo para aprender Python e SQL voltado para a engenharia de dados
Alternativamente, você pode acessar nossa plataforma, nossa aplicação disponibiliza uma plataforma bem user-frindly para você pode acessar ao material do curso
- Fale comigo Link do Linkedin
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent