Engenheiro de Dados (GCP)

Sobre a vaga:

Estamos em busca de uma pessoa Engenheira de Dados para integrar nosso time e atuar na construção, otimização e manutenção de pipelines de dados escaláveis, garantindo a qualidade, governança e eficiência no processamento e armazenamento de dados. Você será essencial para integrar, transformar e disponibilizar dados de maneira confiável para análise e tomada de decisão. Além disso, atuará como Referência Técnica do time de Data & Analytics, suportando as iniciativas mais inovadoras e ousadas do nosso cotidiano, sempre seguindo boas práticas de desenvolvimento e arquitetura de dados moderna.

Responsabilidades:

✔ Desenvolver e otimizar pipelines de dados (Batch) performáticos e escaláveis para ingestão de dados estruturados, semi-estruturados e não estruturados ao nosso Data Lake (GCS).

✔ Desenvolver e gerenciar cargas de ETL/ELT para processamento de dados em Spark/SQL para alimentar as camadas Trusted (Silver) e Refined (Gold) em nosso Data Warehouse (BigQuery).

✔ Atuar na consolidação e modelagem de dados de fontes internas e externas a fim de viabilizar iniciativas de Analytics, Business Intelligence, Data Science, GenAI e Produtos de Dados.

✔ Desenvolver integrações de dados online (Streaming) para ingestão e processamento de dados na GCP.

✔ Projetar e implementar arquiteturas de dados eficientes, otimizando tempo de desenvolvimento, performance e custo computacional.

✔ Replicar regras de negócio no processo de transformação de dados para a geração de novos datasets.

✔ Criar e manter processos robustos de Data Quality, Data Assurance, Linhagem e Versionamento de Dados.

✔ Apoiar e suportar tecnicamente os membros do time em discussões arquiteturais de dados e melhores práticas.

Requisitos:

✔ Sólida experiência em Engenharia de Dados, com foco em ETL/ELT, modelagem de dados e integração de fontes diversas.

✔ Domínio avançado em Google Cloud Platform (GCP), especialmente nas soluções BigQuery, Dataflow, Pub/Sub, Cloud Storage, Cloud Functions e Cloud Composer.

✔ Domínio de programação em Python voltada para engenharia de dados.

✔ Domínio de SQL Avançado, incluindo técnicas de otimização de consultas e modelagem de bancos de dados relacionais e analíticos (BigQuery, PostgreSQL, Snowflake ou Redshift).

✔ Experiência com orquestração e automação de workflows utilizando Apache Airflow / Cloud Composer.

✔ Familiaridade com arquitetura de Data Lakes e Data Warehouses modernos, garantindo alta escalabilidade.

✔ Conhecimento das boas práticas de governança, segurança de dados e compliance (LGPD/GDPR), incluindo controle de acessos (IAM) e data lineage.

Diferenciais:

➕ Experiência prática com ferramentas de infraestrutura como código (Terraform).

➕ Vivência com pipelines de CI/CD para automação de deploy de dados.

➕ Experiência avançada em processamento e streaming de dados em tempo real utilizando Kafka ou Pub/Sub.

➕ Conhecimento em outras ferramentas de orquestração modernas (como Prefect).

Modelo de trabalho

Híbrido (2x por semana presencial na região da Faria Lima, São Paulo)

O que você encontrará na Maitha

🚀 Experiência de Desenvolvimento Individual de soft skills e acompanhamento em toda a jornada;

🚀 Gestão de bem-estar com acompanhamento de métricas e indicadores sobre a evolução de satisfação;

🚀 Treinamentos, workshops e meetups para evolução de soft e hard skills;

🚀 Rewards com programa de pontos e premiações;

🚀 TotalPass com várias opções de planos e mais de 250 modalidades, como musculação, cross training, yoga, dança e muito mais;

🚀 E muito mais!