Engenheiro de dados

Descrição da vaga

A pessoa Engenheira de Dados irá trabalhar junto com nosso Arquiteto de Dados, executando toda a nossa estrutura de engenharia de dados, desde e extração, até a entrega estruturada para o usuário final consumir em relatórios e dashboards.

Estamos crescendo a cada ano e estamos expandindo significativamente nosso portfólio de produtos e serviços para clientes internos.

Responsabilidades e atribuições

• Desenvolver e manter pipelines de ingestão, transformação e carga de dados utilizando Azure Data Factory e demais soluções Azure;
• Construir e evoluir as camadas da arquitetura Medalhão (Raw, Bronze, Silver e Gold) no Databricks com Delta Lake;
• Modelar dados utilizando o padrão Data Vault e criar Delta Tables otimizadas para consumo analítico;
• Monitorar e otimizar jobs Spark, com atenção à eficiência de custo e consumo de DBUs no Databricks;
• Governar dados com Unity Catalog — tags, comentários, qualidade, rastreabilidade e conformidade;
• Participar de discussões de arquitetura, propondo soluções escaláveis e sustentáveis no ecossistema Azure e Databricks.

Requisitos e qualificações

• Ensino superior completo;

Databricks & Cloud:

• Databricks: Delta Lake, Delta Tables, Databricks Workflows e Unity Catalog;
• Azure Data Factory e Azure Data Lake Storage (ADLS);
• Visão de FinOps e otimização de custos em cloud (DBUs, auto-stop, cluster sizing).

Linguagens & Processamento:

• Python, PySpark e SQL para processamento e transformação de dados;
• Boas práticas de desenvolvimento e código limpo.

Integração & Versionamento:

• Versionamento de notebooks e pipelines com Azure DevOps ou GitHub;
• Integração com Power BI via DirectQuery (Serverless SQL Warehouse).

Diferenciais:

• Uso de ferramentas de IA generativa (Claude Code, GitHub Copilot) para acelerar desenvolvimento e qualidade;
• Noções de pipelines de Machine Learning — feature engineering e rastreamento de experimentos com MLflow;
• Experiência com a ferramenta Genie do Databricks.