ENGENHEIRO DE DADOS PLENO

Sobre a vagas

levva: o poder do simples. 💛🖤

Acreditamos que para todo problema existe uma solução simples. Somos uma empresa de transformação digital de Campinas que tem como foco ser agente de transformação de vidas, negócios e pessoas.

Estamos conectados a tudo, e o que nos conecta é um sonho grande.

Responsabilidade e atribuições

Principais responsabilidades

Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados.

Construir soluções utilizando Databricks e Spark para processamento distribuído.

Orquestrar workflows e dependências utilizando Apache Airflow.

Trabalhar com Azure Data Lake Storage e demais serviços da plataforma Azure.

Implementar boas práticas de DataOps, versionamento e automação.

Monitorar e otimizar desempenho, custos e confiabilidade dos processos de dados.

Apoiar análises de incidentes, troubleshooting e correção de problemas em ambientes produtivos.

Requisitos e qualificações

Experiência com engenharia de dados em ambientes cloud.

Conhecimento sólido em SQL.

Experiência com Python para construção de pipelines e automações.

Experiência com Databricks (Spark, notebooks, jobs e processamento distribuído).

Experiência com Apache Airflow para orquestração de pipelines.

Conhecimento de Azure Data Lake Storage (ADLS Gen2) e arquitetura de armazenamento de dados.

Conhecimento em Git e práticas de versionamento.

Entendimento de modelagem de dados analítica (fatos, dimensões e camadas de dados).

Conhecimento de governança de dados, catálogo e controle de acesso utilizando Unity Catalog.

Experiência na identificação e resolução de problemas em pipelines de dados.