Data Engineer Pleno

Descrição

O time de engenharia de dados da EvcomX é responsável por construir e manter toda a infraestrutura que permite aos nossos cientistas de dados e clientes transformarem dados brutos em valor de negócio. Trabalhamos com arquitetura medallion em ambientes Databricks, processando grandes volumes de dados industriais e garantindo que pipelines críticas de produção operem com alta disponibilidade.

Nossos engenheiros de dados atuam próximos aos cientistas de dados, apoiando desde a experimentação até a operacionalização de modelos em produção, incluindo pipelines de inferência em near-real-time que impactam diretamente as operações dos nossos clientes.

Responsabilidades e atribuições

• Desenvolver e manter pipelines de dados escaláveis utilizando Spark e Delta Lake,
• Garantir a qualidade e disponibilidade dos dados para times de ciência de dados e para as aplicações,
• Construir e operar pipelines de produção para inferência de modelos de ML,
• Implementar estratégias de data quality e testes em pipelines de dados,
• Colaborar na evolução da arquitetura de dados seguindo padrões como medalhão,
• Otimizar performance das pipelines,
• Arquiteturas de dados em larga escala para indústria,
• Pipelines de produção para aplicações de machine learning,
• Boas práticas de data quality e governança de dados,
• Visão de negócio aplicada a problemas industriais reais.
  
  

• Experiência de 2 a 4 anos atuando com engenharia de dados,
• Experiência sólida com Apache Spark (preferencialmente PySpark),
• Familiaridade com arquiteturas de Data Lakehouse e formatos colunares (Delta, Parquet),
• Experiência com controle de versão usando Git e boas práticas de programação e código limpo,
• Capacidade de comunicar e discutir soluções técnicas com diferentes perfis.