Engenheiro de Dados Pleno

Buscamos uma pessoa para atuar como Engenheira(o) de Dados Pleno, com foco em desenvolvimento de pipelines e governança de dados no ecossistema Databricks. Neste cargo, você fará parte do time de Dados e Analytics da ID Data, colaborando diretamente em projetos para clientes de grande porte — contribuindo para a entrega de dados confiáveis, bem modelados e prontos para gerar valor de negócio.

Para ter sucesso neste cargo, é importante combinar boa capacidade técnica em engenharia de dados com autonomia, atenção à qualidade e vontade de evoluir em um ambiente orientado a dados. A pessoa ideal se sente confortável tanto na construção de pipelines robustos quanto na comunicação de decisões técnicas com o time.

Este cargo se encaixa no núcleo de engenharia de dados da ID Data, atuando lado a lado com engenheiros sêniores e cientistas de dados, e reportando à liderança técnica de dados. A posição tem impacto direto na qualidade das entregas aos clientes e no amadurecimento das práticas de dados da empresa.

• Desenvolver e manter pipelines de ingestão, transformação e entrega de dados (ETL/ELT) utilizando Databricks e PySpark, garantindo confiabilidade e escalabilidade das soluções
• Modelar dados em diferentes camadas (bronze, silver e gold), aplicando técnicas de modelagem dimensional e normalização conforme o contexto do projeto
• Implementar e manter código Python orientado a objetos (OOP), garantindo reutilização, testabilidade e manutenibilidade das soluções de engenharia
• Otimizar tabelas Delta Lake, assegurando performance nas consultas, particionamento adequado e integridade dos dados ao longo do ciclo de vida
• Colaborar na implementação e manutenção da governança de dados com Unity Catalog, incluindo definição de catálogos, schemas e políticas de acesso
• Automatizar fluxos de dados e orquestrar jobs utilizando Databricks Workflows e a Jobs API, incluindo mecanismos de parametrização e controle de execução
• Trabalhar com armazenamento em nuvem, garantindo integração correta com os ambientes de dados dos clientes
• Aplicar boas práticas de qualidade de dados, incluindo validações, testes de pipeline e monitoramento de anomalias
• Documentar arquiteturas, dependências de processos e decisões técnicas, contribuindo para o conhecimento coletivo do time
• Participar de revisões de código e contribuir ativamente para a evolução das práticas de engenharia dentro do time
• Identificar e propor melhorias de performance, custo e manutenibilidade nas soluções existentes

• Experiência prática com Databricks
• Domínio de Python e PySpark para desenvolvimento de pipelines de dados em larga escala
• Boas competências em SQL avançado, incluindo otimização de queries e modelagem de dados
• Experiência com ambientes de nuvem.
• Familiaridade com controle de versão utilizando Git e fluxos colaborativos de desenvolvimento
• Capacidade de trabalhar de forma autônoma, com boa gestão de tempo e prioridades em projetos simultâneos
• Competências de comunicação escrita e verbal para documentação técnica e alinhamento com equipes multidisciplinares