Engenheiro de Dados Pleno

Procuramos uma pessoa para a posição de Engenheiro(a) de Dados Pleno, com o desafio de estruturar a infraestrutura, garantindo autonomia às áreas de negócio.

Atividades

• Desenvolver, manter e evoluir pipelines de dados end-to-end para ingestão, tratamento e disponibilização de dados nas camadas Bronze, Silver e Gold do Datalake, garantindo qualidade e performance das entregas.
• Construir, otimizar e propor melhorias em rotinas de ETL/ELT com PySpark e SQL sobre a plataforma Databricks, aplicando e evoluindo os padrões de arquitetura Medallion definidos pelo time.
• Conduzir a integração de dados a partir de múltiplas fontes: bancos relacionais (SQL Server, PostgreSQL, Oracle), APIs REST, arquivos e sistemas transacionais (ERP Sankhya), com autonomia para definir a melhor abordagem técnica em cada caso.
• Atuar na migração de cargas e modelos do BigQuery/GCP para o ambiente AWS/Databricks, contribuindo com decisões técnicas e na identificação de riscos e pontos de atenção.
• Definir e implementar rotinas de qualidade de dados, testes e validações, monitorando a consistência e a completude das entregas e propondo melhorias contínuas nos processos de validação.
• Monitorar a execução de jobs e orquestrações (Airflow), atuando com autonomia na identificação, diagnóstico e correção de falhas nos pipelines.
• Documentar e manter atualizados fluxos, tabelas, dicionários de dados e regras de negócio no catálogo corporativo (Unity Catalog), zelando pela qualidade da documentação do time.
• Aplicar e disseminar as diretrizes de Governança de Dados, segurança e controle de acesso definidas pela área.
• Atuar como referência técnica para analistas de dados e áreas de negócio, apoiando na disponibilização, no entendimento e na correta utilização dos dados modelados.
• Participar ativamente das cerimônias do time e das rotinas de sustentação, propondo e conduzindo iniciativas de melhoria contínua de performance e custo dos processos.
  
  

Cidade: Sao Paulo - São Paulo