Engenheiro de Dados I

Descrição:

Buscamos um(a) Engenheiro(a) de Dados Júnior para atuar de forma dedicada (168h/mês) no projeto de Conciliação Financeira do Familhão. O profissional irá trabalhar diretamente na plataforma Databricks, desenvolvendo pipelines distribuídos com Apache Spark e Python para suportar os processos de reconciliação financeira garantindo qualidade, rastreabilidade e performance no processamento de grandes volumes de dados.

Responsabilidades:

• Desenvolver e manter pipelines de dados com PySpark no Databricks para os fluxos de conciliação financeira
• Construir e otimizar notebooks e jobs Databricks para ingestão, transformação e validação de dados
• Trabalhar com Delta Lake para garantir transações ACID, versionamento e qualidade dos dados
• Escrever código Python limpo e reutilizável para automação de processos de dados financeiros
• Colaborar com equipes de negócio e finanças para entender regras e critérios de conciliação
• Identificar e corrigir inconsistências em bases de dados financeiros com rastreabilidade
• Documentar fluxos, pipelines e lógicas de transformação de dados
  
  

• Python intermediário — orientação a objetos, funções, tratamento de erros e boas práticas;
• Apache Spark / PySpark — DataFrames, transformações, particionamento e otimização de jobs;
• Databricks — notebooks, clusters, workflows/jobs e Unity Catalog (ou Hive Metastore);
• SQL avançado — consultas analíticas, window functions, CTEs e otimização de queries;
• Delta Lake — operações MERGE, Time Travel e gerenciamento de tabelas Delta;
• Controle de versão com Git (commits, branches, pull request).