Analista / Engenheiro de Dados PL

Missão e escopo do cargo

Projetar, implementar e otimizar arquiteturas de ingestão e processos ETL ou ELT, assegurando qualidade, governança, segurança e eficiência, além de apoiar a evolução da plataforma por meio de automação e padronização.

Principais responsabilidades

• Desenvolver extratores e conectores para APIs, bancos, sistemas legados, arquivos e serviços em nuvem.
• Construir pipelines batch, streaming e quase em tempo real com Python, SQL, Spark, Databricks, AWS Glue, Airflow ou Azure Data Factory.
• Implementar cargas incrementais, captura de alterações, versionamento, testes, tratamento de erros e implantação controlada.
• Automatizar infraestrutura com Terraform ou CloudFormation e documentar fluxos, dependências e contratos de dados.
• Garantir qualidade, catalogação, linhagem, classificação, retenção e controle de acesso
• Definir padrões técnicos e disseminar boas práticas de engenharia, governança e arquitetura de ingestão de dados, com atuação em sobreaviso quando necessário.

Requisitos técnicos

• Experiência em engenharia e ingestão de dados, com domínio na definição de estratégias de extração adequadas às diferentes fontes de dados e necessidades do negócio.
• Sólido conhecimento em padrões de arquitetura de dados e ferramentas de integração, desenvolvendo processos de extração tanto por meio de programação (code-based) quanto com soluções low-code/no-code.
• Experiência em linguagens e tecnologias como Python, SQL e Spark, além de processos ETL/ELT, orquestração de pipelines e plataformas de dados em nuvem, garantindo escalabilidade, governança e eficiência no tratamento e disponibilização das informações.

Conhecimentos esperados:

• AWS, Azure e GIT; Databricks e Airflow
• Terraform ou CloudFormation; Git, integração e entrega contínuas e testes automatizados.
• APIs REST e processamento batch ou streaming.
• Prometheus e ELK
• LGPD, segurança e privacidade de dados.

Competências comportamentais

• Comunicação clara, visão sistêmica, pensamento analítico, proatividade, colaboração, adaptabilidade, autonomia, inovação e foco em resultados.

Formação e certificações

• Graduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou área correlata. Certificações Databricks e AWS.