Engenheiro de Plataforma de Dados

Mandatório

Formação acadêmica em computação ou áreas relacionadas

Responsabilidades

● Implantar e manter DAGs no Apache Airflow, incluindo dependências, parâmetros, retries, execuções manuais, agendamentos e validação de imports;

● Configurar ambientes Python com Conda, dependências de runtime, pacotes internos, ferramentas de teste e instalação de projetos em modo editável ou versionado;

● Administrar variáveis de ambiente, Airflow Variables, Airflow Connections, secrets, credenciais de serviço e parâmetros operacionai;

● Garantir disponibilidade de paths, buckets, tabelas, permissões e convenções de particionamento para RAW, Silver, Golden Record e Gold;

● Sustentar persistência em Parquet e PostgreSQL, incluindo criação de tabelas, validação de schemas, inserts idempotentes, reprocessamento e historização;

● Monitorar execuções, analisar logs, diagnosticar falhas e atuar em incidentes relacionados a credenciais, ausencia de particoes, timeouts, rate limits, memória, conectividade, contratos inválidos e dados fora do esperado;

● Executar validações operacionais antes de releases: checks de contrato, smoke tests, testes unitários, lint, compilação de DAGs e execuções locais controladas;

● Apoiar versionamento, merges, pulls, releases, rollback e sincronização de branches;

● Criar e manter runbooks de execução, troubleshooting, reprocessamento, recuperação e rollback;

● Trabalhar com o líder técnico para transformar especificações em pipelines operáveis, monitoráveis e sustentáveis;

● Propor melhorias de confiabilidade, observabilidade, automação, segurança, padronização operacional e custo de execução.

Conhecimentos obrigatórios

● Python para automação, troubleshooting e execução de pipelines;

● Apache Airflow: DAGs, operators, macros, Variables, Connections, logs, scheduling, retries, parâmetros e execução manual;

● Linux/shell, Git, Conda e gestão de ambientes de desenvolvimento;

● YAML, contratos declarativos e validação de configurações;

● Parquet, particionamento, snapshots, arquitetura medalhão e idempotência;

● PostgreSQL: DDL básico, queries de diagnóstico, conexões, inserts, deletes controlados e validação de tabelas;

● Testes e qualidade: pytest, ruff, py_compile, pre-commit e leitura de falhas de pipeline;

● Segurança operacional: secrets fora do repositório, permissões, menor privilégio, validação de paths e redução de exposição de credenciais.