Engenheiro de dados

Responsabilidades e atribuições

• Definir e evoluir arquitetura de dados cloud-native na AWS;
• Projetar modelos de dados otimizados para APIs e consumo por AI;
• Liderar a migração de dados históricos do mainframe;
• Garantir consistência, integridade e rastreabilidade dos dados;
• Trabalhar com grandes volumes e dados históricos complexos;
• Construir e manter pipelines de ingestão e transformação;
• Integrar sistemas (PeopleSoft, mainframe e RDS);
• Otimizar queries em PostgreSQL;
• Implementar estratégias de particionamento, indexação e caching (Redis);
• Reduzir latência em consultas frequentes;
• Garantir aderência à LGPD e políticas de retenção;
• Implementar governança: controle de acesso, mascaramento, anonimização, auditoria e lineage;
• Estruturar dados para consumo por LLMs e agentes conversacionais;
• Apoiar a construção de camadas semânticas;
• Implementar validações de qualidade e monitoramento de pipelines.

Requisitos e qualificações

• Experiência com AWS (S3, Glue, Lambda, RDS);
• Experiência com bancos de dados PostgreSQL;
• Vivência com pipelines de dados (ETL/ELT);
• Experiência com modelagem de dados e grandes volumes;
• Conhecimento em governança e qualidade de dados;
• Diferenciais:Experiência com LLMs ou projetos de AI aplicada a dados.