Engenheiro(a) de Dados Sênior - AWS

Junte-se à Digiage e ajude a escalar a inteligência artificial com excelência operacional.

Na Digiage, acreditamos que os dados são a base para impulsionar inovação, eficiência e decisões estratégicas. Estamos em busca de um(a) Engenheiro(a) de Dados Sênior | AWS para atuar em projetos estratégicos junto a clientes de grande porte, desenvolvendo arquiteturas modernas de dados e soluções escaláveis para Analytics, Inteligência Artificial e Data Platforms.

Você será responsável por projetar, implementar e evoluir pipelines de dados de alta performance, garantindo qualidade, confiabilidade e escalabilidade em ambientes cloud, além de contribuir para a evolução da arquitetura e das melhores práticas de engenharia de dados.

Responsabilidades

• Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços da AWS;
• Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT);
• Implementar e otimizar soluções utilizando serviços como AWS Glue, S3, Lambda, Athena, Redshift, EMR, Step Functions e EventBridge;
• Projetar, implementar e sustentar Data Lakes e arquiteturas modernas de dados em ambiente AWS;
• Desenvolver soluções utilizando Python e SQL com foco em performance, escalabilidade e qualidade dos dados;
• Trabalhar com grandes volumes de dados estruturados e não estruturados;
• Garantir a qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline;
• Otimizar consultas, processamento e consumo de dados, buscando redução de custos e aumento de performance;
• Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas;
• Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados;
• Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma;
• Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.
  
  

• Experiência sólida como Engenheiro(a) de Dados em ambientes AWS;
• Domínio dos principais serviços de dados da AWS, como S3, Glue, Athena, Redshift, Lambda, EMR e IAM;
• Experiência sólida no desenvolvimento de pipelines ETL/ELT;
• Conhecimento avançado em Python e SQL;
• Experiência com modelagem de dados para ambientes analíticos e Data Lakes;
• Conhecimento em Apache Spark ou PySpark;
• Experiência com versionamento utilizando Git e práticas de CI/CD;
• Conhecimento em particionamento, otimização de consultas e processamento distribuído;
• Experiência com monitoramento, observabilidade e troubleshooting de pipelines;
• Conhecimento em arquitetura de dados em cloud e boas práticas de segurança e governança de dados;
• Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.
  
  

• Experiência com Databricks em ambiente AWS;
• Conhecimento em Apache Airflow ou outras ferramentas de orquestração de workflows;
• Experiência com arquiteturas orientadas a eventos (Event-Driven Architecture);
• Conhecimento em Delta Lake, Apache Iceberg ou Apache Hudi;
• Experiência com Docker e Kubernetes;
• Conhecimento em infraestrutura como código (Terraform ou CloudFormation);
• Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps;
• Experiência em ambientes corporativos de grande porte e projetos de missão crítica;
• Certificações AWS voltadas para Data Analytics, Data Engineer ou Solutions Architect.