Engenheiro de Dados

A missão

O Engenheiro de Dados é o responsável pela criação do pipeline que transforma os dados brutos, que estão nos mais variados formatos, desde bancos de dados transacionais até arquivos de texto, em um formato que permita que os dados possam ser consultados e analisados. Também é tarefa do Engenheiro de Dados, manter este pipeline em execução, para que os dados possam ser coletados no momento certo, com o nível de segurança exigido pela empresa.

O seu desafio será

• Desenvolver e sustentar pipelines de Dados de diversas origens (API, SFTP, Arquivos, Bancos de Dados Relacionais e Não Relacionais) em Nuvem (AWS).
• Gerenciar os dados armazenados e estruturá-los adequadamente por meio do AWS S3 e IAM.
• Monitorar o desempenho geral e a estabilidade dos pipelines de dados automatizados, bem como fazer as modificações necessárias, de acordo com os requisitos;
• Coletar e integrar dados de diferentes ambientes a partir de fontes estruturadas e não estruturadas; ser referência técnica;
• Acompanhar os resultados dos planos de ação da equipe, assegurando entregas de valor e qualidade, a partir dos objetivos organizacionais;
• Construir e manter os catálogos de dados;
  
  

• Possuir conhecimento proficiente nas linguagens e tecnologias de ponta em Banco de Dados (Modelo OLTP, OLAP, DataLake, Wharehouse e BigData);
• Habilidades de programação para desenvolver, personalizar e gerenciar ferramentas de integração, bancos de dados, warehouses e sistemas analíticos. (DMS, Glue, AWS Lambda, Step Function, Crawler, Athena, Redshift, S3, Dynamo, Delta Tables);
• Ter conhecimento de modelos de arquivos como JSON, PARQUET, AVRO, ORC, etc;
• Experiência com ferramentas para catalogação de dados, como Amundsen e Glue Catalog;
• Experiência com pipeline de código de ETLs(CI/CD);
• Vasta experiência atuando como engenheiro de dados.