Engenheiro de dados

ENGENHEIRO DE DADOS PLENO

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para atuar em um projeto estratégico de migração de dados, realizando a transição de tabelas, pipelines e processos do ambiente Cloudera Hadoop para a AWS. O profissional atuará de ponta a ponta no projeto, desde o levantamento do ambiente atual até a implantação e estabilização das soluções em produção.

Responsabilidades e atribuiçõe

• Realizar o levantamento e análise do ambiente atual em Cloudera Hadoop, identificando tabelas, pipelines, jobs e queries em HQL
• Mapear e documentar rotinas de orquestração desenvolvidas em Shell Script
• .Migrar queries HQL para serviços AWS, utilizando Amazon Athena, AWS Glue ou Amazon EMR, conforme critérios de custo, performance e necessidade do negócio
• Redesenhar processos de orquestração baseados em Shell Script para serviços gerenciados da AWS, como AWS Step Functions, AWS Lambda, Amazon EventBridge e Amazon MWAA (Airflow)
• Projetar e implementar a arquitetura do Data Lake em Amazon S3, estruturando as camadas Raw, Trusted e Refined
• Modelar e implementar estruturas analíticas em Amazon Redshift, quando necessário
• Desenvolver, testar e validar pipelines de dados, garantindo integridade, qualidade e performance
• Atuar na implantação, homologação e estabilização das soluções em produção
• Trabalhar em conjunto com equipes de arquitetura, infraestrutura e negócios para garantir uma migração eficiente e segura
• Documentar processos, arquiteturas e fluxos desenvolvidos durante o projeto

Requisitos e qualificações

O que precisamos que você tenha de conhecimento:

Experiência como Engenheiro(a) de Dados.

Vivência em projetos de migração de ambientes de dados.

Conhecimento em Cloudera Hadoop e desenvolvimento de queries em HQL (Hive Query Language).

Experiência com desenvolvimento e manutenção de Shell Script.

Conhecimento sólido dos serviços AWS voltados para engenharia de dados, especialment

• Amazon Athen
• AWS Glu
• Amazon EM
• Amazon S
• Amazon Redshif
• AWS Step Function
• AWS Lambd
• Amazon EventBridg
• Amazon MWAA (Airflow).

Experiência com modelagem de Data Lake e pipelines de dados.

Conhecimento em SQL e boas práticas de modelagem de dados.

Experiência com processos de ETL/ELT.

Diferenciais:

• Certificações AWS.
• Conhecimento em Python para desenvolvimento de pipelines e automações.
• Experiência com CI/CD aplicado à engenharia de dados.
• Vivência em projetos de modernização de plataformas de dados e migração para Cloud.