Clone: Clone: Engenheiro de dados SR

Engenheiro de dados

Responsabilidades e atribuições

Implementar e otimizar arquiteturas de dados em ambientes de nuvem (GCP e Azure);

Garantir a qualidade, segurança e governança dos dados, seguindo melhores práticas e políticas de compliance;

Trabalhar em conjunto com times de Engenharia e Analytics para entender necessidades de dados e propor soluções escaláveis;

Monitorar e otimizar desempenho de sistemas de dados, identificando gargalos e oportunidades de melhoria;

Automatizar processos de coleta, transformação e disponibilização de dados, visando eficiência e escalabilidade;

Gerenciar o data lakes e o data warehouses;

Implementar soluções de observabilidade para garantir a confiabilidade da plataforma de dados.

Requisitos e qualificações

Experiência sólida com desenvolvimento de pipelines de dados (ETL/ELT) utilizando ferramentas como Apache Airflow, Databricks ou similares;

Conhecimento em linguagens de programação como Python;

Experiência com bancos de dados relacionais e não relacionais (SQL, NoSQL);

Conhecimento de data lakes e data warehouses (BigQuery, etc.);

Experiência com ferramentas de versionamento de código (Git) e CI/CD;

Noções de governança de dados, segurança e boas práticas de modelagem de dados;

Capacidade de trabalhar em ambientes ágeis e colaborativos.

Diferenciais

Experiência com arquitetura orientada a eventos (Kafka);

Familiaridade com ferramentas de observabilidade;

Experiência com plataformas de processamento distribuído (Spark);

Requisitos

Engenheiro de dados

Responsabilidades e atribuições

Implementar e otimizar arquiteturas de dados em ambientes de nuvem (GCP e Azure);

Garantir a qualidade, segurança e governança dos dados, seguindo melhores práticas e políticas de compliance;

Trabalhar em conjunto com times de Engenharia e Analytics para entender necessidades de dados e propor soluções escaláveis;

Monitorar e otimizar desempenho de sistemas de dados, identificando gargalos e oportunidades de melhoria;

Automatizar processos de coleta, transformação e disponibilização de dados, visando eficiência e escalabilidade;

Gerenciar o data lakes e o data warehouses;

Implementar soluções de observabilidade para garantir a confiabilidade da plataforma de dados.

Requisitos e qualificações

Experiência sólida com desenvolvimento de pipelines de dados (ETL/ELT) utilizando ferramentas como Apache Airflow, Databricks ou similares;

Conhecimento em linguagens de programação como Python;

Experiência com bancos de dados relacionais e não relacionais (SQL, NoSQL);

Conhecimento de data lakes e data warehouses (BigQuery, etc.);

Experiência com ferramentas de versionamento de código (Git) e CI/CD;

Noções de governança de dados, segurança e boas práticas de modelagem de dados;

Capacidade de trabalhar em ambientes ágeis e colaborativos.

Diferenciais

Experiência com arquitetura orientada a eventos (Kafka);

Familiaridade com ferramentas de observabilidade;

Experiência com plataformas de processamento distribuído (Spark);