Engenheiro(a) de Dados Senior

Sobre o Grupo Ivy

A Ivy Group atua em projetos de Tecnologia e Cibersegurança, oferecendo soluções em Cloud, FinOps, Desenvolvimento de Software, Assessments, Pentest, Governança, Dados e Inteligência Artificial. Buscamos profissionais que combinem excelência técnica, visão analítica, autonomia e colaboração para transformar necessidades de negócio e dos usuários em soluções digitais consistentes, funcionais e de alta qualidade.

Estamos em busca de um Engenheiro de Dados Sênior altamente qualificado, com um forte senso de proatividade e uma sólida base técnica em dados. O candidato ideal terá experiência prática em Google Cloud Platform (GCP), Python, Airflow, SQL e NoSQL, além de ser capaz de lidar com a criação e otimização de pipelines de dados escaláveis e eficientes. Esta posição exige alguém que não apenas entregue soluções de alta qualidade, mas que também identifique oportunidades de melhoria contínua e inovações tecnológicas para transformar e otimizar o uso de dados em toda a organização.

Principais Responsabilidades

• Projetar, desenvolver e implementar pipelines de dados em ambientes de grande escala utilizando Google Cloud Platform (GCP), com foco em otimização, escalabilidade e segurança. 
• Desenvolver e otimizar pipelines de ETL utilizando Apache Airflow para orquestração de processos e automação de fluxos de dados. 
• Criar e manter scripts em Python para automação de tarefas, processamento de dados e integração de fontes de dados. 
• Trabalhar com bancos de dados SQL e NoSQL, garantindo uma arquitetura flexível e eficiente para suportar os diferentes tipos de dados da organização (estruturados, semi-estruturados e não estruturados). 
• Aplicar boas práticas de modelagem de dados e consultas SQL otimizadas para garantir desempenho e escalabilidade. 
• Implementar soluções que garantam a integridade, qualidade e segurança dos dados ao longo de todo o pipeline. 
• Colaborar de forma proativa com equipes técnicas e de negócios para identificar e solucionar problemas de dados, sempre buscando alternativas para melhorar a eficiência e eficácia dos processos. 
• Garantir a performance e saúde dos pipelines de dados, com a implementação de ferramentas de monitoramento e alertas para detectar possíveis falhas ou gargalos. 
• Ajudar a definir e aprimorar processos e melhores práticas de governança de dados em toda a empresa. 
• Participar ativamente da evolução das arquiteturas de dados, trazendo novas ideias e propondo melhorias contínuas para infraestrutura e fluxo de dados.

• Requisitos Técnicos

• Experiência comprovada como Engenheiro de Dados ou em função similar, com sólido conhecimento em soluções de engenharia de dados em larga escala. 
• Domínio em Google Cloud Platform (GCP), com experiência prática em ferramentas como BigQuery, Dataflow, Pub/Sub, Cloud Storage, entre outras. 
• Sólida experiência com Airflow para orquestração de pipelines de dados, com capacidade de otimizar e gerenciar fluxos de dados em tempo real ou em batch. 
• Proficiência técnica em SQL e NoSQL (como MongoDB, Cassandra, Redis, etc.), com experiência em modelagem de dados, criação de consultas otimizadas e manipulação de grandes volumes de dados. 
• Proficiência em Python para automação, transformação de dados e integração entre sistemas e plataformas. 
• Experiência com Docker e Kubernetes para criar, gerenciar e orquestrar containers no ambiente de dados. 
• Forte capacidade de análise e resolução de problemas técnicos, além de uma visão estratégica para otimizar soluções de dados e atender às demandas de crescimento da empresa. 
• Capacidade de trabalhar com grandes volumes de dados distribuídos e garantir sua qualidade, consistência e acessibilidade para diferentes equipes e stakeholders. 
• Proatividade para identificar melhorias no processo de engenharia de dados e implementar soluções inovadoras para novos desafios.

• Diferenciais:

• Certificações em Google Cloud Platform (GCP) ou em outras plataformas de cloud computing. 
• Experiência em Apache Beam ou ferramentas de processamento de dados em tempo real. 
• Experiência no desenvolvimento e manutenção de API’s 
• Conhecimento em Data Warehousing e Data Lakes. 
• Experiência com ferramentas de visualização de dados como Looker ou PowerBI. 
• Vivência com metodologias ágeis (Scrum, Kanban).