Engenheiro de Dados

A Teddy está em busca de um Engenheiro de Dados para atuar no desenvolvimento, sustentação e evolução da nossa plataforma de dados. Buscamos uma pessoa com experiência em pipelines, Data Lake, modelagem de dados, arquitetura cloud e processos de ETL/ELT, que tenha visão técnica para transformar dados brutos em informações confiáveis, organizadas e prontas para apoiar decisões estratégicas do negócio.

Essa pessoa será responsável por construir e manter soluções de dados escaláveis, garantindo qualidade, consistência, governança e performance nos processos de ingestão, transformação, armazenamento e disponibilização das informações. O profissional atuará em um ambiente colaborativo, com times multidisciplinares, utilizando tecnologias como Python, PySpark, SQL, Apache Airflow, Git e serviços AWS.

Responsabilidades

• Desenvolver, manter e evoluir pipelines de dados em batch e/ou tempo real para ingestão, transformação e disponibilização de dados no Data Lake.
• Construir e sustentar processos de ETL e ELT, garantindo que os dados estejam limpos, estruturados, consistentes e preparados para consumo analítico.
• Atuar com modelagem de dados, incluindo modelagem relacional, dimensional e estruturas voltadas para BI, Data Warehouse e Data Lake.
• Trabalhar com bancos de dados SQL e NoSQL, realizando consultas complexas, otimização de performance e organização das informações para diferentes usos de negócio.
• Apoiar a definição e evolução da arquitetura de dados em ambiente cloud, considerando escalabilidade, segurança, performance e custo.
• Atuar com infraestrutura de dados, apoiando a sustentação de jobs, serviços, integrações, automações e componentes da arquitetura.
• Manipular e processar arquivos em formatos como Parquet, Delta e Iceberg.
• Garantir boas práticas de administração, governança e qualidade de dados, contribuindo para a confiabilidade das informações utilizadas pela empresa.
• Trabalhar em conjunto com times de Produto, Engenharia, BI, Analytics e demais áreas de negócio para entender necessidades, propor soluções e entregar dados de valor.
• Atuar em ambiente de metodologia ágil, colaborando com planejamento, refinamento, priorização e entrega contínua de soluções.
  
  

• Apache Airflow: Orquestração e automação de fluxos de dados, garantindo a execução correta, monitorada e eficiente dos processos.
• Python e PySpark: Desenvolvimento de scripts, automações, integrações, manipulação de dados e construção de pipelines escaláveis.
• SQL e NoSQL: Consulta, modelagem, organização e otimização de dados em bancos relacionais e não relacionais.
• AWS: Utilização de serviços cloud para armazenamento, processamento, orquestração e análise de dados, incluindo S3, Glue, Athena, Lambda, ECS, EC2 e outros serviços relacionados.
• Git: Controle de versão de código, organização de alterações, colaboração em equipe e boas práticas de desenvolvimento.
• Formatos de dados: Manipulação de arquivos Parquet, Delta e Iceberg em ambientes de Data Lake e processamento distribuído.
• Power BI: Conhecimento em consumo de dados por ferramentas de BI, apoiando a criação de bases confiáveis para relatórios, dashboards e análises.
  
  

• Experiência prática em Engenharia de Dados.
• Sólidos conhecimentos em SQL e bancos de dados relacionais.
• Conhecimento em bancos NoSQL.
• Experiência com desenvolvimento e manutenção de ETLs, ELTs e pipelines de dados.
• Experiência com Data Lake, Data Warehouse e arquitetura de dados em cloud.
• Conhecimento em modelagem de dados, incluindo modelagem dimensional.
• Proficiência em Python e bibliotecas voltadas para dados.
• Conhecimento em PySpark e/ou ferramentas de processamento distribuído.
• Familiaridade com Apache Airflow ou outras ferramentas de orquestração.
• Experiência com Git e boas práticas de versionamento.
• Conhecimento em serviços AWS, especialmente S3, Glue, Athena, Lambda, ECS e EC2.
• Conhecimento em infraestrutura de dados, governança, qualidade e administração de dados.
• Capacidade de trabalhar de forma independente e em equipe.
• Vivência com metodologia ágil.
• Conhecimentos que fazem a diferença:
• Experiência com Big Data e processamento massivamente paralelo.
• Conhecimento em Spark e arquiteturas distribuídas.
• Experiência com modelagem dimensional, BI e Data Warehouse.
• Conhecimento em Power BI ou outras ferramentas de visualização de dados.
• Experiência com formatos Parquet, Delta e Iceberg.
• Experiência em ambientes de dados escaláveis em cloud.
  
  

• VR/VA Flash Benefícios
• Assistência Médica — Bradesco Saúde
• Assistência Odontológica — Bradesco
• Programa de Orientação Pessoal — C4Life
• Day Off de Aniversário
• Plano de Carreira
• Total Pass
• Seguro de Vida
• FIAP
• Alura