Data Engineer | AWS & Databricks

Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time. Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento.

Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você!

Vem fazer parte da BIX Tecnologia!

O que esperamos que você tenha:

• AWS Services: Experiência sólida no provisionamento e uso de serviços AWS como DMS, S3, Glue, Athena, Kinesis, IAM (roles/policies), VPC/networking, etc.;
• Arquitetura de streaming / NRT: Experiência no desenho de pipelines near-real-time, semantics de processamento (at-least-once / exactly-once) e trade-offs entre latência e consistência;
• CDC (Change Data Capture): experiência com captura contínua de mudanças via redo logs, supplemental logging e replicação incremental;
• Apache Kafka: experiência sólida e comprovada em produção;
• Databricks: domínio de Spark, Structured Streaming, Delta Lake e arquitetura lakehouse (camadas bronze/prata/ouro), Unity Catalog, lineage e data quality frameworks;
• SQL avançado e modelagem de dados relacional e dimensional;
• Inglês avançado/fluente para atuação internacional.

Desejáveis

• Orquestração: Airflow, Data Factory ou equivalente;
• Kafka Connect / Debezium: conectores de CDC integrados ao Kafka;
• Certificação nas clouds (AWS, GCP, Azure);
• Certificação em ferramentas de Engenharia de Dados (Databricks, Clickhouse, Airflow, dentre outras).

O que você fará em seu dia a dia:

• Projetar e implementar a migração de pipelines batch legados para uma arquitetura de streaming de dados em tempo real;
• Configurar e operar captura de mudanças (CDC) na origem, replicando dados via AWS DMS para as camadas de streaming e lakehouse;
• Modelar tópicos, partições e estratégias de serialização no Kafka, garantindo ordering, throughput e tolerância a falhas;
• Desenvolver pipelines de ingestão e processamento no Databricks (Structured Streaming, Delta Lake), atendendo também demandas correntes da plataforma;
• Garantir qualidade, observabilidade e governança dos dados em trânsito e em repouso;
• Documentar arquitetura, decisões técnicas e realizar code review com o time;
• Realizar reuniões com clientes, por meio de videoconferência, desenvolvendo os questionamentos estratégicos voltados ao seu negócio/processo, a cada início de projeto ou sprint;
• Gerenciar atividades do projeto, utilizando métodos ágeis, de modo a garantir as entregas, a cada novo projeto.

O que a BIX oferece para você:

• Trabalho 100% remoto;
• Plataforma de terapia e nutricionistas online;
• Plataforma de bem estar;
• Plano de carreira acelerado;
• Contato direto com líderes de grandes empresas;
• Ambiente diferenciado (Hora BIX, integrações e Happy Hours, Programa de Mentoria, Reuniões 1on1);
• Aulas on-line de inglês (cambly);
• Folga no aniversário.