Data Engineer Sênior

Data Engineer - Sênior

Buscamos um(a) Engenheiro(a) de Dados para atuar diretamente na squad de FinOps, conectando dados de faturamento e telemetria de nuvem à tomada de decisão estratégica. O foco principal é estruturar, transformar e modelar dados no Databricks, automatizando pipelines resilientes e entregando camadas de dados analíticas prontas para consumo (Dashboards, Databricks SQL e ferramentas de BI).

O profissional atuará com postura proativa na modelagem dimensional de custos, apoiando a evolução contínua da governança de nuvem, visibilidade de gastos (Showback/Chargeback) e unit economics.

💻 O seu impacto nessa posição:

Modelagem e Arquitetura de Dados no Lakehouse:

Desenhar, implementar e manter modelos de dados analíticos (camadas Bronze, Silver e Gold) no Databricks voltados à eficiência financeira de infraestrutura.

Estruturar a camada semântica de custos (normalização de tags, hierarquias de contas/projetos, alocação de custos compartilhados e amortização de compromissos como RIs/Savings Plans).

Mineração, Curadoria e Visualização:

Minerar dados brutos de billing (AWS CUR, Azure Cost Management, GCP Billing) e telemetria de uso para identificar padrões, anomalias e oportunidades de otimização.

Construir e aprimorar visualizações, queries otimizadas e dashboards nativos no Databricks SQL / Lakeview ou integrados a ferramentas corporativas de BI.

Automação de Pipelines (DataOps):

Desenvolver pipelines automatizados, escaláveis e idempotentes para ingestão diária/horária de billing e métricas de infraestrutura.

Implementar orquestração via Databricks Workflows, Delta Live Tables (DLT) ou ferramentas externas (Airflow, dbt).

Garantir práticas de CI/CD para pipelines de dados (ex.: Databricks Asset Bundles, Git integration).

Qualidade, Governança e Observabilidade de Dados:

Assegurar integridade e consistência dos números financeiros por meio de testes automatizados de dados e validação de reconciliação de faturas.

Gerenciar permissões, linhagem de dados e governança através do Unity Catalog.

Atuação Colaborativa com a Squad de FinOps.

Ser proativo na proposição de novas métricas, visões e modelos preditivos/analíticos para apoiar SREs, arquitetos e lideranças financeiras.

✅ Requisitos essenciais:

Modelagem de Dados:

Domínio de modelagem dimensional (Kimball: Fatos e Dimensões) e boas práticas de arquitetura Lakehouse (Medallion Architecture).

Capacidade analítica para estruturar modelos de dados flexíveis frente a mudanças constantes de taxonomia e tagging.

Databricks & Ecossistema Big Data:

Experiência sólida com Apache Spark / PySpark e Delta Lake (otimização de queries, Z-Order, Liquid Clustering, particionamento).

Proficiência em Databricks SQL (criação de visualizações, alertas, endpoints e queries de alta performance).

Automação & Orquestração:

Experiência comprovada em automação de pipelines de dados ponta a ponta (Databricks Workflows, Jobs, Delta Live Tables, Airflow ou dbt).

Práticas de desenvolvimento de software aplicadas a dados: versionamento com Git, testes unitários e CI/CD.

Linguagens:

SQL Avançado (Window functions, CTEs complexas, otimização de planos de execução).

Python (PySpark, manipulação de APIs e bibliotecas de dados).

Conceitos de FinOps & Cloud:

Noções sólidas sobre o ciclo de vida FinOps (Inform, Optimize, Operate).

Compreensão dos mecanismos de tarifação de nuvem (On-Demand, Instâncias Reservadas, Savings Plans, Spot, egress de rede, storage tiers).

Familiaridade com a estrutura de dados de faturamento de ao menos um dos grandes provedores (AWS, Azure ou GCP).

⭐ Diferenciais:

Experiência prática com a especificação FOCUS (FinOps Open Cost and Usage Specification) para normalização multi-cloud.

Vivência com Unity Catalog para linhagem e governança de dados.

🎁 Benefícios:

Auxílio para home office

Cartão Flash

Acesso a cursos e certificações South Academy

Programa de educação financeira

Benefício de saúde mental e física, com 4 consultas psicológicas e 1 nutricional, mensalmente

🚀 Sobre a South:

Você fará parte de um time colaborativo, com autonomia e foco em evolução contínua, atuando em projetos com impacto real no negócio, onde transformar ideias em entregas faz parte do dia a dia.

Somos reconhecidos pelo nosso time: já fomos eleitos duas vezes uma das melhores empresas para se trabalhar no Brasil (GPTW).

Temos compromisso com o futuro: somos uma empresa carbono neutro.

Interessou? Candidate-se e venha fazer acontecer com a gente.