Engenheiro(a) de Dados Sênior

Oportunidade de atuação em projeto - Engenheiro(a) de Dados Sênior

Sobre a DataEX:

Com 12 anos de atuação no mercado, a DataEX é uma consultoria especializada em Dados e IA, com parcerias estratégicas com Microsoft, AWS e Databricks, atuando em projetos de alto impacto para grandes clientes. Valorizamos inovação, colaboração, desenvolvimento contínuo e a qualidade de vida, com incentivos voltados para certificações e bem-estar.

Contexto do projeto:

A DataEX busca um profissional autônomo para prestação de serviços especializados em Engenharia de Dados, atuando na evolução e sustentação da plataforma corporativa de dados de um de seus principais clientes. Integrando uma squad multidisciplinar em ambiente global, será responsável por desenvolver soluções escaláveis em Microsoft Azure, garantindo a disponibilidade, performance, segurança e qualidade dos dados que suportam iniciativas estratégicas de Analytics, Governança de Dados e processos críticos de negócio.

É necessário disponibilidade para deslocamento presencial 1x por semana à região do Morumbi Shopping, em São Paulo/SP.

Principais responsabilidades

• Desenvolver, evoluir e sustentar pipelines de ingestão, transformação e disponibilização de dados utilizando serviços da plataforma Microsoft Azure.
• Construir e manter soluções em Data Lake, Data Warehouse e arquiteturas modernas de dados seguindo as melhores práticas de engenharia.
• Desenvolver processos ETL/ELT escaláveis, resilientes e de alta performance.
• Atuar com grandes volumes de dados estruturados e semiestruturados provenientes de sistemas internos, APIs e fontes externas.
• Implementar soluções utilizando Azure Data Factory, Azure Databricks, Azure Synapse Analytics e Azure Data Lake Storage Gen2.
• Garantir qualidade, consistência, rastreabilidade e integridade dos dados durante todo o ciclo de processamento.
• Atuar na otimização de pipelines, consultas SQL, notebooks Spark e utilização dos recursos computacionais.
• Implementar monitoramento, observabilidade, alertas e tratamento de falhas visando alta disponibilidade da plataforma.
• Automatizar processos utilizando Azure DevOps, Git, CI/CD e boas práticas de versionamento.
• Participar da definição da arquitetura técnica das soluções juntamente com Arquitetos de Dados e equipes globais.
• Atuar de forma integrada com Analistas de Negócio, Cientistas de Dados, Analistas de BI, Arquitetos e demais squads de tecnologia.
• Apoiar processos de governança de dados, segurança da informação e conformidade regulatória.
• Atuar na análise e resolução de incidentes críticos em ambientes produtivos.
• Elaborar documentação técnica, diagramas de arquitetura e documentação operacional das soluções implementadas.
• Contribuir para a evolução tecnológica da plataforma, propondo melhorias de arquitetura, performance, custos e automação.

Perfil técnico esperado:

Linguagens:

• SQL Avançado
• Python
• PySpark
• Spark SQL

Plataforma Microsoft Azure:

Expertise comprovada com...

• Azure Data Factory (ADF)
• Azure Databricks
• Azure Data Lake Storage Gen2
• Azure Synapse Analytics
• Azure SQL Database
• Azure Key Vault
• Azure Monitor
• Azure DevOps
• Azure Storage

Expertise técnica:

• Engenharia de Dados em ambiente Microsoft Azure
• Arquiteturas de Data Lake e Data Warehouse
• ETL e ELT
• Modelagem Dimensional
• Modelagem de Dados
• Delta Lake
• Parquet
• JSON
• APIs REST
• Git
• Versionamento de código
• CI/CD
• Performance e otimização de consultas SQL e Spark
• Desenvolvimento de notebooks em Databricks
• Processamento distribuído com Apache Spark
• Monitoramento e troubleshooting de pipelines
• Tratamento de erros e recuperação automática de processos

Será um diferencial expertise com...

• Power BI
• Azure Logic Apps
• Azure Event Hub
• Apache Airflow
• Terraform
• Infraestrutura como Código (IaC)
• Conhecimento em Governança de Dados
• Experiência em ambientes regulados (Financeiro, Bancário ou Seguros)
• Experiência com ambientes corporativos globais
• Conhecimento em práticas de DataOps e observabilidade

Tecnologias desejáveis...

• Azure Data Factory
• Azure Databricks
• Azure Synapse Analytics
• Azure SQL Database
• SQL Server
• Azure Data Lake Storage Gen2
• Azure DevOps
• Azure Monitor
• Azure Key Vault
• Python
• PySpark
• Spark SQL
• Delta Lake
• Parquet
• REST API
• Git
• Power BI
• Microsoft Fabric
• Airflow
• Logic Apps
• Azure Functions

Escopo de atuação:

• Sólida experiência em Engenharia de Dados utilizando Microsoft Azure.
• Capacidade de desenvolver soluções robustas, escaláveis e resilientes para ambientes críticos de negócio.
• Vivência com plataformas de dados corporativas de grande porte e alto volume de processamento.
• Conhecimento em arquitetura moderna de dados, boas práticas de desenvolvimento, governança e segurança da informação.
• Experiência com automação, CI/CD, monitoramento e sustentação de ambientes produtivos.
• Facilidade para atuar em equipes multidisciplinares e ambientes globais, colaborando com diferentes áreas técnicas e de negócio.
• Perfil orientado à qualidade, estabilidade operacional, inovação e melhoria contínua, contribuindo para a evolução da plataforma de dados do cliente.