Engenheiro de dados

Venha para uma das maiores empresas de Serviços TI do mundo!! Aqui você pode transformar sua carreira! Por que fazer parte da TCS? Aqui na TCS acreditamos que as pessoas fazem a diferença, por isso vivemos uma cultura de aprendizado ilimitado cheio de oportunidades de melhorias e desenvolvimento mútuo. O cenário ideal para expandir ideias através das ferramentas certas, contribuindo para nosso sucesso num ambiente colaborativo.

Requisitos:

• Linguagens e Ferramentas: Proficiência em Python (incluindo frameworks para crawling/scraping ex: Scrapy, Selenium, BeautifulSoup) e SQL avançado.
• Governança de Dados: Experiência ou forte familiaridade com Dataplex, catálogos de dados e fluxos de autenticação/segurança em nuvem.
• Experiência Consolidada: Ampla vivência em Engenharia de Dados com foco em arquiteturas em nuvem no ecossistema Google Cloud Platform (GCP).
• Ecossistema GCP (Expertise): Conhecimento aprofundado em BigQuery (otimização de consultas, particionamento e clustering), Cloud Composer, Dataflow e Dataplex.
• Sistemas Corporativos e Web Scraping: Sólida bagagem em pipelines de extração em ambientes heterogêneos (Oracle, SAP, PostgreSQL) e crawlers complexos em larga escala (gestão de proxies, tratamento de bloqueios e resiliência).
• Modelagem e Arquitetura: Domínio na estruturação de Data
• Lakes/Lakehouses (Medalhão), modelagem dimensional avançada e otimização de cargas de dados.
• Governança e Qualidade (Dataplex): Experiência prática na configuração do Dataplex, governança de metadados, regras automatizadas de qualidade e controles rígidos de acessos/autenticação.
• Engenharia de Software e Automação: Excelência em Python e SQL, design patterns, testes automáticos e Infraestrutura como Código (Terraform).
• Orquestração e Processamento: Domínio na criação de DAGs no Cloud Composer (Apache Airflow) e processamento escalável em BigQuery e Dataflow.

Responsabilidades:

• Aquisição de Dados Multi-fonte: Projetar e implementar soluções de engenharia de dados de alta performance para aquisição contínua oriunda de Oracle, SAP, PostgreSQL e crawlers web em larga escala, além de raspagem/extração de dados de sites públicos via Web Crawling/Scraping.
• Tratamento e Enriquecimento (Arquitetura Medalhão): Construir pipelines de dados estruturados em camadas (Bronze, Silver e Gold), aplicando regras de negócio para tratamento, higienização, cruzamento e enriquecimento das informações até a disponibilização pronta para uso na camada Gold.
• Orquestração e Arquitetura de DAGs: Desenhar a arquitetura e padrões de código para Cloud Composer (Apache Airflow) e Dataflow, garantindo reuso de módulos, tolerância a falhas, concorrência otimizada e eficiência de custos.
• Monitoramento e Qualidade: Garantir o monitoramento contínuo da execução dos pipelines de dados e implementar/acompanhar rotinas automáticas de qualidade e validação de dados atualizadas durante os processos de aquisição.
• Modelagem no Data Lake: Apoiar na estruturação de tabelas fato e dimensão no Data Lake/Warehouse, garantindo otimização e padronização, orientando para alta performance de consulta e custos otimizados.
• Governança Avançada e Segurança (Dataplex): Liderar a implantação e operacionalização do Dataplex, configurando catalogação automática de ativos, lineage de dados, políticas de segurança por coluna/linha (Row/Column-level security) e autenticação IAM granular.
• Observabilidade e Qualidade de Dados: Estabelecer arquitetura de monitoramento de pipelines, alertas em tempo real e frameworks de qualidade de dados (Data Quality Checks) executados durante a ingestão e atualização das camadas.
• Liderança Técnica e Mentoria: Atuar como referência para a equipe, conduzindo revisões de código (code reviews), definindo boas práticas de desenvolvimento, apoiando profissionais de dados da companhia.

O que você pode esperar de nós?

Desenvolvimento profissional e evolução constante das suas competências, sempre de acordo com os seus interesses.

Oportunidades para trabalho fora do Brasil

Um ambiente colaborativo, diverso e inovador, que incentiva o trabalho em equipe.

O que oferecemos?

Benefícios TCS – Brasil

Plano de Saúde

Planos Odontológico

Seguro de Vida

Vale Transporte

Vale Refeição/Alimentação

Auxílio Creche

Totalpass

TCS Cares – 0800 gratuito que fornece assistência psicológica (24 hrs/dia), jurídica, social e financeira aos associados

Parceria com SESC

Reembolso de Certificações

Portal de aprendizagem gratuito da TCS – cursos online e treinamentos ao vivo

Oportunidade de experiência internacional

Parceria de Descontos com Universidades e Escolas de Idiomas

Bring Your Buddy – Ao indicar pessoas você se torna elegível a receber um bônus para cada contratação

TCS Gems – Reconhecimento por performance

Xcelerate – Plataforma de carreira com mentoria gratuita