Engenheiro de Dados

Descrição

Levantar necessidades dos usuários finais e chave, para a captura dos itens necessários e elaboração do projeto do sistema de análise de dados, atuando na automatização das atividades e na aplicação de melhorias em processos e sistemas já existentes.

Analisar as necessidades para a elaboração da solução de coleta, armazenamento, análise e visualização, tendo em vista os recursos técnicos disponíveis ou necessários de hardware e software. Elaborar uma documentação que descreva os dados coletados.

Criar estruturas e modelos de dados que atendam as necessidades no âmbito dos projetos, com performance, escalabilidade, segurança e compatibilidade aos padrões estabelecidos.

Configurar e programar mecanismos que coletam e armazenam dados para posterior tratamento e consulta, zelando pela integridade de recursos externos e internos. Atualizar os mecanismos sempre que necessário para adequação às fontes de dados.

Processar dados coletados por meio de programação ou configuração para estruturação e higienização.

Integrar e uniformizar dados por meio da programação da adequação aos padrões estabelecidos, possibilitando o cruzamento com outras informações, reduzindo a duplicidade sempre que possível e promovendo a continuidade do desenvolvimento para unificar e compatibilizar com informações pré-existentes.

Maximizar a performance das aplicações através da análise de gargalos por meio de logs, painéis e outras ferramentas. Criar índices, ajustar configurações, propor melhorias e aquisições para otimizar performance, consumo de recursos e viabilizar o uso das aplicações em tempo de resposta aos usuários e na utilização dos recursos disponíveis.

Apoiar e configurar permissões e perímetro de acesso, reduzir vulnerabilidades, colaborar na gestão de cópias de segurança, administração espaço de armazenamento, criar estruturas de dados, indexações, monitorar funcionamento de bancos de dados e outros recursos relacionados, para manter as operações e o bom uso dos recursos com segurança.

Colaborar com os Analistas de Sistemas Seniores e com o Analista de Dados, na elaboração das funcionalidades para visualização de dados e processos no âmbito dos projetos.

Criar e manter documentação técnica dos sistemas, bancos de dados, processos, ativos, que auxiliem a consulta posterior de técnicos, nas diversas atividades da área.

Pesquisar e avaliar novas tecnologias, novas metodologias ou atualizações que agreguem valor aos sistemas atuais ou que possam trazer benefícios para novos sistemas.

Monitorar recursos tecnológicos através do acompanhamento dos processos de servidores de dados por meio de painéis de gerenciamento, métricas, indicadores, logs e testes conforme a tecnologia envolvida, para garantir bom desempenho, disponibilidade e bom uso.

Outros Requisitos

Ensino Superior completo em: Sistemas de Informação, Ciências da Computação, Ciências de Dados ou áreas correlatas.

Conhecimentos e Habilidades

• Inglês Intermediário
• Lógica de programação
• Linguagens e tecnologias para visualização e análise de dados (PowerBI desktop, PowerBI Pro)
• Serviços Azure Data Factory, Azure Databricks, Data Lakehouse
• Linguagens e tecnologias para programação (Python, R)
• Serviços e Modelos de Inteligência Artificial
• DevOps (Git)
• Levantamento de Requisitos
• Desenvolvimento de aplicações de análise de dados (Analytics), BI (Business Inteligence)
• Desenvolvimento para bancos de dados SQL Server
• Conhecimento dos recursos administrativos (SQL Agent, Integration Services, Jobs SQL, T-SQL, DDL), Cloud computing, Microsoft Azure, Webservices, XML/XSD, API, JSON/Rest.