Senior Artificial Intelligence Reliability Engineering

Trabalhar na Azos é ter autonomia de verdade e gente boa do seu lado.

Aqui, todo mundo tem espaço pra fazer acontecer e ver o resultado do próprio trabalho chegando na vida de milhares de famílias brasileiras.

Acreditamos em um ambiente leve, diverso e colaborativo, onde a troca é constante e o crescimento vem junto com o time.

Temos escritórios em São Paulo e Belo Horizonte, mas nosso time está espalhado por todos os cantos do Brasil - e é justamente essa mistura de histórias e perspectivas que fortalece tudo o que construímos juntos.

Somos a maior insurtech do Brasil, e nossos valores guiam cada passo da nossa jornada:O melhor para os nossos clientes, sempre: colocamos clientes e parceiros(as) no centro de tudo, buscando entregar a melhor experiência.

Somos tão bons quanto as nossas pessoas: valorizamos um ambiente de confiança, onde todo mundo rema junto e tem espaço pra evoluir.

Inconformistas por natureza: não nos contentamos com o básico.

Questionamos, testamos e criamos o novo.

A postos e dispostos: encaramos desafios com atitude, resiliência, disciplina e leveza, sem nos acomodar.

Se você busca propósito, liberdade pra criar e um time que joga junto, seu lugar pode ser aqui.

Sobre a VagaA AiRE é a disciplina do time de AIOps da Azos responsável pela confiabilidade das nossas aplicações de IA.

Inspirada no conceito de SRE, mas aplicada ao universo dos modelos de linguagem e agentes inteligentes: aqui, não basta o sistema estar no ar — ele precisa estar certo.

Com varias aplicações de IA em produção atendendo clientes, corretores e times internos, garantir que essas respostas sejam corretas, consistentes e rastreáveis virou uma necessidade estratégica.

A AiRE existe para tratar essa nova classe de problema de forma estruturada: monitorando sinais como Hallucination Score e feedback de usuários, investigando a origem dos erros, mantendo pipelines de testes automatizados e construindo o tooling que escala essa validação para toda a empresa.

Mais do que uma área de qualidade, a AiRE é a função que torna possível escalar IA com responsabilidade na Azos — transformando confiabilidade em uma capacidade institucional, com método, métrica e processo.

Como AIRe Senior você será responsável por:Investigar erros em produção — Monitorar interações flagadas por Hallucination Score alto ou dislikes de usuários, analisar o grounding (qual documento e trecho foram consultados) e diagnosticar se o erro está no documento, no grounding ou na aplicação.

Separar problemas por camadas — Identificar com precisão a origem de cada erro e encaminhar diretamente ao responsável correto Criar e manter pipelines de testes automatizados — Mapear os tópicos e perguntas mais frequentes por domínio (Subscrição, Sinistro, FAQ, RH, etc.) e construir suites de testes de regressão que rodam automaticamente a cada deploy ou atualização de documento.

Monitorar atualizações de documentos — Receber notificações quando Knowledge Stewards atualizam bases de conhecimento, rodar testes de regressão para garantir que nada quebrou, e aplicar testes manuais com as novas informações para validar a extração correta.

Construir a plataforma de testes de IA — Desenvolver a infraestrutura e tooling que vai permitir escalar a validação de qualidade para todas as aplicações de IA da empresa.

Gradualmente assumir a carga de testes dos times de negócio — Hoje, times diversos realizam testes manuais.

Conforme você amadurece a plataforma, a responsabilidade de validação migra para automação e sai dos times de negócio.

Gerar dados e insights para evolução dos agentes — Seus diagnósticos e métricas vão alimentar a camada estratégica (PO de IA) com padrões de erros, áreas de maior risco e oportunidades de melhoria estrutural dos agentes.

Importante você saber/ter:Experiência sólida com LLMs e aplicações de IA generativa em produção — É importante ter vivido os problemas reais de modelos alucinando, grounding falhando e respostas inconsistentes.

Conhecimento prático de RAG (Retrieval-Augmented Generation) e sistemas de grounding — entender como documentos são indexados, como chunks são recuperados, e onde esse pipeline pode falhar.

Experiência com criação de testes automatizados e pipelines de CI/CD — você vai construir suítes de teste que rodam a cada deploy, precisa saber estruturar isso.

Familiaridade com métricas de qualidade de IA: Hallucination Score, faithfulness, relevance, answer correctness e métricas de avaliação de LLMs (frameworks como RAGAS, DeepEval ou similares).

Habilidade de investigação e diagnóstico técnico — capacidade de pegar uma resposta errada, rastrear o grounding, identificar o documento consultado, o trecho extraído, e determinar onde está o problema.

Conhecimento em Python ou outra linguagem de desenvolvimento para automação de testes, scripts de validação e integração com ferramentas de observabilidade.

Experiência com observabilidade de IA — ferramentas como LangFuse, LangSmith, Vertex AI ou similares para monitoramento de traces e métricas de agentes.

Boa comunicação para interagir com times de negócio — você vai falar com Knowledge Stewards, PMs e Donos de Produto.

Precisa saber traduzir problemas técnicos em linguagem acessível e entregar diagnósticos mastigados.

Seria legal se você tivesse:Experiência com SRE (Site Reliability Engineering) ou práticas de reliability em software — a filosofia é a mesma, aplicada a IA.

Familiaridade com Google Cloud Platform (GCP): Vertex AI, BigQuery, Cloud Run, Pub/Sub — nosso stack principal.

Experiência com n8n ou ferramentas de automação de workflows — usamos extensivamente para orquestração de agentes.

Conhecimento de Gemini e/ou Claude como modelos base — são os modelos que usamos nas nossas aplicações.

Experiência prévia em seguros ou fintechs — entender o domínio ajuda muito na hora de avaliar se uma resposta faz sentido pro negócio.

Familiaridade com Google ADK (Agent Development Kit) ou frameworks de multi-agentes.

Ter trabalhado com prompt engineering em contextos de produção — entender como a construção do prompt impacta a qualidade das respostas.

Conhecimento de testes de regressão específicos para IA — saber que testar um modelo não é a mesma coisa que testar uma API determinística, e ter estratégias para lidar com a variabilidade das respostas.

Mentalidade de construtor — essa é uma posição de criação, não de operação estabilizada.

Você vai definir processos que ainda não existem.

Benefícios que fazem parte da jornada na AzosSaúde e bem-estar Plano de saúde nacional (apartamento), com opção de incluir dependentes — tudo com o suporte da Pipo.

Plano odontológico.

TotalPass e Wellhub, para equilibrar corpo e mente.

Seguro de vida, trazendo mais tranquilidade para você e sua família.

Família em primeiro lugar Licença-maternidade estendida.

Licença-paternidade estendida.

Auxílio-creche para apoiar quem tem filhos.

Desenvolvimento e carreira Educazos: apoio para o desenvolvimento dos nossos Azonautas.

Stock Options como forma de reconhecimento — concedido conforme elegibilidade.

Dia a dia mais prático iFood

Vale-refeição e alimentação e Clube Ifood Auxílio-setup para ajudar na estrutura do seu espaço de trabalho.

Descontos em Farmácias.