CURADOR DE IA

No Grupo Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.

Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!

Junte-se a nós e seja parte da mudança!

LI#REMOTE

LI#RL1

Garantir que soluções baseadas em inteligência artificial entreguem respostas:

• Corretas e relevantes;
• Seguras e éticas;
• Consistentes e reproduzíveis;
• Adequadas ao contexto do negócio;
• Alinhadas às políticas da empresa;
• Com boa experiência para o usuário;
• Com baixo risco de: Alucinação; Viés; Exposição de dados.

Principais atribuições

1. Avaliação de respostas de IA

• Analisar respostas geradas por diferentes modelos de IA;
• Avaliar: Precisão; Clareza; Completude; Relevância; Aderência ao contexto; Identificar: Alucinações; Contradições; Vieses; Informações sem evidência;
• Verificar se a IA compreendeu corretamente a intenção do usuário;
• Avaliar a aderência às instruções, políticas e critérios de negócio;
• Classificar respostas conforme critérios previamente definidos;
• Comparar diferentes: Modelos; Prompts; Versões; Configurações.

2. Criação de critérios e rubricas de avaliação

• Definir métricas de qualidade para cada caso de uso;
• Criar rubricas com critérios objetivos e escalas de pontuação;
• Estabelecer exemplos de respostas: Boas; Aceitáveis; Inadequadas;
• Criar conjuntos de testes, casos-limite e cenários adversariais;
• Padronizar o processo de avaliação entre os curadores;
• Garantir consistência e rastreabilidade das avaliações.

3. Curadoria de dados e exemplos

• Selecionar e organizar exemplos para: Treinamento; Avaliação; Melhoria de prompts;
• Revisar bases de conhecimento utilizadas pela IA;
• Identificar dados: Desatualizados; Duplicados; Incompletos; Conflitantes;
• Garantir qualidade, representatividade e diversidade dos dados;
• Remover informações sensíveis ou inadequadas;
• Criar conjuntos de dados de validação e benchmark;
• Manter o histórico das alterações e decisões de curadoria.

4. Engenharia e melhoria de prompts

• Criar, revisar e otimizar prompts;
• Definir: Instruções de sistema; Contextos; Restrições; Formatos de resposta;
• Testar técnicas como: Uso de exemplos; Decomposição de tarefas; Classificação; Validação;
• Avaliar o impacto das mudanças nos prompts;
• Reduzir ambiguidades e comportamentos inconsistentes;
• Trabalhar em conjunto com áreas de: Produto; Desenvolvimento; Negócio;
• Criar padrões reutilizáveis de prompts e templates.

5. Testes de segurança e comportamento

• Realizar testes de: Prompt injection; Jailbreak; Manipulação da IA;
• Avaliar a exposição indevida de dados confidenciais;
• Testar respostas para temas sensíveis;
• Identificar riscos de: Viés; Discriminação; Tratamento desigual;
• Avaliar se a IA recusa adequadamente solicitações impróprias;
• Criar testes de regressão;
• Apoiar processos de red teaming de IA.

6. Monitoramento de qualidade em produção

• Acompanhar o comportamento da IA após a implantação;
• Analisar feedbacks, reclamações e avaliações dos usuários;
• Identificar degradação de desempenho;
• Monitorar indicadores de: Erro; Abandono; Retrabalho; Escalonamento humano;
• Investigar incidentes relacionados às respostas da IA;
• Recomendar ajustes em: Prompts; Modelos; Dados; Fluxos;
• Manter processos de melhoria contínua.

7. Governança e documentação

• Documentar critérios, decisões, testes e resultados;
• Elaborar relatórios de qualidade dos modelos e soluções;
• Manter catálogo de: Prompts; Versões; Casos de uso;
• Registrar limitações conhecidas da IA;
• Apoiar políticas de uso responsável da inteligência artificial;
• Contribuir para auditorias internas e externas;
• Garantir a rastreabilidade das alterações realizadas.

8. Liderança técnica e orientação

• Orientar curadores, analistas e prompt engineers menos experientes;
• Revisar avaliações realizadas por outros profissionais;
• Definir padrões e boas práticas;
• Conduzir workshops de avaliação de IA;
• Apoiar decisões sobre: Modelos; Fornecedores; Arquiteturas;
• Atuar como referência técnica para as áreas de: Produto; Tecnologia; Jurídico;Compliance;
• Transformar problemas subjetivos de qualidade em critérios mensuráveis.

Competências técnicas desejáveis

• Experiência com modelos de linguagem e IA generativa;
• Conhecimento em prompt engineering;
• Experiência com avaliação humana e automática de modelos;
• Criação de datasets de teste;
• Conhecimento de métricas de qualidade de IA;
• Noções de machine learning e processamento de linguagem natural;
• Familiaridade com: RAG; Embeddings; Agentes; Bases de conhecimento;
• Conhecimento de técnicas de segurança para LLMs;
• Capacidade de análise de dados;
• Conhecimentos em SQL e, preferencialmente, Python;
• Experiência com ferramentas de: Anotação; Avaliação; Observabilidade de IA;
• Conhecimento de versionamento e documentação;
• Noções de LGPD, privacidade e uso responsável de IA.

O profissional não precisa necessariamente ser cientista de dados ou desenvolvedor avançado. Entretanto, para uma posição sênior, deve compreender tecnicamente o funcionamento dos sistemas e dialogar com as equipes de engenharia.

🍛 Vale-alimentação ou vale-refeição;

👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas;

📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;

🗣 Mentoring;

💉 Clube de vantagens para consultas e exames;

🏥 Assistência médica;

🦷 Assistência odontológica;

💰 Clube de vantagens e descontos nos melhores estabelecimentos;

🛫 Clube de viagens;

🐶 Convênio para pets.

No Grupo Stefanini, acreditamos que o futuro não acontece sozinho: ele é construído por pessoas que têm atitude para transformar ideias em realidade. Há quase 40 anos, conectamos tecnologia, inovação e talento para criar soluções que transformam negócios e impactam pessoas.

Somos um dos maiores ecossistemas de tecnologia da América Latina, com mais de 35 mil pessoas em mais de 40 países. Ao longo dessa jornada, evoluímos constantemente — e seguimos acreditando que são as nossas pessoas que fazem essa transformação acontecer. 🌎✨

Nosso jeito de ser é guiado por cinco Atitudes Empreendedoras, que fazem parte do nosso DNA e orientam a forma como trabalhamos e construímos o futuro juntos:

🎯 Comprometimento com o cliente — entendemos o que realmente importa e buscamos soluções com excelência e propósito.

🚀 Liderança pelo exemplo — agimos com ética, coerência e protagonismo, fazendo da nossa atitude um exemplo para quem está ao nosso lado.

🤝 Respeito pelas pessoas — valorizamos diferentes perspectivas, cultivamos diálogos abertos e contribuímos para o crescimento uns dos outros.

💡 Coragem para inovar — questionamos o convencional, propomos soluções e temos iniciativa para transformar desafios em novas possibilidades.

🌱 Humildade para aprender — reconhecemos que nunca partimos do zero, aprendemos uns com os outros e sabemos que grandes conquistas não são construídas sozinhas.

Mais do que competências técnicas, buscamos pessoas que se identifiquem com esse jeito de fazer acontecer. Pessoas que tenham vontade de aprender, coragem para inovar, respeito para construir junto e atitude para transformar.

Quer conhecer mais sobre o Grupo Stefanini, nossa cultura e as pessoas que fazem parte dessa história?

▶️ Assista ao nosso vídeo institucional e venha construir o futuro com a gente!