Q1. Separação de Responsabilidades entre Modelo e Código
Escolha um recurso de IA que você implementou recentemente e explique quais partes foram tratadas pelo modelo e quais partes foram garantidas pelo código padrão.
Além de melhorar os prompts, o que você implementou para aumentar a qualidade e a confiabilidade?
Q2. Lidando com Conhecimento em Atualização Contínua
Se você estivesse projetando um sistema para responder perguntas com base em documentos internos atualizados com frequência e com citações, como você lidaria com os seguintes elementos?
- Fragmentação de documentos
- Recuperação
- Reclassificação de resultados de pesquisa
- Controle de acesso
- Reflexo de atualizações e exclusões de documentos
Q3. Métodos para Detectar Degradação de Qualidade Devido a Mudanças
Quando você altera prompts, modelos, métodos de pesquisa ou definições de ferramentas, como garante que a funcionalidade existente não foi quebrada?
O que você mantém como casos de teste e quais métricas usa para decidir se deve lançar?
Q4. Até Que Ponto Você Confia na Avaliação Baseada em IA?
Ao usar IA como avaliadora, que tipos de vieses ou erros de julgamento ocorrem?
Como você combina a avaliação automatizada por IA com a avaliação humana?
Q5. Como Executar Operações com Efeitos Colaterais com Segurança
Suponha que a IA chame ferramentas que alteram estados externos, como transferir dinheiro, enviar e-mails ou criar tickets.
Projete um fluxo de execução que inclua validação de entrada, verificação de permissões, aprovação do usuário, novas tentativas e prevenção de execução duplicada.
Q6. Como Parar uma IA Descontrolada
A IA entrou em um loop de pesquisas ou chamadas de ferramentas repetidas e não termina o processamento.
Como você detecta o loop e sob quais condições você o interrompe?
Como você define orçamentos para tempo, contagem de execuções, tokens, custo e uso de ferramentas?
Q7. Continuidade do Serviço Durante Falha do Modelo
Um modelo de alto desempenho fica indisponível devido a latência, limites de taxa ou interrupções.
Sob quais condições você muda para um modelo diferente?
Se o modelo alternativo resultar em qualidade ou funcionalidade inferior, como você modifica a experiência do usuário?
Q8. Como Rastrear uma Única Falha
Um usuário relata que "a resposta foi lenta e o conteúdo estava incorreto."
Como você rastreia essa instância de processamento específica?
Q9. Análise de Aumento de Custos
As taxas de uso da IA aumentaram em relação ao mês anterior.
Como você identifica qual recurso, cliente, fluxo de trabalho ou estágio de processamento específico causou o aumento, em vez de apenas qual modelo?
Quais critérios você usa para julgar se esse custo vale o valor comercial?
Q10. O Que Foi Aprendido com Falhas em Produção?
Descreva a falha mais perigosa que você experimentou em um recurso de IA que operou.
- O que aconteceu?
- Como foi descoberta?
- Como você interrompeu o impacto?
- Como você identificou a causa?
- O que você mudou para evitar a recorrência?
