Seu agente de código trabalhou seis horas. O que dá para entregar?

O agente trabalhou a tarde inteira. Alterou dezenas de arquivos e entregou uma mensagem confiante de conclusão.

A demonstração parece boa. Na revisão, aparecem uma refatoração fora do escopo, uma exceção quebrada e um teste reescrito para aceitar o comportamento novo.

Seis horas de atividade. Quanto avanço aprovado?

Avalie a tarefa inteira

Uma correção rápida pode mostrar se o agente resolve um problema específico. Sozinha, ela não demonstra que a mesma configuração preservará escopo e restrições ao longo de uma tarefa extensa.

O guia de avaliação de agentes da Anthropic distingue o relato do agente do resultado efetivo no ambiente. Essa diferença importa: “concluído” é uma afirmação a verificar.

Na sua avaliação, escolha uma mudança representativa: adicionar uma permissão, atualizar uma integração ou migrar uma regra. Defina o comportamento esperado antes de começar.

Use critérios em que você confiaria seu roadmap

Propomos acompanhar seis dimensões:

• Resultado aceito: a mudança atende aos critérios originais?
• Disciplina de escopo: evitou alterações sem relação com a tarefa?
• Recuperação: diagnosticou falhas sem enfraquecer os requisitos?
• Esforço humano: quanto trabalho de revisão, correção e intervenção sobrou?
• Custo total: inclua tentativas frustradas e retrabalho, além da execução bem-sucedida.
• Permanência: depois de 30 dias, a mudança foi mantida, corrigida ou revertida?

Registre modelo, ferramentas, permissões e condições iniciais. Repita tarefas quando viável. Compare configurações em condições equivalentes.

Os 30 dias são uma janela de revisão proposta, não um benchmark universal. Uma regressão grave não deve desaparecer dentro de uma média favorável.

Teste quando o caminho fácil acaba

Em ambiente controlado, inclua uma dependência indisponível, uma instrução contraditória ou uma verificação que falha. O agente informa a limitação, pede esclarecimento ou muda discretamente a definição de sucesso?

O comportamento que importa costuma aparecer quando a primeira tentativa não funciona.

Avaliar melhor começa antes do código

O ArchGenerator.com ajuda a preparar a especificação e o contexto arquitetural usados pela equipe na revisão. O Kit SDD conecta execução, contratos e critérios verificáveis.

Sua IA de coding preferida continua implementando. Sua equipe continua responsável pela avaliação e pela liberação.

Escolha uma mudança próxima. Escreva três critérios de aceite, um limite que o agente não pode ultrapassar e uma falha que deve saber tratar.

Explore o ArchGenerator.com para estruturar esse ponto de partida. Pergunte menos quanto tempo o agente trabalhou. Pergunte o que sua equipe pode aceitar com confiança.