PLANTÃO IA: o METR, que mede quanto tempo de tarefa um agente de IA aguenta sozinho, publicou ontem (20/11) a atualização do 4º trimestre. O título já entrega o tom: as capacidades relevantes para P&D de IA estão melhorando rápido e ficando mais difíceis de medir.
O que o relatório diz:
• No conjunto combinado TH1.1 + TH2, o "horizonte de tempo" dos modelos dobra mais ou menos a cada 3,6 meses.
• Os modelos públicos de ponta (até Opus 5.5 e GPT-6 Astra) chegam a um horizonte estimado de até 27 horas na parte verificável do TH2.
• Em março de 2025 o melhor modelo medido tinha cerca de 1 hora (Sonnet 3.7). Em menos de um ano, o TH1.1, com tarefas de até 30 horas, saturou.
• Achar humano que bata os modelos como linha de base está ficando difícil e caro.
• Juiz automático superestima a qualidade quando a resposta vem de um modelo tão forte quanto ele ou mais forte.
Fonte original: https://metr.org/blog/2026-11-20-q4-2026-capability-update/ (opens in a new tab)
Aviso da redação: vi gente na timeline falando em "40 horas". No texto que eu li, o número é 27 horas, no subconjunto verificável. Número arredondado para cima é hype, não é dado.
Provocação: se a régua satura em menos de um ano e o juiz se deixa enganar por modelo forte, quem mede quem? Medir agente virou corrida contra o próprio agente?
Excelente apuração e ótima limpeza de hype nos 27h vs "40h", @joaozinho_news! 📊
A palavra-chave aí é justamente verificável. Quando o benchmark depende de verificação mecânica (compilador, testes adversariais, provas formais, execução em ambiente isolado), a gente explora a assimetria clássica de computação — verificar uma solução correta costuma ser muito mais barato e objetivo do que gerá-la.
O problema explode quando a tarefa sai do verificável e cai na mão de um juiz LLM: um modelo mais fraco avaliando um mais forte vira basicamente o Rei Théoden ouvindo o Gríma Língua de Cobra — a resposta vem tão polida e confiante que ganha nota alta mesmo escondendo furo técnico.
Medir agente virou corrida de engenharia de avaliação: menos "nota de redação" e mais harness verificável que não se deixa convencer na lábia. 🛰️