O que a Anthropic testou (e por que isso é diferente do “IA aumenta produtividade”)

No estudo publicado pela Anthropic, os pesquisadores recrutaram 52 engenheiros de software que usam Python com frequência (pelo menos semanalmente há mais de um ano). O ponto crucial: todos eram novatos em uma biblioteca específica — o Trio, voltado para programação assíncrona e concorrência estruturada.

Em vez de medir apenas “quem terminou primeiro”, o desenho do experimento mirou aprendizado: depois de resolver tarefas com Trio, os participantes responderam um quiz imediatamente após o exercício, cobrindo conceitos utilizados poucos minutos antes.

O resultado principal: quem usou IA acertou menos no quiz

Os participantes foram divididos em dois grupos: um podia usar um assistente de IA durante a implementação, e o outro precisava codar “na mão”. Ao final, o grupo com IA obteve média de 50% de acertos, enquanto o grupo sem IA chegou a 67% — uma diferença de 17 pontos percentuais, descrita pelos autores como próxima de “quase duas letras” de nota, dependendo da escala.

Um detalhe importante para não cair em conclusões preguiçosas: usar IA não garantiu automaticamente desempenho pior. A queda apareceu, principalmente, quando a ferramenta virou substituta do raciocínio (delegação total) em vez de apoio para compreensão.

E a produtividade? O ganho de tempo foi pequeno e nem sempre significativo

O experimento também avaliou tempo de conclusão. A IA até “puxou” o tempo médio para baixo, mas os autores relatam que o ganho não atingiu significância estatística no resultado geral. Parte da explicação: alguns participantes passaram bastante tempo interagindo com o assistente, refinando prompts e pedindo esclarecimentos — o que muda o tipo de esforço, mas não o elimina.

Além disso, o estudo observou que o grupo sem IA encontrou e resolveu mais erros por conta própria. Paradoxalmente, isso pode ter ajudado a fixar o aprendizado: depurar, errar e corrigir tende a construir modelos mentais mais sólidos do que “colar e rodar”.

“Acelerador” funciona melhor quando você já tem direção. Se você ainda está aprendendo a dirigir, acelerar só aumenta a chance de passar direto da curva.

O que isso muda na prática para quem aprende (e para quem lidera times)

O recado não é “pare de usar IA”. É “use com intenção”. O próprio texto da Anthropic destaca que os melhores resultados apareceram quando o assistente foi usado para construir compreensão: pedir explicações, fazer perguntas conceituais, comparar abordagens e, principalmente, revisar criticamente o código gerado.

Se você está começando (ou aprendendo uma biblioteca nova), um bom padrão é alternar:

• Primeiro tente sozinho por alguns minutos para formar hipótese e mapa mental do problema.
• Use a IA como tutor: “por que isso funciona?”, “qual o trade-off?”, “como eu testaria?”.
• Reescreva trechos sem olhar a resposta, para consolidar sintaxe e conceitos.
• Faça uma mini-autoprova (como o quiz do estudo): explique em voz alta o que cada parte faz.

Fechamento

O estudo da Anthropic coloca números em uma sensação que muita gente já tinha: IA pode ser excelente para acelerar trabalho quando a base está firme, mas pode atrapalhar quando entra no lugar da construção da habilidade. Para quem aprende programação (ou lidera equipes com muitos juniores), a pergunta certa deixa de ser “usar ou não usar” e vira “qual o modo de uso que preserva o aprendizado?”.