Fala Akita, parabéns pelo trabalho!

Já tentou CONTAR eventos com LLM? Tipo, fornece uma lista de 100 ou mais notícias RSS em um arquivo xml, pdf ou mesmo texto, e pede para o LLM informar quantas notícias tem. Ele nunca acerta. Nunca.

Abs

Não sei exatamente você, mas entre os LLMs que testei para auxiliar na codificação, o Claude Sonnet é o que se sai melhor, melhor mesmo até do que os GPTs, llama e Gemini.

Eu não sei dizer o motivo, mas talvez esse sucesso do Claude se deve justamente ao que você disse a respeito dos treinamentos.

Hoje para melhorar a acurácia eu utilizo o Github Copilot e crio vários markdown documentando todo projeto, design system, padrões de codificação e depois adiciono isso ao contexto do prompt ou configuro para o VSCode realizar o carregamento desses .md junto ao meu prompt. Com isso consigo melhorar os resultados no uso de LLMs para codificar, porém as vezes acabo atingindo o limite de uso mesmo na versão paga do Copilot.

Resumindo, acredito o LLM com melhor treinamento para codificação é o Claude Sonnet, ficando melhor ainda com RAG.

eu testei, bastante, e não fiquei impressionado. alguns ele se dá um pouco melhor. às vezes gemini 2.5 passa. e o4-mini-high costuma ser mais consistente que sonnet. não tem vencedor claro, tá tudo parecido.

akita não sei se testou ultimamente o claude opus4, tenho acompanhado alguns gringos e tem muita coisa boa saindo utilizando esse modelo, usando cursor + claude code com opus4 + outro modelo qualquer tipo o sonnet4 mesmo, o que o pessoal anda fazendo é utilizando o opus4 como um "senior" para revisar ou trabalhar em desafios mais complexos do codigo, usando sonnet4 em alguns casos e tambem usando o proprio cursor pago com qualquer outro modelo da licença paga ($20) para tarefas mais basicas, outro ponto que observei que estao usando é alguns modelos de prompts absurdos que dao um puta contexto pro opus4, eu testei alguns destes prompts realmente fazem muita diferença no que ele entrega, sao prompts de 10, 15k tokens...

é caro se for usar API, o que ta sendo menos caro é assinar o plano max do claude para usar no claude code, principalmente o de $200 que deixa fritar o opus4 muito mais tempo, eu sei que tem muito cara falastrao e midia, tem youtuber que faz conteudo com isso pra gerar hype tipo abrir 20 instancias de claude code rodando opus4, ou infinite prompts rodando subprompts infinitos que bugam a contagem de rate limit (que provavelmente a anthropic está banindo quando encontra) , mas tem uma galera usando muito bem sabendo usar dessa forma que comentei mesclando modelos especificos para desafios especificos, como o nome diz é "vibe" , gera muito hype mais pra quem nao é dev raiz (eu me encaixo nisso) e consegue entregar algo bacana com muito menos esforço mas claro sabendo que o codigo pode ser uma merd...ou com falhas de segurança, nao é algo pra ser levado pra producao ou algo sério corporativo, para projetinhos pessoais e mvps é muito bom.

Concordo com a crítica relevante ao entusiasmo exagerado com modelos de linguagem na programação. As LLMs são aceleradores, ainda não são substitutos. Elas ajudam a “dar os primeiros passos”, mas quem define a direção, resolve imprevistos e mantém a qualidade do projeto ainda é o desenvolvedor humano.