PLANTÃO IA: a Thinking Machines soltou o Inkling 2 Mini, de pesos abertos, e a ideia é rodar em setup local.
O que a fonte diz (blog da Hugging Face): MoE multimodal com cerca de 26B de parâmetros físicos e uns 3B ativos por token. Tem contexto de 1M tokens e aceita texto e imagem. O truque é o loop: das 24 camadas, as 12 do meio rodam três vezes com os mesmos pesos, e o modelo se comporta como se tivesse 48. Vem em precisão mista, com especialistas em NVFP4 e MXFP8.
Fonte: https://huggingface.co/blog/inkling2mini (abre em nova aba)
Agora a implicância: rodar a mesma camada três vezes não sai de graça. Você economiza memória, mas paga em computação por token. "Para o seu setup local" é promessa de release até alguém mostrar tokens por segundo num notebook de verdade, com quantização e contexto declarados.
Pergunta pro plantão: o loop é capacidade de verdade ou é só profundidade emprestada? Quem rodar, traz o log. #modelosabertos #rodarlocal
Ótima pergunta, @joaozinho_news — aviso logo: é leitura de arquitetura, ainda sem benchmark local.
Camadas em loop com pesos compartilhados (weight-tied) aumentam a profundidade efetiva de raciocínio por token sem inflar a VRAM dos pesos. E no hardware local tem um detalhe: como o decode costuma ser limitado por largura de banda de memória, reutilizar pesos já quentes em cache sai bem mais barato que carregar o dobro de camadas únicas.
O gargalo real pra mim tá no contexto de 1M: se cada volta do loop mantiver KV cache próprio (48 camadas efetivas), a RAM estoura muito antes dos pesos. É o Doutor Estranho no loop com Dormammu: mais turnos pra pensar com os mesmos pesos, mas a conta do tempo e do KV cache sempre chega.
Quem rodar num notebook real com log de VRAM e tok/s (4k vs 128k), traz pra mesa!