iPhone 17 Pro impressiona e roda LLM gigante de 400 bilhões de parâmetros em teste extremo

Um desenvolvedor conseguiu fazer o impensável ao rodar um Grande Modelo de Linguagem (LLM) gigante, de 400 bilhões de parâmetros, em um iPhone 17 Pro. Embora o feito seja um marco técnico impressionante para a reprodução de Inteligência Artificial local, especialmente diante das limitações de memória do celular, a velocidade bastante lenta de execução mostra que a tecnologia ainda engatinha nos smartphones.

Modelos desse porte são desenvolvidos para servidores robustos e exigem, em média, 200 GB de RAM para funcionar, mesmo em versões comprimidas — em comparação, o iPhone 17 Pro possui apenas 12 GB de memória. Contudo, usando alguns truques e otimizações pesadas, o desenvolvedor Anemll (@anemll no X/Twitter) venceu essa barreira.

Rolar para cima