Aproveitando o forte crescimento da demanda por IA, a startup Tiiny anunciou nesta quinta-feira (10) o Tiiny AI Pocket Lab, um “supercomputador de bolso” que promete entregar desempenho para rodar Grandes Modelos de Linguagem (LLMs) gigantes sem a nuvem ou hardware de alto custo. A proposta ambiciosa teria no software um dos seus segredos, além de especificações encorpadas para um dispositivo compacto.
Os LLMs têm entre as principais métricas a quantidade de parâmetros que possuem — no geral, quanto maior forem, mais precisão oferecem, garantindo melhores resultados. No entanto, opções maiores também exigem hardware poderoso e uma quantidade elevada de memória.
Neste caso, pesquisadores e profissionais que precisem utilizar modelos gigantes, com mais de 100 bilhões de parâmetros, têm de recorrer à nuvem ou, caso lidem com dados sensíveis e exijam privacidade, são obrigados a investir em dispositivos de alto custo.