A Intel liberou nesta semana a primeira atualização para o Project Battlematrix, workstation da gigante dedicada a tarefas de Inteligência Artificial. Com o update, a empresa disponibilizou uma série de otimizações para a reprodução de Grandes Modelos de Linguagem (LLMs) e para o gerenciamento e monitoramento do sistema. O pacote é identificado para atuar como uma “habilitação antecipada para clientes”, um sinal de que a disponibilização das máquinas está próxima.
A principal novidade da atualização é a chegada da versão 1.0 do LLM Scaler, ferramenta usada para escalonar o processamento dos LLMs, um marco importante para o lançamento do Project Battlematrix. Nesse estágio, diversas otimizações foram implementadas para diferentes modelos, junto à implementação de novos recursos.
Começando justamente pelos recursos estreantes, temos a adoção de suporte à decodificação especulativa, que agiliza o processamento ao estimar o resultado de solicitações, e do torch.compile, ferramenta que acelera a reprodução de códigos PyTorch, comuns em modelos de IA.