A indústria de tecnologia está vivendo a febre das inteligências artificiais, com muitas empresas investindo alto em novas tecnologias para treinar seus modelos proprietários. Esta semana, Elon Musk revelou que o próximo modelo Grok 3 LLM, está sendo treinado com nada menos que 100 mil placas de vídeo H100 AI da NVIDIA.

A NVIDIA é uma das marcas que mais se beneficiou com a crescente onda das inteligências artificiais, já que basicamente todos os modelos de chatbots e demais recursos com essa tecnologia são treinados através de GPUs, e como a empresa é a maior fabricante do mundo desses dispositivos, é claro que ela viu sua demanda aumentando exponencialmente.

Conhecida como xAI, a startup de inteligência artificial criada por Elon Musk é mais uma a colaborar para o crescimento desenfreado da NVIDIA. A empresa é responsável por criar os modelos LLM do "Grok", um assistente virtual para assinantes do X/Twitter Premium.

Até o momento, a xAI tem lançado novas versões do modelo original do Grok, enquanto se prepara para o lançamento do Grok 2, contudo, Elon revelou recentemente que eles já estão trabalhando no modelo Grok 3, revelando que ele será muito mais robusto que seus antecessores.

Grok 3 end of year after training on 100k H100s should be really something special

— Elon Musk (@elonmusk) July 1, 2024

A revelação de que o modelo Grok 3 está usando 100 mil unidades de placas de vídeo H100 AI para seu treinamento é algo surpreendente e pode gerar resultados inéditos.

Existem rumores de que o GPT-4 LLM da OpenAI foi treinado com 40 mil placas de vídeo A100 AI da NVIDIA, que são relativamente defasadas em relação aos modelos H100, além da menor quantidade, o que nos faz imaginar as capacidades que o vindouro Grok 3 terá.

Anteriormente, Musk afirmou que treinar LLMs com dados da internet é algo frenético e exige "muito trabalho", especialmente quando se trata de recursos da computação. Segundo ele, o modelo Gork 2, que deve ser lançado em agosto, é uma melhoria nesse sentido, e que o modelo Grok 3 será construído em cima das gerações anteriores, sendo um grande lançamento da xAI.

Quais serão as grandes novidades trazidas pelo Grok 3?