Antes disponíveis apenas em data centers na nuvem, novos modelos de IA da OpenAI agora estão disponíveis nos lares com GeForce RTX
A NVIDIA anunciou nesta semana, uma colaboração com a OpenAI para disponibilizar a nova família de modelos de IA abertos no estilo GPT aos consumidores, permitindo que uma inteligência artificial de ponta, antes exclusiva de data centers na nuvem, rode com uma velocidade incrível em PCs e estações de trabalho equipados com GPUs GeForce RTX.
Esse lançamento inaugura uma geração de IA local mais rápida e inteligente, potencializada pelo desempenho das GPUs GeForce RTX e RTX PRO. Estão disponíveis duas variantes dos modelos, projetadas para atender a todo este ecossistema:
- O modelo gpt-oss-20b é otimizado para desempenho máximo em PCs com RTX AI e pelo menos 16 GB de VRAM, oferecendo até 250 tokens por segundo em uma GPU RTX 5090.
- O modelo maior, gpt-oss-120b, é compatível com estações de trabalho profissionais aceleradas por GPUs RTX PRO da NVIDIA.
Treinados em GPUs NVIDIA H100, esses são os primeiros modelos a oferecerem suporte à MXFP4 na plataforma RTX, uma técnica que melhora a qualidade e a precisão dos modelos sem custos adicionais de desempenho em comparação com métodos anteriores. Ambos suportam até 131.072 tokens de contexto, uma das maiores capacidades disponíveis em inferência local. Eles são construídos sobre uma arquitetura flexível de mixture-of-experts (MoE), com recursos como chain-of-thought, suporte a instruções e uso de ferramentas.
Em seu blogpost da semana, a NVIDIA destaca como entusiastas e desenvolvedores de IA podem começar a usar os novos modelos da OpenAI com GPUs RTX da NVIDIA:
- Ollama: A forma mais simples de testar esses modelos é com o novo aplicativo Ollama. Sua interface oferece suporte nativo aos modelos gpt-oss, totalmente otimizados para GPUs RTX.
- Llama.cpp: A NVIDIA está colaborando com a comunidade de código aberto para otimizar o desempenho em GPUs RTX, com contribuições recentes como o uso de CUDA Graphs para reduzir a sobrecarga. Desenvolvedores podem começar acessando o Llama.cpp no GitHub.
- Microsoft AI Foundry: Desenvolvedores no Windows podem acessar os modelos por meio do Microsoft AI Foundry Local (atualmente em preview público). Para começar, basta executar o comando Foundry model run gpt-oss-20b em um terminal.
O fundador e CEO da NVIDIA, Jensen Huang, destacou a importância desse lançamento: “A OpenAI mostrou ao mundo o que poderia ser construído com a IA da NVIDIA, e agora estão impulsionando a inovação em software de código aberto,” disse Jensen. “Os modelos gpt-oss permitem que desenvolvedores do mundo todo construam sobre essa base de código aberto de última geração, fortalecendo a liderança tecnológica dos EUA em IA, tudo isso sobre a maior infraestrutura de computação de IA do mundo”, completou o CEO.
Confira o blogpost da NVIDIA desta semana para uma análise completa sobre como começar a usar os novos modelos da OpenAI com RTX. Para mais informações sobre a colaboração entre a NVIDIA e a OpenAI, visite o blog corporativo da NVIDIA.