NVIDIA e Oracle expandem escalabilidade da NVIDIA Vera Rubin
A NVIDIA e a Oracle anunciam planos para expandir os Superclusters da Oracle Cloud Infrastructure (OCI) com sistemas NVIDIA Vera Rubin NVL72 para escala de vários gigawatts, atendendo à crescente demanda dos clientes por treinamento de IA, inferência e aplicações com agentes. A Oracle e a NVIDIA também expandem a colaboração em infraestrutura de IA com a disponibilidade geral das CPUs NVIDIA Vera Rubin NVL72 e NVIDIA Vera na OCI.
A colaboração ampliada oferece aos clientes infraestrutura tanto para o trabalho intensivo em GPUs de treinamento e disponibilização de modelos de ponta, quanto para as tarefas intensivas em CPUs que os agentes executam entre as chamadas de modelo, incluindo a execução de ferramentas, o teste de código e a recuperação de dados. Os clientes podem dimensionar os recursos de CPU e GPU de forma independente para atender às suas cargas de trabalho, ajudando a reduzir a capacidade ociosa e a colocar mais de sua infraestrutura em uso produtivo.
Os Superclusters da OCI ajudam as organizações a lançar IA de ponta no mercado mais rapidamente, em escala de vários gigawatts
Os Superclusters da OCI combinam sistemas NVIDIA NVL72 em escala de rack, rede Oracle Acceleron com rede Ethernet NVIDIA Spectrum-X ™, apresentando switches NVIDIA Spectrum™-6 e DPUs NVIDIA BlueField®-4, além de energia e refrigeração de classe gigawatt para treinar e fornecer os maiores modelos de IA. Cada rack conecta 72 GPUs por meio da rede escalável NVIDIA NVLink ™, enquanto a rede multiplanar e resiliente da OCI escala para centenas de milhares de GPUs.
A expansão planejada para Vera Rubin se baseia na infraestrutura existente da OCI, que utiliza tecnologia NVIDIA, incluindo os sistemas NVIDIA GB200 e GB300 NVL72. A base de software CUDA® comum da NVIDIA e a otimização contínua do software ajudam os clientes a oferecer suporte a modelos e cargas de trabalho em constante evolução ao longo das gerações de hardware.
A OCI também planeja lançar o NVIDIA HGX Rubin NVL8, que oferece oito GPUs Rubin conectadas por meio de NVLink em uma configuração de servidor baseada em x86.
A plataforma planejada apresenta duas CPUs Intel Xeon 6 de 64 núcleos, 4 TB de memória DDR5 e 6,4 Tbps de rede RDMA de alta velocidade, oferecendo uma opção de implementação flexível para treinamento, ajuste fino e inferência de IA. O HGX Rubin NVL8 permite que os clientes adotem a tecnologia de GPU Rubin de última geração em uma configuração menor de oito GPUs, mantendo a compatibilidade com aplicativos baseados em x86.
Essa flexibilidade permite que os clientes adaptem sua infraestrutura de IA a diferentes modelos e cargas de trabalho à medida que suas necessidades evoluem, utilizando capacidade computacional acelerada tanto no treinamento quanto na inferência para melhor aproveitar seus investimentos em infraestrutura.
A OpenAI demonstrou como essa infraestrutura suporta IA de ponta. Em Abilene, a OpenAI treinou e disponibilizou o GPT-6 Astra em um supercluster OCI com mais de 100.000 GPUs NVIDIA Blackwell.
“À medida que nossos modelos de ponta avançam, precisamos de uma infraestrutura que acompanhe o ritmo”, diz Sreekanth Pothanis, líder de engenharia de infraestrutura computacional da OpenAI. “A NVIDIA Vera Rubin na OCI nos oferece o desempenho computacional e a escalabilidade necessários para acelerar o treinamento de modelos e atender às cargas de trabalho de IA cada vez mais exigentes.”
As CPUs NVIDIA Vera na OCI aceleram o trabalho por trás dos agentes de IA
Os agentes de IA fazem mais do que gerar respostas. Eles chamam ferramentas, executam código e recuperam informações para concluir tarefas. A execução lenta dessas operações que exigem muito da CPU pode atrasar os resultados e deixar as GPUs ociosas entre as chamadas do modelo.
O OCI Compute com CPUs NVIDIA Vera combina alto desempenho de thread único com largura de banda de memória para ajudar os agentes a concluir tarefas que exigem muito da CPU mais rapidamente. O alto desempenho de thread único acelera as chamadas de ferramentas individuais e a execução de código, enquanto a alta largura de banda de memória mantém os núcleos da CPU abastecidos com dados à medida que os agentes executam tarefas simultâneas. Juntas, essas capacidades ajudam a reduzir o tempo ocioso da GPU e a manter um desempenho consistente à medida que as cargas de trabalho aumentam. Para dar suporte adicional a essas cargas de trabalho, o OCI Kubernetes Engine permite que os clientes dimensionem os recursos de CPU e GPU de forma independente, enquanto o Oracle Acceleron fornece isolamento baseado em hardware para cargas de trabalho que executam código não confiável gerado por IA.
Clientes com acesso antecipado às CPUs NVIDIA Vera na OCI, incluindo a OpenAI, estão explorando seu potencial em uma variedade de cargas de trabalho de IA.
“As CPUs NVIDIA Vera na OCI oferecem o desempenho de classe mundial necessário para executar código e ferramentas em nossas cargas de trabalho de sandbox de agentes, que estão crescendo rapidamente”, diz Uday Ruddarraju, diretor de tecnologia de computação da OpenAI. “Estamos implementando a Vera em produção na OCI para dar suporte a essas cargas de trabalho em escala.”
“A Oracle Cloud Infrastructure oferece aos clientes o desempenho, a segurança e a escalabilidade necessários para impulsionar a IA de ponta”, diz Mahesh Thiagarajan, presidente da Oracle Cloud Infrastructure na Oracle. “Nossa colaboração com a NVIDIA amplia essas capacidades para treinamento, inferência e IA ativa. Ao combinar GPUs NVIDIA Vera Rubin e CPUs Vera com a rede Oracle Acceleron e data centers otimizados para IA, estamos ajudando os clientes a manter as GPUs produtivas, seguras e escaláveis de forma eficiente à medida que suas necessidades crescem.”
“As fábricas de IA precisam ser produtivas, duráveis e fungíveis — oferecendo computação eficiente, mantendo-se úteis mesmo com os avanços contínuos de software e atendendo a diferentes modelos e cargas de trabalho conforme a demanda muda”, diz Ian Buck, vice-presidente de computação de hiperescala e alto desempenho da NVIDIA. “Com a Oracle, estamos trazendo o Vera Rubin e as CPUs Vera para a OCI para ajudar os clientes a colocar mais de sua infraestrutura em funcionamento hoje e sustentar seu valor à medida que a IA evolui.”
Saiba mais sobre o Oracle Acceleron, o Oracle Cloud Infrastructure Supercluster, a parceria multigeneracional entre a Oracle e a NVIDIA e o OCI Compute com CPUs NVIDIA Vera.
