Treinamento versus inferência de IA: por que as arquiteturas de rede devem divergir

Sumário executivo: Os clusters de treinamento precisam de RDMA leste-oeste a 800G; a inferência precisa de distribuição geográfica e latência de milissegundos. Veja por que uma única estrutura falha em ambas as cargas de trabalho.

A Inversão da Inferência: Por que a Computação em IA está mudando

Durante anos, a aquisição de GPUs foi sinônimo de treinamento de IA. As empresas reservavam clusters com múltiplos nós e interconexões InfiniBand, e planejavam a capacidade de acordo com os cronogramas de execução de treinamentos. Essa premissa agora está obsoleta. De acordo com as Previsões TMT 2026 da Deloitte, a inferência representará aproximadamente dois terços de toda a computação de IA em 2026, um aumento em relação a aproximadamente um terço em 2023. A Gartner prevê 55% dos gastos com infraestrutura são otimizados por IA. para dar suporte à inferência em 2026, ultrapassando 65% em 2029.

Os fundamentos econômicos dessa mudança são claros. A inferência representa 80-90% dos custos totais do ciclo de vida da IA, enquanto o treinamento representa apenas 10 a 20%. O Índice de IA de Stanford de 2025 relata que o custo de inferência por milhão de tokens caiu de US$ 20 para US$ 0.07 — uma redução de 285 vezes — mas o enorme volume de solicitações de inferência significa que a conta total aumenta continuamente. A pesquisa Currents de 2026 da DigitalOcean descobriu que 44% das organizações alocam de 76% a 100% do seu orçamento de IA para inferência.E 49% citam o custo da inferência como a maior barreira para a expansão de produtos de IA.

O mercado de inferência de IA atingiu US$ 106 bilhões em 2025 e a projeção é de que cresça para US$ 255 bilhões até 2030, com uma taxa de crescimento anual composta (CAGR) de 19.2%. O mercado global de infraestrutura de IA, segundo a Gartner, deverá atingir aproximadamente US$ 2.5 trilhões em 2026, com US$ 1.36 trilhão especificamente atribuídos à infraestrutura de IA — um aumento em relação aos US$ 964 bilhões em 2025. Mais de 60% das empresas da Fortune 500 agora executam pelo menos uma carga de trabalho de IA em produção em infraestrutura de GPU na nuvem, não para experimentação, mas para sistemas geradores de receita.

Comparação AMPCOM de cluster de GPUs para treinamento de IA centralizado versus arquitetura de rede de inferência geograficamente distribuída

Os clusters de treinamento concentram a largura de banda em um único local; a inferência distribui o poder computacional para minimizar a latência para os usuários.

Para organizações que constroem infraestrutura de IA, a implicação é concreta: provisionar um único tipo de malha para ambas as cargas de trabalho representa um erro orçamentário mensurável. O treinamento exige malhas RDMA leste-oeste completas, conectando todas as GPUs a todas as GPUs. A inferência, por sua vez, pode, muitas vezes, exigir malhas RDMA leste-oeste completas. Elimine toda essa camada de rede. da lista de materiais. Análise da AMPCOM de requisitos de cabeamento da infraestrutura de IA e o mais amplo Desafios de cabeamento de data centers com IA Fornecer o contexto da camada física para essas decisões arquitetônicas.

Redes de treinamento: Priorizando a largura de banda, sem perdas, centralizadas

O treinamento de IA é um problema de sistemas distribuídos. Uma única execução de treinamento LLM de última geração em 2025 pode consumir mais de 10 milhões de horas de GPU e mais de 50 MW de energia dedicada, frequentemente exigindo de 8,000 a mais de 100,000 aceleradores operando em um padrão de comunicação contínuo, de alta largura de banda e totalmente integrado. Coordenar atualizações de gradiente em centenas ou milhares de GPUs requer interconexões que as redes de nuvem padrão não suportam.

Em um único nó, o NVLink da NVIDIA conecta GPUs em Largura de banda agregada de 1.8 TB/s por GPU Blackwell — a única estrutura na pilha de IA que opera em velocidade próxima à da HBM. Entre os nós, as redes InfiniBand ou RoCE fornecem. 400 a 800 Gb/s por nó Em implantações corporativas, o projeto de referência HGX B300 oferece conectividade de 800 Gb/s por GPU por meio de placas de interface de rede dedicadas, com um nó totalmente configurado contendo 13 ou 14 NICs, considerando as redes de armazenamento e front-end.

Dimensão Rede de Treinamento Rede de inferência
Padrão de tráfego Fluxos maciços e persistentes de leste a oeste Intermitente, distribuído, orientado a solicitações
Comunicação Coletivo muitos-para-muitos (redução total) Solicitação/resposta cliente-servidor
Alvo de otimização Taxa de transferência e sincronização Latência e concorrência
localização Centralizado, onde a energia é barata. Distribuído, próximo aos usuários
Modelo de Capacidade Reservado, sem cobertura, não compartilhado Elástico, com escalonamento automático e multilocatário.
Impacto da falha Reiniciar a partir do ponto de verificação A tarefa é movida para outro nó.

A exigência de ausência de perda de pacotes no treinamento é absoluta. O Ethernet padrão é um protocolo de melhor esforço que descarta pacotes em caso de congestionamento e depende da retransmissão TCP. Para tráfego web, isso é aceitável. No entanto, para treinamento de IA, um único pacote perdido durante uma operação de sincronização de gradiente all-reduce pode paralisar todo o processo coletivo por milissegundos, desperdiçando milhares de segundos de computação da GPU. É por isso que as arquiteturas de treinamento implementam controle de fluxo baseado em crédito (InfiniBand) ou Controle de Fluxo Prioritário com ECN (RoCEv2) para garantir zero perda de pacotes no tráfego RDMA.

O treinamento também exige acesso contínuo e ininterrupto ao mesmo cluster. Uma execução de treinamento de 40 horas não pode compartilhar infraestrutura com cargas de trabalho ad hoc. Se outra tarefa for iniciada durante a execução e disputar a largura de banda da memória, a tarefa de treinamento será degradada ou falhará. Instâncias spot representam uma falsa economia para qualquer execução de treinamento com duração superior a algumas horas — a reinicialização de um ponto de verificação pode resultar na perda de horas de computação e exigir a readquisição de todo o cluster. Para um contexto arquitetônico mais aprofundado, consulte a análise da AMPCOM sobre Diferenças no design de rede entre front-end e back-end de IA e Mudanças na cablagem estruturada para centros de dados de IA.

Redes de Inferência: Latência Prioritária, Distribuídas e Elásticas

A inferência não compartilha os mesmos requisitos do treinamento. Um endpoint de inferência em produção lida com solicitações discretas, cada uma concluída em milissegundos a segundos. A otimização de hardware prioriza menor precisão (quantização INT8 e INT4), menor consumo de memória e respostas rápidas. Em 2025, as placas NVIDIA L40S e AMD MI300X já haviam se consolidado como hardware preferencial para inferência, priorizando latência e eficiência de memória em detrimento da taxa de transferência bruta de treinamento.

A característica definidora das redes de inferência é a distribuição geográfica. Enquanto o treinamento é executado em clusters centralizados, os endpoints de inferência atendem os usuários diretamente, e a latência decorrente da distância física é mensurável na experiência do usuário. A rede intercontinental adiciona 80 a 150 milissegundos de trânsito para cada solicitação antes do início do processamento de inferência. GPUs mais rápidas não reduzem esse número. A única maneira de reduzi-lo é posicionar a infraestrutura de inferência mais perto dos usuários que geram as solicitações.

A inferência também difere em seu modelo de escalonamento. O treinamento escala verticalmente em um número menor de nós com alta capacidade de memória em um único local. A inferência escala horizontalmente — mais instâncias menores distribuídas por diferentes regiões. Isso significa que a dispendiosa infraestrutura RDMA leste-oeste exigida pelo treinamento é em grande parte desnecessária para a inferência. Um cluster dedicado exclusivamente à inferência pode eliminar toda essa camada de rede da lista de componentes, alterando drasticamente a equação de custos. Implantações de inferência em produção normalmente atingem uma utilização real de GPUs de 40 a 65%, o que significa que de 35 a 60% de cada hora faturada corresponde a computação ociosa — um problema que a distribuição geográfica e o escalonamento automático elástico resolvem diretamente.

Distinção principal: O treinamento, por si só, não gera receita. É na inferência que o investimento se paga — o chatbot que reduz os chamados de suporte, o assistente virtual que acelera o trabalho dos engenheiros, o modelo que analisa as transações. É na inferência que a IA gera retorno, e sua infraestrutura precisa ser otimizada para essa realidade econômica.

Modelos de raciocínio como o DeepSeek R1 intensificam o desafio. Esses modelos geram 20 vezes mais tokens do que a inferência tradicional, consumindo 150 vezes mais poder computacional. Isso significa que as cargas de trabalho de raciocínio podem exigir infraestrutura com especificações próximas às de treinamento, tornando tênue a fronteira entre os dois tipos de carga de trabalho. Para organizações que planejam infraestrutura de cabeamento que atenda a ambos os tipos de carga de trabalho, a AMPCOM oferece soluções completas e eficientes. Guia de integração de rack de rede de IA e Guia de cabeamento para adaptação de IA Abrange o planejamento da camada física que torna viáveis ​​os clusters de uso duplo.

Seleção de tecido: InfiniBand vs Ethernet vs RoCEv2

A escolha da infraestrutura para clusters de IA mudou fundamentalmente. Em 2025, o Ethernet ultrapassou o InfiniBand em implantações de redes de back-end para IA, e relatórios do setor no início de 2026 indicam aproximadamente 70% das novas implementações de infraestrutura de IA utilizam Ethernet.Os motivos são operacionais e econômicos: um modelo de rede compartilhado com o restante do data center, uma cadeia de suprimentos com múltiplos fornecedores e um custo menor por porta em 400G e 800G.

tecido Taxa por porto Latência Modelo de Perda Ecossistema
InfiniBand NDR (Quantum-2) 400 Gb / s ~1-2 microssegundos Sem perdas (baseado em crédito) Fornecedor único (NVIDIA)
InfiniBand XDR (Quantum-3) 800 Gb / s ~1 microssegundo Sem perdas (baseado em crédito) Fornecedor único (NVIDIA)
RoCEv2 em Ethernet 400/800G 400-800 GB/s ~5-10 microssegundos Padrão com perdas; sintonizado por PFC+ECN Multivendedor, aberto
Ethernet Spectrum-X 800 Gb / s ~1.5-2.5 microssegundos Roteamento adaptativo, sem perdas Placa de rede NVIDIA + switch multivendor
Ultra Ethernet (UEC v1) 800 Gb / s Objetivo: comparável ao IB Packet spray, RDMA de múltiplos caminhos Padrão aberto e multivendedor

A principal vantagem do InfiniBand é o SHARP — computação em rede que executa a operação coletiva all-reduce dentro do silício do switch, reduzindo o número de requisições de várias para essencialmente uma em grandes clusters. Para treinamento em escala de ponta, isso proporciona uma vantagem mensurável. No entanto, para clusters de até aproximadamente 10,000 GPUs, o Ethernet RoCEv2 de 800G otimizado oferece... 85-95% da capacidade de processamento do InfiniBand com base em ferramentas multivendedor já conhecidas e a um custo significativamente menor. Um teste independente da WWT constatou uma diferença de desempenho de ponta a ponta inferior a 1% em cargas de trabalho reais de inferência e IA generativa — sugerindo que a escolha da infraestrutura de rede tem pouca relevância para muitas implementações de servidores de produção.

A diferença de custo é substancial. Uma estimativa para 2026 coloca o custo do hardware com 512 GPUs em aproximadamente US$ 2.5 milhões com InfiniBand contra US$ 1.3 milhão com EthernetCom um custo total de propriedade (TCO) de três anos de US$ 3.5 milhões, em comparação com US$ 2.1 milhões, as soluções Ethernet baseadas em RoCEv2 apresentaram um crescimento de 31% nas remessas em 2025, em comparação com 19% para o InfiniBand, sinalizando uma mudança estrutural em direção a redes de IA baseadas em Ethernet.

Diagrama comparativo AMPCOM das arquiteturas de rede InfiniBand versus Ethernet AI Fabric com especificações de porta de 400G e 800G.

O InfiniBand oferece latência inferior a microssegundos e reduções SHARP; o Ethernet oferece 85-95% da taxa de transferência pela metade do custo.

O Consórcio Ultra Ethernet (UEC) — fundado por AMD, Arista, Broadcom, Cisco, Google, HPE, Intel, Meta e Microsoft — publicou sua especificação 1.0 em 2025, definindo o packet spray em todos os caminhos, RDMA multipath, entrega fora de ordem e retransmissão seletiva no Ethernet padrão. O primeiro hardware compatível chega em 2026, trazendo silício de múltiplos fornecedores para o design de malhas de IA. Para contexto da cadeia de suprimentos, a AMPCOM Guia de seleção de fornecedores de cabos de fibra óptica e Guia de opções de fornecedores confiáveis Ajudar as organizações a avaliar parceiros de conectividade para essas estruturas de alto desempenho.

Estratégia de Óptica e Cabeamento: 400G, 800G e Além

Tanto o InfiniBand quanto o Ethernet utilizam a mesma camada física: fibras ópticas OSFP/QSFP-DD de 400G e 800G. DAC e AOCO tipo de cabo é tão importante quanto o switch. O DAC (cobre de conexão direta) é o mais barato, mas tem um limite de aproximadamente 3 metros. O AOC (cabo óptico ativo) permite alcances de 5 a 30 metros, com um custo mais elevado. O LPO (óptica plugável com acionamento linear) é a grande novidade para 2025-2026, reduzindo o consumo de energia por porta em 30 a 50% em comparação com as ópticas tradicionais com temporização ajustada, graças à remoção do DSP. O CPO (óptica co-embalada) integra a óptica ao ASIC do switch e é o caminho para taxas de comutação superiores a 100 Tb/s.

Segundo a Nomura Securities, As remessas de módulos ópticos 800G dobrarão, passando de 20 milhões de unidades em 2025 para 43 milhões em 2026.Enquanto isso, os módulos de 1.6T disparam de 2.5 milhões para 20 milhões de unidades. A projeção é de que as vendas de switches para data centers cresçam 86% ano a ano em 2026. O mercado global de interconexão óptica, avaliado em menos de US$ 20 bilhões em 2025, deverá atingir [valor omitido]. $ 92 bilhões até 2028 com uma taxa de crescimento anual composta de 65%, impulsionada principalmente pela demanda por redes de IA em data centers.

A estratégia de cabeamento diverge drasticamente entre treinamento e inferência. Os clusters de treinamento concentram uma enorme densidade de fibra em uma única instalação — um rack GB300 NVL72 com 72 GPUs consome até 120 kW e exige refrigeração líquida como requisito de projeto obrigatório. Cada switch de trilho lida com 72 links de 800G por rack, exigindo switches de alta capacidade (mais de 64 portas de 800G) e painéis ópticos de alta densidade. Os clusters de inferência, por outro lado, distribuem um número menor de fibras por diversas localizações geográficas, com cada local exigindo menos links ópticos, porém ainda de alta qualidade.

Tipo de cabo Intervalo de distância Potência por porta Uso de treinamento Uso de inferência
DAC (cobre de conexão direta) 0-3 m Mínimo (passivo) GPU para switch dentro do mesmo rack Nós de borda intra-rack
AOC (Cabo Óptico Ativo) 5-30 m Baixa potência (0.5-1.5W) Entre prateleiras dentro da mesma fileira Inter-rack, regional
Módulo Óptico 400G/800G 100 m - 10 km 7-15W (reprogramado) Ligações entre fileiras e espinha dorsal DCI, espinha dorsal
LPO (Linear-Drive Pluggable) 100 m - 2 km 4-8W (30-50% menor) Emergindo para o 800G Emergindo para o 800G

Para selecionar a infraestrutura de fibra óptica adequada, a AMPCOM oferece... guia de tipos de cabos de fibra óptica, Guia de seleção de cabos monomodo versus multimodo, e a guia de seleção estratégica de fibras Fornecer as especificações de engenharia necessárias para as implementações de treinamento e inferência. Especificamente para interconexões de alta velocidade, Guia de compra AOC vs DAC e Tipos de cabos DAC e guia de latência Abordar as vantagens e desvantagens práticas ao nível do rack.

Projeto de Topologia: Otimizado para Trilhos vs. Geodistribuído

As redes de data center tradicionais usam topologia spine-leaf, onde todos os switches leaf se conectam a todos os switches spine, e o tráfego entre quaisquer dois pontos de extremidade pode percorrer vários saltos através de switches compartilhados. Isso funciona bem para cargas de trabalho corporativas com muitos fluxos pequenos, mas cria dois problemas críticos para o treinamento de IA: pontos de congestionamento quando vários fluxos grandes competem pela mesma porta spine e latência imprevisível que desestabiliza os padrões de comunicação coletivos.

Topologia otimizada para trilhos para treinamento

A topologia otimizada para trilhos — também chamada de design conectado a trilhos ou alinhado a trilhos — atribui cada posição de GPU em um rack a um switch leaf dedicado (um "trilho"). Em um NVL72 com 8 GPUs por bandeja de computação, existem 8 trilhos, cada um com seu próprio switch leaf e switch spine dedicados. O tráfego entre racks para operações tensor-parallel ou expert-parallel segue um único caminho determinístico através de um spine correspondente, garantindo que a contagem de saltos seja minimizada, o bloqueio de cabeçalho de linha seja eliminado, o congestionamento seja previsível e os domínios de falha sejam isolados.

Na prática, um cluster com 8 racks NVL72 (576 GPUs) utiliza 8 switches de trilho, cada um gerenciando 72 links de 800G por rack — um total de 576 conexões de 800G por trilho. Isso exige switches de alta radix e painéis ópticos de alta densidade. A Meta descreveu o treinamento de seus maiores modelos em uma malha Ethernet RoCE em um cluster de 24,000 GPUs usando topologia otimizada para trilhos com ajustes cuidadosos de PFC e ECN. A arquitetura HPN da Alibaba, publicada na SIGCOMM 2024, utiliza Ethernet de plano duplo para eliminar pontos únicos de congestionamento.

Topologia Geodistribuída para Inferência

A topologia de inferência é fundamentalmente diferente. Em vez de concentrar milhares de GPUs em uma única instalação, a inferência distribui clusters menores por várias regiões geográficas. Cada região atende a uma população de usuários, e o roteamento de tráfego direciona as solicitações para o endpoint de inferência disponível mais próximo. A topologia não é uma árvore complexa — é uma estrela ou uma malha de clusters regionais conectados por links WAN, com escalonamento automático que provisiona capacidade de GPU com base no volume de solicitações em tempo real.

A principal métrica passa da largura de banda bisseccional (treinamento) para o tempo até o primeiro token (inferência). Essa métrica inclui o tempo de trânsito na rede do usuário até o ponto de extremidade de inferência, o carregamento do modelo e a geração do primeiro token. Um cluster de inferência em Frankfurt atende usuários europeus mais rapidamente do que um na Virgínia, e essa diferença é mensurável nas taxas de conclusão e na receita. A inferência distribuída também reduz os custos de saída, pois os tokens de saída percorrem caminhos de rede mais curtos para chegar aos usuários.

Para o planejamento da camada física de ambas as topologias, a AMPCOM utiliza o seguinte: Guia de soluções de alta densidade com 288 fibras e Guia de escalabilidade da arquitetura de fibra 800G Abrange a infraestrutura óptica que suporta a densidade de comutação por trilhos. guia de gerenciamento de cabos do painel de conexão Aborda o desafio da organização física de centenas de cabos de fibra por trilho.

Custo, Potência e Custo Total de Propriedade: A Economia da Divergência

O custo de uma combinação inadequada de infraestrutura deixou de ser teórico. O preço das GPUs sob demanda na nuvem não distingue entre cargas de trabalho de treinamento e inferência. A cobrança é a mesma, independentemente de a GPU estar executando computação ativa ou aguardando entre solicitações de inferência. Com a taxa da AWS de US$ 6.88 por hora equivalente a H100, 35% a 60% de computação ociosa representa uma perda direta de orçamento sem retorno correspondente. A capacidade equivalente a H100 do Azure custa US$ 12.29 por hora de GPU, e a do Google Cloud, US$ 11.68. Além das taxas de GPU, os hiperescaladores adicionam taxas de saída de US$ 0.08 a US$ 0.12 por GB para dados que saem da rede.

Fator Formação Inferência
Compartilhamento do custo do ciclo de vida 10-20% 80-90%
Utilização de GPU Alto (processamento em lote) 40-65% (orientado por solicitações)
Hardware (H100/H200) Padrão (otimizado para produtividade) Exagerado para a maioria das cargas de trabalho.
Hardware preferido H100, H200, B200 (141-192 GB HBM) L40S, MI300X, B200/B300, TPU, Trainium
Custo do tecido (512 GPU) Aproximadamente US$ 2.5 milhões (InfiniBand) Aproximadamente US$ 1.3 milhão (Ethernet)
Custo Total de Propriedade (TCO) de 3 anos (512 GPUs) ~ $ 3.5M ~ $ 2.1M
Distribuição geográfica Localização 1 Múltiplas regiões
Potência por rack Até 120 kW (NVL72) 15-40 kW típicos

A Meta oferece a prova mais clara de que hardware específico para cada carga de trabalho compensa. Seus chips de inferência MTIA personalizados são mais lentos do que as GPUs topo de linha da NVIDIA, mas a Meta relata uma Redução de 44% no custo total de propriedade nas cargas de trabalho de recomendação para as quais foram projetadas. O Google TPU oferece um consumo de energia 67% menor para cargas de trabalho de inferência em comparação com a NVIDIA, com uma melhoria de 4.7 vezes na relação custo-benefício. O AWS Trainium oferece uma economia de 30 a 40% nos custos de inferência. O mercado de inferência possui alternativas competitivas que o mercado de treinamento, dominado pela NVIDIA, não possui.

As técnicas de otimização potencializam a economia. Quantização, poda e destilação reduzem o tamanho dos modelos. Processamento em lote dinâmico, escalonamento automático e implantação mista de CPU/GPU maximizam a utilização da GPU. A Character.AI, em parceria com a AMD, alcançou uma redução de 50% no custo de inferência e uma melhoria de 2x na taxa de transferência por meio da diversificação de GPUs e quantização. Sistemas de inferência otimizados oferecem uma relação custo-benefício de 5 a 10 vezes melhor do que os não otimizados, reduzindo os custos de infraestrutura em 60 a 80%.

Para organizações que avaliam o custo total da infraestrutura de cabeamento de rede, a AMPCOM oferece... Custo total de propriedade (TCO) e estratégia de aquisição de cabos de rede e guia de estratégia de aquisição de cabos Fornecer estruturas para calcular o custo total do ciclo de vida da infraestrutura de cabeamento em implantações de treinamento e inferência.

Projetando para Aglomerados Mistos: Estratégias de Coexistência

Muitas organizações não têm recursos para manter clusters separados para treinamento e inferência. Na prática, a realidade são ambientes com cargas de trabalho mistas, onde os serviços de treinamento e inferência compartilham a infraestrutura física. A chave para o sucesso nesse cenário é o agendamento com reconhecimento de carga de trabalho e a segmentação física da rede.

Estratégia 1: Camadas de tecido dedicadas

Providencie uma infraestrutura RDMA de nível profissional para treinamento (InfiniBand ou Spectrum-X) em trilhos dedicados para as cargas de trabalho de treinamento e use Ethernet padrão para o tráfego de inferência. A separação física na camada de cabeamento garante que o tráfego coletivo de treinamento nunca entre em conflito com o tráfego de requisição de inferência. Compre a infraestrutura RDMA uma única vez e compartilhe-a, ou execute o treinamento em locais onde a energia é barata e alugue a capacidade entre as execuções.

Estratégia 2: Segregação de Tipos de GPU

Continue usando H100/H200 para treinamento de modelos grandes, enquanto implemente B200/B300 para inferência e distribuição. A Blackwell oferece a maior melhoria em taxa de transferência e latência especificamente para inferência. L40S e MI300X servem como alternativas de inferência com boa relação custo-benefício para cargas de trabalho que não exigem largura de banda de memória da classe HBM. A abordagem da Meta — MTIA personalizada para cargas de trabalho de recomendação estáveis ​​e bem compreendidas — demonstra o valor do hardware específico para cada carga de trabalho em escala.

Estratégia 3: Provisionamento de pico para cargas de trabalho intermitentes

Varreduras de hiperparâmetros, lotes de avaliação e picos de pré-processamento de dados são intermitentes por definição. Um cluster com 20% de utilização entre picos de demanda gera uma cobrança de 100% do custo do cluster, enquanto entrega apenas 20% do valor. O modelo correto é o provisionamento sob demanda: garantir capacidade durante a duração da carga de trabalho e liberá-la ao término. Modelos de provisionamento com compromissos mais curtos agora permitem adequar a duração do contrato à duração da carga de trabalho, em vez de vincular a capacidade de pico a contratos anuais.

Lista de verificação da infraestrutura de carga de trabalho de IA

  • Identifique se sua carga de trabalho principal é treinamento, inferência ou mista — isso influencia todas as decisões subsequentes.
  • Para treinamento: provisione InfiniBand NDR/XDR ou Spectrum-X com 400-800G por nó, reservando hardware dedicado (bare-metal).
  • Para inferência: implemente Ethernet RoCEv2 de 400G/800G, distribuída geograficamente, com escalonamento automático.
  • Para o orçamento de inferência, calcule o custo por token na latência P99, e não o custo por hora de GPU.
  • Especifique DAC para conexões intra-rack (menos de 3 m), AOC para conexões inter-rack (5-30 m) e módulos ópticos para conexões mais longas.
  • Projetar topologia otimizada para trilhos para clusters de treinamento com leaf e spine dedicados por trilho.
  • Posicione os pontos de extremidade de inferência a uma distância de até 50 ms do tráfego de rede das populações de usuários-alvo.
  • Planeje o resfriamento líquido para qualquer rack com potência superior a 30 kW — o GB200 NVL72 exige resfriamento líquido a 120 kW.
  • Avaliar aceleradores alternativos (TPU, Trainium, MI300X) para inferência, a fim de reduzir a dependência de fornecedores.
  • Implemente um agendamento que leve em consideração a carga de trabalho e impeça que as tarefas de treinamento entrem em conflito com os SLAs de inferência.

Para a cablagem física que sustenta estas estratégias, consulte os guias da AMPCOM sobre Melhores práticas de gerenciamento de cabos em data centers, Soluções de cabeamento para racks de 30 kW a 120 kW, e a Guia de arquitetura de cabos e refrigeração em rack Abrange a infraestrutura física que torna os clusters de IA de alta densidade operacionais. Guia de flexibilidade energética para data centers de IA Aborda a infraestrutura elétrica exigida pelos clusters de treinamento e inferência.

Centro de dados de IA moderno da AMPCOM, mostrando a zona de treinamento com racks NVL72 refrigerados a líquido e a zona de inferência com servidores de GPU conectados via Ethernet.

Clusters de IA mistos exigem segmentação física na camada de cabeamento para evitar que o tráfego coletivo de treinamento entre em conflito com os SLAs de inferência.

Para organizações que planejam roteiros de infraestrutura de IA de longo prazo, o Análise do roteiro de data centers da NVIDIA para 2026 e Guia de tendências de cabeamento 800G e 1.6T Fornecer um contexto prospectivo sobre como a aceleração dos ciclos de hardware irá remodelar os requisitos de rede e cabeamento até 2027 e além.

Perguntas Chave

P1: Qual é a diferença entre os requisitos de treinamento de IA e os requisitos de rede de inferência?

As redes de treinamento de IA priorizam a largura de banda máxima leste-oeste para comunicação coletiva entre clusters de GPUs, exigindo estruturas RDMA sem perdas, como InfiniBand, com 400-800 Gb/s por nó, posicionamento centralizado e capacidade bare-metal reservada. As redes de inferência de IA priorizam baixa latência para o tráfego de solicitação-resposta, exigindo distribuição geográfica próxima aos usuários, escalabilidade elástica e estruturas baseadas em Ethernet, que são mais econômicas do que o InfiniBand de nível de treinamento.

P2: Devo usar InfiniBand ou Ethernet para cargas de trabalho de inferência de IA?

Para a maioria das cargas de trabalho de inferência, uma rede Ethernet RoCEv2 de 400G ou 800G otimizada é a melhor escolha. A estrutura RDMA leste-oeste do InfiniBand é desnecessária para o tráfego de inferência de requisição-resposta, e a Ethernet oferece de 85% a 95% da taxa de transferência do InfiniBand a um custo significativamente menor. Um cluster com 512 GPUs custa aproximadamente US$ 2.5 milhões com InfiniBand, contra US$ 1.3 milhão com Ethernet. Reserve o InfiniBand para treinamentos de ponta, onde a latência abaixo de um microssegundo e as reduções de SHARP na rede proporcionam vantagens mensuráveis.

P3: Que percentagem do investimento em computação de IA é destinada à inferência?

A inferência representou aproximadamente um terço do poder computacional da IA ​​em 2023, atingiu cerca de 50% em 2025 e a projeção é de que chegue a dois terços em 2026. A Gartner prevê que 55% dos gastos com infraestrutura otimizada para IA serão destinados à inferência em 2026, ultrapassando 65% em 2029. A inferência representa de 80% a 90% dos custos totais do ciclo de vida da IA, tornando-se o principal fator econômico que influencia as decisões de infraestrutura.

Q4: Quais módulos ópticos são necessários para clusters de treinamento de IA?

Os clusters de treinamento normalmente implantam módulos ópticos de 400G ou 800G. De acordo com a Nomura Securities, as remessas de módulos de 800G dobrarão, passando de 20 milhões de unidades em 2025 para 43 milhões em 2026, enquanto os módulos de 1.6T aumentarão de 2.5 milhões para 20 milhões. Os cabos DAC lidam com conexões de até 3 metros, os AOCs (cabos ópticos ativos) abrangem distâncias de 5 a 30 metros e os módulos ópticos ativos cobrem distâncias maiores. O mercado global de interconexão óptica deverá crescer de menos de US$ 20 bilhões em 2025 para US$ 92 bilhões em 2028.

Q5: Posso executar treinamento e inferência no mesmo cluster de GPUs?

Embora tecnicamente possível, é economicamente subótimo. O treinamento exige capacidade dedicada em servidores físicos com disponibilidade garantida, enquanto a inferência necessita de escalabilidade elástica e distribuição geográfica. Executar inferência em hardware de treinamento significa pagar preços de treinamento por cargas de trabalho que não exigem InfiniBand, resultando em 35-60% de ociosidade computacional a preços de hiperescaladores de US$ 6 a US$ 12 por hora de GPU. Equipes com visão de futuro estão separando treinamento, inferência e computação de pico em pools de capacidade dedicados.

Q6: O que é topologia otimizada para trilhos e por que ela é importante para o treinamento?

A topologia otimizada para trilhos atribui cada posição de GPU em um rack a um switch leaf dedicado, criando trilhos independentes que eliminam pontos de congestionamento. Em um NVL72 com 8 GPUs por bandeja de computação, existem 8 trilhos, cada um com seu próprio switch leaf e spine. Isso garante contagens de saltos determinísticas, elimina o bloqueio de cabeçalho de linha e isola domínios de falha. O tráfego entre racks segue um único caminho através de um spine correspondente, o que é essencial para o desempenho coletivo all-reduce durante o treinamento.

Q7: Por que a inferência requer distribuição geográfica enquanto o treinamento não?

A latência de inferência é medida desde a chegada da solicitação até o retorno do primeiro token, incluindo o tempo de trânsito da rede. Redes intercontinentais adicionam de 80 a 150 milissegundos a cada solicitação antes do início da computação. GPUs mais rápidas não conseguem reduzir esse atraso. Os treinamentos são realizados em lotes offline, onde a localização não afeta a experiência do usuário; portanto, são executados onde a energia é barata e os clusters de GPUs são contíguos. A inferência precisa estar próxima dos usuários para atingir as metas de resposta em nível de milissegundos.

Q8: O que é o Consórcio Ultra Ethernet e como ele está mudando as redes de IA?

O Ultra Ethernet Consortium (UEC) é um esforço conjunto de toda a indústria, incluindo AMD, Arista, Broadcom, Cisco, Google, HPE, Intel, Meta e Microsoft, para padronizar um transporte de IA baseado em Ethernet que concorra com o InfiniBand. A especificação UEC 1.0, publicada em 2025, define o packet spray em todos os caminhos, RDMA multipath, entrega fora de ordem e retransmissão seletiva. O primeiro hardware compatível chega em 2026, trazendo silício de múltiplos fornecedores para o design de malhas de IA.

Sobre a AMPCOM

A AMPCOM é uma fabricante líder de produtos de cabeamento estruturado para data centers da era da IA, incluindo cabo de fibra ótica, cabo de fibra, Cabos AOC e DAC de alta velocidade, transceptores ópticos e sistemas de gerenciamento de cabos de painel de conexãoNossos produtos passam por testes rigorosos para atender aos padrões TIA-568, ISO/IEC 11801 e IEEE 802.3, e fornecemos documentação completa de certificação para registro de garantia em data centers de IA. Cada cabo AMPCOM tem garantia de desempenho de 25 anos quando instalado e certificado de acordo com nossas diretrizes publicadas. Para mais informações sobre nossa linha de produtos e opções de aquisição, Visite o nosso estratégia de aquisição de cabos cubo.

Artigos Relacionados

Equipe Técnica da AMPCOM

Equipe Técnica da AMPCOM

Especialistas do setor com mais de 17 anos de experiência em infraestrutura de data centers de IA, redes ópticas de alta velocidade e sistemas de cabeamento para clusters de GPUs.

Planejando a implantação de um cluster de IA?

Nossa equipe técnica oferece consultoria gratuita em arquitetura de redes para treinamento e inferência de IA, cabeamento óptico de 400G/800G, projeto de topologia otimizado para trilhos e segmentação de clusters com cargas de trabalho mistas.

Obtenha consultoria especializada gratuita.
Voltar à coluna

Deixe um comentário

Observe que os comentários precisam ser aprovados antes de serem publicados.