Conmutadores de centros de datos de última generación

El conmutador que elijas influye en el rendimiento de las GPU y en la velocidad de finalización de las tareas. En un centro de datos de IA, los conmutadores deben gestionar el tráfico entre los nodos de GPU a alta velocidad de forma continua, con una latencia baja y constante. Un punto débil ralentiza las operaciones grupales y deja recursos computacionales costosos inactivos.¿Qué debería guiar tu elección cuando eliges? conmutadores de centro de datos de próxima generación ¿Buscas soluciones para IA y redes de alto rendimiento? Necesitas una comparación justa de las tecnologías y una lista de verificación práctica, no meras afirmaciones de los proveedores.Ailink le guiará a través del rendimiento, la idoneidad de la aplicación, el cumplimiento normativo y el coste. Al finalizar, contará con pruebas que podrá defender ante su equipo y una hoja de ruta clara para tomar una decisión bien fundamentada.Conclusiones claveAdapta el conmutador a tu carga de trabajo de IA. Las tareas de entrenamiento de gran tamaño requieren baja latencia y alto ancho de banda.Pruebe los conmutadores con tráfico de IA real. Solicite el rendimiento, la latencia de cola y el tiempo de finalización de la tarea.Ajusta cuidadosamente el control de congestión. Puede mejorar el rendimiento hasta en un 40%.Comprueba la eficiencia energética. Los racks de IA consumen mucha energía, así que elige conmutadores eficientes.Calcule el costo total. Incluya la óptica, las licencias, la energía y las habilidades del personal.Cómo la IA transforma las demandas de conmutaciónTráfico este-oeste y operaciones colectivasLas redes empresariales tradicionales suelen transportar tráfico norte-sur, es decir, solicitudes de usuario a servidor. Los clústeres de IA funcionan de manera diferente. Generan un enorme tráfico este-oeste que se mueve lateralmente entre las GPU, los servidores y el almacenamiento, y este flujo lateral constituye la parte principal del entrenamiento de la IA.El entrenamiento distribuido implica el intercambio constante de gradientes, tensores, parámetros del modelo y la sincronización de datos. Gracias al paralelismo de datos, tensores y pipelines, cada GPU puede comunicarse con muchas otras simultáneamente. Esto genera patrones que consumen una gran cantidad de ancho de banda, como All-Reduce, All-Gather, Broadcast y Reduce-Scatter.Aspecto¿Qué sucede en los clústeres de IA?Dirección del tráficoEl tráfico este-oeste es el flujo principal; el tráfico norte-sur es el segundo.forma del tráficoUnos pocos flujos enormes y duraderos en lugar de muchos pequeños.SensibilidadLos colectivos reaccionan fuertemente a la latencia, la pérdida de paquetes, la congestión, la fluctuación y la sobreasignación.Las operaciones colectivas son muy sensibles a la latencia. Incluso un pequeño retardo de sincronización deja inactivas las costosas GPU, por lo que una latencia baja y constante es más importante que el rendimiento máximo. Las redes utilizan diseños de tipo spine-leaf, diseños sin bloqueo o con baja sobreasignación y RDMA para minimizar los picos de latencia.Limitaciones de los diseños heredadosLas antiguas redes de tipo hoja-espina se diseñaron para el tráfico norte-sur con muchos flujos pequeños e intermitentes. En cambio, las cargas de trabajo de IA generan un pequeño conjunto de flujos enormes y de larga duración. Cada acelerador intercambia su estado con todos los demás, y cualquier retraso en una ruta paraliza toda la operación colectiva.La latencia de cola, no la latencia promedio, es la métrica clave aquí. Los flujos están sincronizados, por lo que el paquete más lento determina cuándo finaliza toda la operación. Los diseños tradicionales no optimizan esto. Las bibliotecas de entrenamiento de IA también asumen cero pérdida de paquetes. Un solo paquete perdido puede obligar a retransmitir grandes conjuntos de datos o a reiniciar completamente desde el punto de control.Las rutas múltiples estáticas de igual coste y la distribución aleatoria de paquetes ya no son suficientemente eficaces. Las soluciones temporales no alcanzan los niveles de rendimiento que exigen las cargas de trabajo de IA, dado que estas cambian más rápido que la capacidad de adaptación de las redes tradicionales. El mercado se orienta hacia una mayor eficiencia energética, una menor latencia en la red y una telemetría avanzada. Ethernet de alto rendimiento, basada en estándares abiertos, con interfaces de hasta 800 GbE y sistemas de refrigeración líquida, marca la dirección que están tomando los diseños. Ailink realiza un seguimiento de estas tendencias sin favorecer a ningún proveedor.InfiniBand frente a Ultra EthernetRendimiento, ajuste, cumplimiento, costeAmbas redes pueden transmitir tráfico de IA a alta velocidad. La diferencia radica en cómo lo hacen. InfiniBand utiliza una red dedicada sin pérdidas con computación en red. Ethernet con RoCE integra RDMA en una base de estándares abiertos y conocidos. La siguiente tabla muestra una comparación teórica de una plataforma InfiniBand representativa.EspecificaciónConmutador InfiniBand NVIDIA MQM9790-NS2R Quantum-2 NDRGeneraciónNDR 400GPuertos64 x 400G (32 conectores OSFP)Ancho de banda agregado51,2 Tbps, sin bloqueoLatencia de conmutaciónSubmicrosegundosComputación en redSHARP v4EnfriamientoLíquido (QM9790); aire en QM9700Potencia típica~800–1200 WCumplimientoEspecificación IBTA v1.5Precio indicado$30,000.00Opciones Ethernet como la Switch central de la serie 9700 de Dell Networking InfiniBand y otros conmutadores compatibles con RoCE compiten en apertura y facilidad de uso. Utilizan herramientas Ethernet estándar y se adaptan a entornos de múltiples proveedores. Los requisitos de cumplimiento también difieren. InfiniBand cumple con IBTA v1.5, mientras que Ethernet se ajusta a los estándares IEEE y RoCE que probablemente su equipo ya conoce.El costo no se limita al precio de lista. El switch NVIDIA tiene un precio superior, y su administrador de subredes y herramientas UFM añaden costos de licencia y personal especializado. Los switches Ethernet suelen ser más económicos por puerto y permiten reutilizar el conocimiento del personal existente. El consumo de energía también es importante. Un switch Quantum-2 refrigerado por aire, completamente equipado, consume entre 800 y 1200 vatios, según la óptica y la carga de tráfico. Compare esta cifra con el presupuesto de energía de su rack antes de tomar una decisión.Donde cada uno encaja mejorLos benchmarks revelan una historia compleja. En MLPerf Training para BERT-Large, Ethernet completó el entrenamiento en 10.886 segundos frente a los 10.951 segundos de InfiniBand, una ligera ventaja para Ethernet. En MLPerf Inference para LLAMA2-70B-99.9, InfiniBand fue un 1,66 % más rápido. En múltiples pruebas de IA generativa, ambos sistemas tuvieron un rendimiento casi idéntico, con una diferencia inferior al 0,03 %. La velocidad bruta rara vez determina la elección por sí sola.La forma de la carga de trabajo es un factor determinante. El entrenamiento síncrono de datos a gran escala con 8 o más GPU y decenas de miles de millones de parámetros se beneficia de la baja latencia y el alto ancho de banda de InfiniBand. FSDP, ZeRO-3 y el paralelismo tensorial también se benefician, ya que las operaciones colectivas frecuentes y de grano fino reaccionan bruscamente ante cualquier retraso. Los modelos de 70 mil millones o más con grandes tamaños de lote globales hacen que el ancho de banda de la interconexión sea crucial.Ethernet se adapta bien a muchos otros casos. El paralelismo de la canalización gestiona el tráfico de activación punto a punto más pequeño y tolera la latencia. El entrenamiento asíncrono no tiene barreras de sincronización. Las configuraciones pequeñas de 2 a 4 GPU dependen de NVLink dentro del nodo. El servicio de inferencia casi nunca necesita InfiniBand, ya que NVLink gestiona el tráfico dentro del nodo y Ethernet de alta velocidad cubre los enlaces entre nodos.InfiniBand es la opción preferida para cargas de trabajo HPC estrechamente acopladas que requieren una latencia inferior a 5 microsegundos y computación en red, donde la infraestructura está dedicada a un único usuario y tipo de carga de trabajo. Ethernet moderna con la arquitectura adecuada es una alternativa viable para entornos multiusuario, cargas de trabajo mixtas u organizaciones que buscan evitar la dependencia de un proveedor.Ninguna de las opciones es incorrecta. Adapta la infraestructura a tu carga de trabajo, las habilidades de tu equipo y tu presupuesto. Ailink te ayuda a evaluar ambas alternativas para tus switches de centro de datos de próxima generación sin imponerte ningún proveedor.Características importantes en los switches de próxima generaciónAncho de banda, latencia, control de congestiónLas velocidades de los puertos ahora alcanzan los 800 GbE, y los puertos de alta densidad de 100G, 200G y 400G satisfacen las necesidades actuales de ancho de banda de las GPU. La velocidad bruta es solo el punto de partida. Cuatro capacidades determinan si la estructura de la red puede seguir el ritmo de los aceleradores.CapacidadQué buscarPor qué es importanteAncho de banda y densidad de puertosPuertos de 100G, 200G, 400G y el nuevo puerto de 800G.Satisface las necesidades de ancho de banda de los colectivos de formación distribuidos.Estado latenteLatencia baja y constante entre puertos, sin fluctuaciones bajo carga.Evita que haya rezagados en colectivos síncronos.Almacenamiento en búferBúferes profundos y compartidos dinámicamenteAbsorbe microrráfagas y lluvias torrenciales sin goteos.Control de congestiónRoCEv2 con DCQCN, marcado ECN, PFC bajo 802.1QbbMantiene el transporte RoCE sin pérdidas y el rendimiento constante.El control de congestión merece un análisis detallado. DCQCN permite que las NIC reaccionen a las marcas ECN, y ECN marca los paquetes antes de que un conmutador los descarte. PFC pausa prioridades CoS específicas para proteger el tráfico RoCE sin pérdidas. OCI construyó una red RoCE escalada a miles de nodos y definió al menos tres perfiles de control de congestión para cargas de trabajo sensibles a la latencia, sensibles al rendimiento y mixtas. Aplicó PFC solo en una dirección en el borde entre los hosts y los conmutadores de la parte superior del rack, nunca a leaf o spine, lo que evita el bloqueo de la cabecera de la línea. ECN mantiene PFC rara vez necesario como salvaguarda de último recurso. Los clústeres más pequeños pueden ejecutar Zero Touch RoCE sin PFC ni ECN configurados en los conmutadores.Sin medidas de mitigación, la distribución desigual del tráfico y la congestión del enlace ascendente reducen el rendimiento del entrenamiento en más del 30 % en una implementación. El hash en el QP de destino a través de la UDF del conmutador, combinado con el escalado de QP, proporcionó una mejora de hasta el 40 % para AllReduce. La admisión controlada por el receptor, donde la biblioteca colectiva y el transporte intercambian paquetes listos para enviar, limita aún más el tráfico en tránsito.Escalabilidad, programabilidad, telemetríaConsidere la escalabilidad, la programabilidad y la telemetría como criterios de selección, no como extras. Pregunte cómo crece la red más allá de miles de nodos, si el conmutador ofrece telemetría a nivel de flujo y cuánta configuración debe gestionar su equipo. La continuidad operativa también es importante. Los conmutadores Dell basados ​​en OS10 mantienen una interfaz de línea de comandos (CLI) familiar para los equipos que la valoran, y el conmutador central Dell Networking Serie 9700 se adapta a entornos estandarizados con esta herramienta.Elija conmutadores para centros de datos de última generación que cumplan con estos criterios y, a continuación, pruébelos con su propio tráfico antes de tomar una decisión.Lo que revelan las pruebas en el mundo realDatos de referencia de AI FabricsAntes de firmar, solicite datos reales: rendimiento, latencia y tiempo de finalización de tareas de plataformas que gestionan tráfico real de IA. Las hojas de ventas rara vez incluyen estas cifras. Solicítelas a su proveedor y a Ailink.El registro publicado es bueno para ambas arquitecturas. Meta construyó clústeres de IA gemelos, uno en InfiniBand y otro en Arista Ethernet, para su implementación de Llama 3. Meta no reportó cuellos de botella de red en ninguna de las arquitecturas. Meta también compartió detalles de ingeniería para un clúster RoCE de 24 000 GPU. Allí, tanto RoCE como InfiniBand se optimizaron para ofrecer un rendimiento equivalente, y los modelos más grandes se entrenaron en la arquitectura RoCE. En las pruebas NCCL, RoCE Ethernet iguala a InfiniBand en ancho de banda de comunicación colectivo. Las pruebas de laboratorio al estilo MLPerf ahora muestran diferencias en el tiempo de ejecución de tareas de solo una fracción de un porcentaje.La latencia de cola sigue siendo la principal diferencia entre ambos. El control de flujo basado en créditos de InfiniBand elimina las pérdidas y proporciona un comportamiento muy estable en el peor de los casos. Una Ethernet para IA bien ajustada se acerca bastante, pero una configuración incorrecta de PFC puede provocar bloqueos en la cabecera de la cola o interbloqueos. La supercomputadora Colossus de xAI conectó 100 000 GPU NVIDIA Hopper a través de Ethernet Spectrum-X. Alcanzó un rendimiento de datos del 95 % con un control de congestión optimizado para el entrenamiento de IA en ráfagas. La Ethernet tradicional a la misma escala alcanza un máximo de aproximadamente el 60 % de rendimiento debido a miles de colisiones de flujo.Lecciones aprendidas de clústeres implementadosLos clústeres que ya están en uso enseñan lecciones sobre cómo elegir la herramienta adecuada para el trabajo. Un equipo que realiza una capacitación síncrona estrechamente acoplada en el Conmutador InfiniBand NVIDIA MQM9790-NS2R Quantum-2 NDR Se obtiene una latencia de cola constante y computación en red. Un equipo que estandariza Ethernet abierta con el conmutador central Dell Networking Serie 9700 obtiene operaciones familiares y flexibilidad entre diferentes proveedores.La elección del chip y del balanceo de carga también influye en el tiempo de finalización de las tareas. El Broadcom Jericho3-AI redujo el tiempo de finalización en más de un 10 % en comparación con los chips de la competencia. El Arista 7800R4 HyperPort, que combina 4 × 800 Gbps en 3,2 Tbps, acortó el tiempo de finalización en un 44 % en comparación con el balanceo de carga tradicional a través de puertos separados. Considere estos resultados como un motivo para realizar pruebas, no como una respuesta definitiva. Al elegir conmutadores de centro de datos de última generación, pruébelos en su propia red.Cómo elegir conmutadores de centro de datos de próxima generaciónElaboración de la lista de verificación de evaluaciónUna buena lista de verificación transforma una comparación vaga en una decisión justificable. Califica a cada candidato según seis áreas y asigna una ponderación a cada una según tus necesidades. La tabla a continuación muestra por qué las instalaciones de IA requieren soluciones diferentes a las de las residencias tradicionales.Área de criteriosCentro de datos tradicionalCentro de datos de IAAjuste de la carga de trabajoCargas de trabajo estables y predecibles.Cargas de trabajo dinámicas, intermitentes y con gran consumo de datos.Densidad de potencia del rack7–10 kW/rackDe 30 kW a más de 100 kW/rackEnfriamientoRefrigeración principalmente por aireRefrigeración líquida o híbridaRedes de contactosEthernet estándarInterconexiones de ancho de banda ultra alto y baja latenciaComience evaluando la idoneidad de la carga de trabajo. Pregunte si el conmutador mantiene un alto rendimiento y una baja latencia en múltiples nodos de GPU, y si gestiona bien el tráfico este-oeste. A continuación, pruebe el rendimiento con tráfico de IA real, no con picos de laboratorio. Finalmente, confirme la conformidad para cada región en la que implemente el sistema, ya que una presencia global garantiza la coherencia en el diseño del producto y acelera la implementación.La eficiencia energética merece una mención aparte. Los racks de IA de alta densidad ahora alcanzan entre 30 kW y más de 100 kW, y el NVIDIA GB200 NVL36 consume aproximadamente 66 kW, mientras que el NVL72 llega a unos 120 kW. Los modernos módulos conectables OSFP de 800G ofrecen un coste por gigabit un 40 % menor que las generaciones anteriores y un ahorro energético de aproximadamente el 50 % gracias al procesamiento digital de señales (DSP) y la modulación avanzados. Añada la telemetría como un elemento de evaluación. La información en tiempo real sobre el consumo energético y las cargas de la infraestructura evita el tiempo de inactividad, y los modelos de aprendizaje automático pueden detectar el deterioro de la refrigeración o la degradación de la señal de fibra antes de que se produzca un fallo. Por último, tenga en cuenta el coste total, incluidos los componentes ópticos, las licencias, la energía y las habilidades del personal.Validación con AilinkUna lista de verificación reduce las opciones. Las pruebas las confirman. Ailink ayuda a tu equipo a validar los conmutadores de centro de datos de última generación con tus propias cargas de trabajo de IA antes de comprometerte. Tú proporcionas tus perfiles de tráfico, patrones colectivos y presupuesto de energía. Ailink elabora el plan de pruebas en función de ellos.El proceso sigue un camino claro. Primero, se definen las cargas de trabajo relevantes, desde el entrenamiento síncrono hasta la inferencia. Segundo, Ailink realiza pruebas de rendimiento, latencia y tiempo de finalización de tareas en las arquitecturas candidatas. Tercero, se revisa la salida de telemetría y el consumo de energía bajo carga sostenida. Cuarto, se compara el costo total en toda la implementación.Este enfoque le permite elegir conmutadores de centro de datos de última generación basándose en datos concretos, en lugar de afirmaciones publicitarias. Al elegir conmutadores de centro de datos de última generación de esta manera, su equipo puede consultar las cifras antes de realizar la compra. Ailink comercializa todas las opciones aquí comparadas, por lo que la información proporcionada es imparcial y los resultados de las pruebas hablan por sí solos.Cinco factores deben guiar tu decisión: su adecuación a tu carga de trabajo, su velocidad real bajo tráfico de IA, el cumplimiento normativo, la eficiencia energética y el coste total. Si los tienes en cuenta todos, ninguna especificación técnica por sí sola te convencerá.Ejecuta la lista de verificación en cada candidato. Solicita datos de referencia de plataformas que manejan tráfico de IA real. Luego trabaja con Ailink Para probar las opciones con tus propias cargas de trabajo antes de tomar una decisión, esta información te permitirá elegir conmutadores de centro de datos de última generación con confianza, y tu equipo verá los datos que respaldan la decisión.Preguntas frecuentes¿Qué tejido debería elegir para una formación sincrónica a gran escala?InfiniBand es la mejor opción para el entrenamiento con alta conectividad. Su control de flujo basado en créditos mantiene la latencia de cola estable, y la computación en red acelera las operaciones colectivas. Ethernet con RoCE también funciona bien, una vez que se ajusta el control de congestión. Antes de decidir, elige la infraestructura que mejor se adapte a la forma de tu carga de trabajo, las habilidades de tu equipo y tu presupuesto.¿Hasta qué punto influye realmente el control de la congestión en los resultados?Esto los modifica considerablemente. En una implementación, el rendimiento del entrenamiento se redujo en más del 30 % debido al tráfico irregular y la congestión del enlace ascendente. El uso de hash en el QP de destino con escalado de QP permitió recuperar hasta un 40 % para AllReduce. Ajuste cuidadosamente ECN y PFC, y realice pruebas con su propio tráfico fluctuante.¿Necesitas puertos 800 GbE hoy en día?No siempre. Los puertos de 100G, 200G y 400G de alta densidad satisfacen la mayoría de las necesidades actuales de las GPU. Elija 800 GbE cuando su plan de desarrollo lo requiera. Los módulos OSFP de 800G modernos reducen el costo por gigabit en aproximadamente un 40 % y ahorran cerca de un 50 % de energía, por lo que la actualización resulta rentable a largo plazo.¿Cómo se comparan los proveedores de forma justa?Evalúe a cada candidato según su idoneidad para la carga de trabajo, rendimiento en condiciones reales, cumplimiento normativo, eficiencia energética, telemetría y coste total. Solicite datos sobre rendimiento, latencia y tiempo de finalización de tareas en entornos de IA en tiempo real. A continuación, permita que Ailink pruebe la lista de candidatos preseleccionados con sus propios perfiles de tráfico antes de tomar una decisión.¿Qué papel juega el poder en la decisión?Un dato importante. Los racks de IA ahora alcanzan entre 30 kW y más de 100 kW, y la NVIDIA GB200 NVL72 consume alrededor de 120 kW. Un switch Quantum-2 refrigerado por aire a plena carga consume aproximadamente entre 800 y 1200 vatios. Verifique cada cifra con respecto al consumo de energía y la refrigeración de su rack desde el principio.