Intel lanza Gaudi 3 para disputar a Nvidia el mercado de la IA

El 9 de abril de 2024, Intel presentó Gaudi 3 como acelerador para entrenamiento e inferencia de modelos generativos. El comunicado técnico de Intel publica memoria, red, disponibilidad y comparaciones con NVIDIA H100; son pruebas elegidas y ejecutadas por quien vende Gaudi, no una ventaja universal para cualquier modelo.

El anuncio llega en un momento en que la H100 de Nvidia se ha convertido en una pieza escasa y cara para empresas, laboratorios y proveedores de servicios en la nube. No se trata solo de quién tiene el chip más potente: la disponibilidad, el consumo eléctrico y el precio de los sistemas completos se han convertido en factores decisivos para llevar la IA generativa a producción.

Más memoria y red integrada para modelos grandes

Gaudi 3 sucede a Gaudi 2 y está pensado para dos tareas distintas. La primera es el entrenamiento, el proceso de ajustar un modelo con enormes colecciones de datos. La segunda es la inferencia, es decir, usar ese modelo ya entrenado para responder preguntas, generar texto o resumir documentos.

Intel ha equipado el chip con 128 GB de memoria HBM2e de alta velocidad y conexiones Ethernet integradas de 200 gigabits por segundo. Esa integración es una de las particularidades de la familia Gaudi: en vez de depender de una red propietaria para conectar muchos aceleradores, Intel apuesta por Ethernet, el estándar que ya domina los centros de datos. Fuente primaria.

La idea tiene una consecuencia práctica: construir servidores y grupos de servidores para IA podría requerir menos componentes especializados. Eso no elimina la complejidad de desplegar miles de chips, pero puede facilitar que fabricantes y clientes usen equipos de red que ya conocen.

Intel promete ventajas frente a la H100

Las cifras difundidas por Intel se apoyan en pruebas con Llama 2, la familia de modelos de lenguaje publicada por Meta. En una configuración de 64 aceleradores, la compañía afirma que Gaudi 3 puede entrenar Llama 2 de 70.000 millones de parámetros hasta un 40% más rápido que Nvidia H100. Fuente primaria.

En inferencia, Intel sitúa la ventaja entre 1,5 y 2 veces frente a la H100, según el tamaño del modelo y la configuración analizada. Estos resultados deben leerse con cautela: las comparativas de fabricantes se realizan con modelos, precisión numérica, software y número de usuarios simultáneos concretos. Un buen resultado en Llama 2 no garantiza la misma diferencia en todos los modelos ni en todas las cargas de trabajo de una empresa. Fuente primaria.

La baza más agresiva es el precio. Intel estima que un sistema con ocho aceleradores Gaudi 3 costará alrededor de 125.000 dólares, frente a unos 300.000 dólares para una configuración comparable con ocho H100. Es una estimación de la propia compañía y el coste final dependerá del fabricante del servidor, la red, el almacenamiento y los contratos de soporte, pero ilustra la estrategia: competir donde Nvidia ha dejado un margen amplio por la fuerte demanda. Fuente primaria.

El reto no es solo fabricar chips

Gaudi 3 estará disponible para fabricantes de equipos durante el segundo trimestre de 2024. Dell, Hewlett Packard Enterprise, Lenovo y Supermicro figuran entre los socios que preparan servidores con el nuevo acelerador.

Intel necesita, sin embargo, resolver un problema que no se mide solo en teraflops. Nvidia ha construido durante años un ecosistema de software alrededor de CUDA, su plataforma de programación para GPU. Muchas herramientas, bibliotecas y equipos de ingeniería ya están diseñados para ese entorno. Cambiar de proveedor exige adaptar flujos de trabajo, validar modelos y formar personal.

Intel ofrece su pila de software SynapseAI y ha trabajado para que Gaudi sea compatible con marcos habituales como PyTorch. Pero la adopción dependerá de que las promesas de coste y rendimiento se mantengan fuera de los laboratorios de la compañía y con los modelos que usan los clientes.

Para el mercado, Gaudi 3 es relevante incluso antes de demostrar una victoria técnica absoluta. La industria necesita más oferta de aceleradores para reducir los cuellos de botella de la IA generativa. Si Intel logra entregar equipos a escala y mantener su ventaja de precio, dará a empresas y proveedores cloud una capacidad de negociación que hoy apenas tienen frente a Nvidia.

El acelerador se evalúa como sistema

Memoria, cómputo y red deben equilibrarse. Entrenar distribuye un modelo y sincroniza cambios; inferencia mueve pesos y cachés mientras llegan usuarios. Ethernet puede facilitar integración con redes conocidas, pero su rendimiento depende de topología, software y congestión. La ficha del chip no sustituye el diseño del clúster.

Una comparación fija modelo, revisión, lote, secuencia, precisión, número de aceleradores y objetivo. Para entrenamiento se mide tiempo hasta una calidad acordada, no solo ejemplos por segundo. Para inferencia se registra latencia por percentiles, rendimiento y energía bajo carga. El promedio puede ocultar que una parte de los usuarios espera demasiado.

Precio de servidor no es coste total

El cálculo incorpora red, almacenamiento, energía, refrigeración, licencias, personal y disponibilidad. También cuenta el trabajo de portar y optimizar código. Un sistema más barato puede perder la ventaja si exige meses de adaptación; uno caro puede ser injustificable cuando una tarea pequeña cabe en hardware menor.

La portabilidad se prueba antes de comprar. Se ejecuta el mismo modelo con bibliotecas admitidas, se revisan operadores no compatibles y se conserva una versión de referencia. Los benchmarks del fabricante orientan qué probar; la carga real decide. Una empresa gana capacidad de negociación cuando puede mover el trabajo con evidencia, no solo cuando existe otro chip.

La disponibilidad prometida necesita fechas de entrega y soporte. Un producto competitivo en una diapositiva no resuelve un cuello de botella si no llega en volumen. Se distinguen muestras, servidores de socios y capacidad operativa, y se registran los contratos que respaldan cada etapa.

La capacidad transferible es convertir una comparación de aceleradores en coste por tarea aceptada bajo condiciones iguales. Esa unidad reúne hardware, software y operación y evita coronar a un chip por una cifra elegida por su fabricante.

La precisión cambia la carrera

Los aceleradores admiten formatos numéricos distintos. Menos bits pueden aumentar rendimiento y reducir memoria, pero el modelo necesita conservar calidad. Una comparación que usa una precisión diferente para cada rival puede ser legítima si representa el mejor despliegue, pero debe declarar el criterio y verificar que ambos alcanzan el mismo umbral.

Para inferencia generativa se separa fase de lectura del prompt y generación token a token. Una plataforma puede ser rápida en una y lenta en otra. Las aplicaciones con documentos largos y respuestas cortas tienen un perfil distinto a un chatbot. Medir ambas fases evita extrapolar una cifra a todos los usos.

La energía se expresa por tarea correcta, no solo potencia máxima. Se mide en el enchufe del sistema durante una carga estable e incluye red y CPU. Si el modelo necesita reintentos, esos ciclos cuentan. Eficiencia sin calidad puede abaratar respuestas que nadie debería usar.

El proceso de compra conserva resultados y scripts, de modo que otro proveedor pueda repetirlos. Un benchmark propio no debe convertirse en secreto informal controlado por quien vende. La reproducibilidad es lo que transforma una segunda oferta en competencia real.

El equipo prueba además fallos de un nodo y recuperación de trabajo. Rendimiento máximo importa menos si un incidente obliga a reiniciar horas de entrenamiento. Fiabilidad, observabilidad y soporte forman parte del acelerador como plataforma, aunque no aparezcan en el nombre del chip.

La conclusión identifica la incertidumbre: pruebas propias pendientes, precio contractual y fecha real de entrega. Nombrarla no debilita el análisis; define el trabajo que falta antes de comprometer infraestructura.