Qué hace falta de verdad para entrenar tu propio modelo: la cuenta que nadie te enseña

Pregúntale a cualquiera qué hace falta para entrenar tu propio modelo de IA y la respuesta llega en segundos: mucha GPU. Es la respuesta más repetida y la más incompleta. El cómputo es una tarjeta de crédito — hoy mismo puedes alquilar la misma potencia que usó un laboratorio grande, por horas, sin pedir permiso a nadie—. Lo que no se alquila es un corpus con los derechos en regla para usarlo, y lo que se aprende solo entrenando es qué hacer cuando, en la hora 300, la pérdida del modelo se dispara sin motivo aparente. Cómputo, datos y conocimiento no son tres cosas que se suman: son tres puertas en fila, y para llegar a la tercera hay que haber cruzado ya las dos primeras. Casi nadie llega a la tercera.

Tres cosas que se llaman "entrenar" y no son la misma

La palabra "entrenar" se usa para tres operaciones de escala completamente distinta, y confundirlas es la razón por la que la pregunta del hardware suena más simple de lo que es.

Entrenar desde cero (pretraining) significa partir de números aleatorios y ajustar todos los parámetros del modelo, desde nada, con un corpus masivo. El corpus abierto Dolma, usado para entrenar los modelos OLMo del Allen Institute for AI, ronda los tres billones de tokens de páginas web, artículos académicos, código y libros. Esa es la escala de la primera puerta.

El ajuste fino (fine-tuning) parte de un modelo ya entrenado y continúa ajustando sus parámetros —normalmente todos— pero con un corpus miles de veces menor, específico de una tarea: no billones de tokens, sino miles o millones de ejemplos.

LoRA (Low-Rank Adaptation) ni siquiera toca los parámetros originales: los congela y entrena únicamente un pequeño conjunto de matrices añadidas. El paper original de LoRA (Hu et al., Microsoft, 2021) cifra la diferencia con precisión: aplicado a GPT-3 175B, LoRA "reduce el número de parámetros entrenables 10.000 veces" y el requisito de memoria de GPU "3 veces", con una calidad comparable a la del ajuste fino completo. Tres operaciones, tres órdenes de magnitud distintos — no matices de la misma cosa.

La confusión no es inocente: las tres producen un archivo que se comporta como "un modelo" y se puede probar en un chat, así que desde fuera parecen intercambiables. No lo son. Preguntar "cuánta GPU hace falta para entrenar un modelo" sin especificar cuál de las tres operaciones es como preguntar "cuánto combustible hace falta para un viaje" sin decir si es cruzar la calle, cruzar el país o llegar a la órbita. La respuesta correcta depende enteramente de qué pregunta se está haciendo, y casi nadie la formula bien antes de buscar la respuesta.

Las tres puertas, con números de hoy

Cómputo. Ahora mismo, en la página de precios de Lambda Labs, una GPU H100 se alquila desde 3,29 dólares la hora en configuración individual, o 3,99 dólares por GPU en un nodo de ocho. Nadie te pide currículum para pagarlo.

Para ver lo que de verdad cuesta entrenar desde cero, sirve un caso real y documentado: OPT-175B, el modelo de 175.000 millones de parámetros que Meta entrenó en 2021 y cuyo paper técnico detalla la infraestructura empleada: 992 GPUs A100 de 80GB, durante aproximadamente dos meses. Haciendo la cuenta con el precio de hoy —992 GPUs × 24 horas × unos 60 días ≈ 1,43 millones de horas-GPU, al precio actual de Lambda para un nodo de ocho—, el resultado ronda los 5,7 millones de dólares. Es una cifra orientativa, no lo que Meta pagó realmente en 2021 con otra generación de hardware y otro proveedor, pero da la escala real de la primera puerta cuando se cruza entera.

Datos. No basta con tener tokens: hace falta tenerlos con derecho a usarlos. Dolma resuelve esto publicando su corpus bajo licencia ODC-BY, que permite la reutilización — la excepción, no la norma, entre los grandes modelos, como ya se explicó al hablar de qué comprueba de verdad una afirmación de "apertura" en IA. Reunir un corpus propio de ese tamaño con los derechos en regla —no copiado de donde sea— es, para casi cualquier entidad, más difícil que pagar el cómputo.

Conocimiento. Esta es la puerta que el mito de "hace falta mucha GPU" no menciona nunca, y el propio paper de OPT-175B la documenta con un detalle incómodo: los fallos de hardware provocaron "al menos 35 reinicios manuales y el reemplazo de más de 100 servidores a lo largo de dos meses", con unos 70 reinicios automáticos adicionales. Cuando la pérdida del modelo divergía —se disparaba sin control—, el equipo la corregía "bajando la tasa de aprendizaje y reiniciando desde un punto de control anterior", y tuvo que hacer "varios cambios sobre la marcha" a esa tasa, además de reducir el recorte de gradiente de 1,0 a 0,3 para estabilizar el entrenamiento. Nada de eso se compra con una tarjeta de crédito: hace falta a alguien despierto a las tres de la madrugada que sepa reconocer una divergencia y decidir, en minutos, qué botón tocar. Eso es lo que de verdad separa a quien entrena un modelo de frontera de quien solo alquiló las máquinas.

Y a diferencia del cómputo, este conocimiento tampoco se alquila fácilmente. No está escrito en un manual que se pueda comprar ni en un curso que se pueda completar en un fin de semana: se acumula viendo divergir entrenamientos reales, una y otra vez, hasta reconocer el patrón antes de que la pérdida se dispare del todo. Un laboratorio puede pagar el cómputo de otro en horas; no puede alquilar, de la misma forma, los meses de guardia que hacen falta para saber qué hacer en la hora 300. Por eso la tercera puerta es la que de verdad filtra: no porque sea la más cara, sino porque no hay forma de comprarla directamente, solo de acumularla.

En qué escalón estás tú

Con un portátil normal y 200 euros, entrenar un modelo desde cero no es difícil: es imposible, y no por falta de ambición. 200 euros no cubren ni una fracción de hora del cómputo real de un entrenamiento de frontera, y ningún portátil doméstico mueve un corpus de billones de tokens. Esa puerta está cerrada para casi todo el mundo, y no pasa nada por decirlo sin rodeos.

La segunda puerta, el ajuste fino completo, ya es distinta: exige varias GPU potentes durante horas o días, algo que 200 euros pueden cubrir parcialmente pero con margen ajustado.

La tercera es la que de verdad está a tu alcance. Con 200 euros (unos 215-220 dólares al cambio de estos días) y el precio de una sola H100 a 3,29 dólares la hora, salen más de 65 horas de cómputo alquilado. Eso es tiempo de sobra para ejecutar un ajuste LoRA sobre un modelo abierto ya entrenado —como los gpt-oss de OpenAI, con sus pesos publicados y su licencia clara—, adaptándolo a un dominio, un idioma o un estilo concretos. No estarás creando conocimiento nuevo desde cero: estarás moldeando, con una fracción mínima de los parámetros, algo que otro ya entrenó con cientos de GPU y meses de vigilancia. Es un trabajo real y útil. No es lo mismo que cruzar las tres puertas, y la diferencia entre ambas cosas es precisamente lo que la pregunta "cuánta GPU hace falta" nunca deja ver.