DeepSeek V3 desafía el coste de entrenar modelos de frontera

DeepSeek ha publicado hoy DeepSeek-V3, un modelo de lenguaje abierto de 671.000 millones de parámetros. La compañía china asegura que su entrenamiento final costó unos 5,6 millones de dólares en capacidad de cálculo, una cifra muy inferior a las estimaciones habituales para modelos comparables de Estados Unidos.

El anuncio importa por dos motivos: V3 obtiene resultados competitivos frente a modelos cerrados como GPT-4o y Claude 3.5 Sonnet en varias pruebas públicas, y lo hace con una arquitectura diseñada para no activar toda su enorme red en cada respuesta. No es solo un nuevo chatbot: es una demostración de que la eficiencia de ingeniería puede alterar la economía de los grandes modelos.

Un modelo de 671.000 millones que no usa todos sus parámetros

DeepSeek-V3 pertenece a la familia de modelos de mezcla de expertos, o Mixture of Experts (MoE). En lugar de procesar cada palabra con todos sus 671.000 millones de parámetros, el sistema selecciona una pequeña parte de la red para cada fragmento de texto.

En la práctica, V3 activa alrededor de 37.000 millones de parámetros por token —la unidad de texto con la que trabajan estos modelos—. El resto queda disponible como una colección de especialistas a los que el modelo puede recurrir según la tarea. Es una forma de aumentar la capacidad total sin multiplicar en la misma proporción el coste de cada respuesta.

La compañía ha entrenado el modelo con 14,8 billones de tokens y ha publicado tanto una versión base como una versión orientada a conversación. Los pesos del modelo, es decir, los archivos que contienen lo aprendido durante el entrenamiento, están disponibles para que investigadores y empresas puedan ejecutarlo y adaptarlo por su cuenta.

La cifra de 5,6 millones requiere contexto

El informe técnico de DeepSeek cifra el entrenamiento en 2,788 millones de horas de GPU H800 de Nvidia. Aplicando un precio de alquiler de 2 dólares por hora de GPU, el cálculo asciende a 5,576 millones de dólares.

Es una cifra llamativa, pero no equivale al coste completo de crear DeepSeek-V3. Se refiere al entrenamiento principal del modelo y no permite calcular el gasto acumulado en investigación, experimentos fallidos, datos, personal o infraestructura propia. Tampoco significa que cualquier empresa pueda replicar V3 por esa cantidad: conseguir miles de aceleradores, construir el sistema de entrenamiento y resolver sus problemas técnicos sigue siendo una barrera considerable.

Aun con esa cautela, el dato es relevante. Los grandes laboratorios han convertido el acceso a chips y capital en una ventaja competitiva decisiva. Si una empresa puede acercarse al rendimiento de los modelos punteros con menos tiempo de GPU, reduce tanto el coste de entrenar como la dependencia de disponer de los chips más avanzados.

Eficiencia en memoria, reparto de trabajo y predicción

DeepSeek atribuye buena parte de ese resultado a varias decisiones técnicas. Una de ellas es la atención latente multicabeza, un mecanismo que reduce la memoria necesaria para conservar el contexto de una conversación. Esa memoria, conocida como caché de claves y valores, se vuelve muy costosa cuando se atiende a muchos usuarios o se manejan documentos largos.

El modelo también incorpora un método de reparto de carga entre expertos que evita depender de una pérdida auxiliar. Dicho de forma sencilla, busca que unos pocos expertos no acaparen todas las tareas mientras otros permanecen infrautilizados. El objetivo es aprovechar mejor la red sin perjudicar la calidad de las respuestas.

Otra técnica es la predicción de múltiples tokens: durante el entrenamiento, el sistema aprende a anticipar más de una unidad de texto futura. DeepSeek sostiene que este mecanismo mejora la calidad del aprendizaje y puede servir para acelerar la generación mediante métodos de decodificación especulativa, donde una propuesta rápida se verifica después con el modelo principal.

Competitivo en pruebas, pendiente de su uso real

En las evaluaciones incluidas por DeepSeek, V3 supera a Qwen2.5-72B y Llama 3.1 405B en buena parte de las pruebas de conocimiento, matemáticas, programación y chino. También se aproxima o supera a GPT-4o y Claude 3.5 Sonnet en algunos indicadores, aunque no en todos.

Esos resultados no convierten automáticamente a V3 en sustituto de los servicios comerciales occidentales. Los benchmarks miden capacidades concretas bajo condiciones controladas; cuestiones como la fiabilidad en tareas largas, la seguridad, el uso de herramientas, la latencia o la calidad en español se comprueban mejor con uso continuado e independiente.

La publicación, no obstante, eleva la presión sobre los fabricantes de modelos cerrados y sobre otros proyectos abiertos. DeepSeek-V3 combina una escala que hasta ahora parecía reservada a los grandes laboratorios con un coste de entrenamiento declarado mucho menor. La próxima prueba será comprobar si desarrolladores y empresas pueden convertir esa eficiencia de laboratorio en servicios útiles, rápidos y económicamente sostenibles.