DeepSeek-OCR comprime texto como imagen y usa hasta 10 veces menos tokens

DeepSeek ha presentado hoy DeepSeek-OCR, un modelo que convierte grandes cantidades de texto en representaciones visuales compactas antes de recuperarlo mediante reconocimiento óptico de caracteres. El experimento alcanza un 97% de precisión cuando utiliza hasta unas diez veces menos unidades visuales que tokens de texto, una vía que podría abaratar el tratamiento de documentos extensos y replantear cómo almacenan contexto los modelos de lenguaje.

El trabajo, publicado como preprint en arXiv junto con el código y los pesos del modelo, no demuestra que las imágenes vayan a sustituir al texto como entrada habitual de los asistentes. Sí aporta una prueba relevante: una página puede transportar mucha información mediante un número relativamente pequeño de tokens de visión, las unidades en las que un modelo divide y procesa una imagen.

Convertir una secuencia larga en un mapa bidimensional

Los modelos de lenguaje no leen palabras como una persona. Primero fragmentan el texto en tokens, que pueden corresponder a una palabra, una parte de ella o un signo. Cuanto mayor es el documento, más tokens hay que procesar y conservar en la ventana de contexto, con el consiguiente gasto de memoria y computación.

DeepSeek-OCR ensaya otra ruta. Renderiza el contenido como una imagen bidimensional y emplea un componente llamado DeepEncoder para condensarla en tokens visuales. Después, un decodificador denominado DeepSeek3B-MoE-A570M reconstruye el contenido mediante OCR, la tecnología que permite extraer texto de imágenes y documentos escaneados.

La arquitectura del decodificador es una mezcla de expertos o MoE: dispone de distintos bloques especializados, pero solo activa una parte para cada entrada. Su nombre indica unos 3.000 millones de parámetros totales y alrededor de 570 millones activos durante el procesamiento.

El interés de la representación visual está en la densidad. Una imagen puede reunir en una cuadrícula texto, columnas, tablas, fórmulas y relaciones espaciales que, convertidas a una secuencia lineal, requieren numerosos tokens o etiquetas adicionales para describir su estructura.

Un 97% de precisión hasta una compresión cercana a 10x

En los experimentos del equipo, DeepSeek-OCR conserva un 97% de precisión de decodificación cuando la cantidad original de tokens de texto no supera en diez veces el número de tokens visuales. Dicho de otro modo, una representación de aproximadamente 100 tokens visuales podría condensar un contenido que ocuparía hasta cerca de 1.000 tokens de texto, aunque la relación exacta depende del documento y de su renderizado.

La pérdida aumenta con una compresión más agresiva. Al llegar a una proporción de 20x, la precisión cae hasta alrededor del 60%. Ese descenso marca una frontera práctica: la imagen no funciona como un contenedor ilimitado y los detalles terminan desapareciendo al reducir demasiado la resolución informativa.

DeepSeek también compara el modelo en OmniDocBench, una prueba para sistemas que interpretan documentos. DeepSeek-OCR supera a GOT-OCR 2.0 utilizando 100 tokens visuales por página, frente a los 256 del sistema rival. También obtiene mejores resultados que MinerU 2.0 con menos de 800 tokens, mientras que este último utiliza de media más de 6.000 por página, de acuerdo con el paper.

Más de 200.000 páginas diarias en una sola A100

El equipo atribuye al sistema una capacidad de producción superior a 200.000 páginas al día con una GPU Nvidia A100 de 40 GB. Esa cifra equivale a algo más de dos páginas por segundo si la máquina funciona de manera continua, aunque no representa por sí sola el coste completo de una infraestructura de producción.

El uso inmediato es la preparación de datos para entrenar modelos de lenguaje y modelos multimodales. Las empresas que digitalizan archivos, facturas, informes o literatura científica podrían procesar documentos con menos tokens visuales y generar grandes corpus de entrenamiento con una sola GPU de centro de datos.

También puede resultar útil para páginas cuyo significado depende de la maquetación. Un sistema basado únicamente en texto suele necesitar convertir tablas, gráficos y posiciones en código intermedio. La entrada visual conserva esa estructura desde el principio, aunque obliga al modelo a interpretar correctamente tipografías pequeñas, resoluciones distintas y diseños poco habituales.

Menos tokens no significa automáticamente diez veces menos coste

La comparación entre tokens visuales y tokens de texto requiere cautela. Ambos no tienen necesariamente el mismo coste computacional: antes de llegar al decodificador, la imagen debe renderizarse y atravesar el codificador visual. Por tanto, una reducción de 10x en el número de tokens no implica por sí sola un ahorro de 10x en tiempo, memoria o dinero.

El 97% comunicado mide además la capacidad de reconstruir texto bajo unas condiciones experimentales concretas. No prueba que un modelo razone igual de bien sobre ese contenido comprimido, recuerde todos sus detalles durante una conversación larga o mantenga la precisión en cualquier idioma y formato documental.

DeepSeek plantea como línea futura una forma de memoria para modelos: almacenar información antigua con menor resolución y reservar más capacidad para el contexto reciente. Es una analogía atractiva con el olvido humano, pero todavía es una hipótesis de investigación. El siguiente paso será comprobar si esta compresión óptica conserva no solo caracteres, sino también los datos concretos que un modelo necesita para responder, comparar y razonar sobre documentos extensos.