OpenAI mejora GPT-4 Turbo y abarata su API con nuevos embeddings

OpenAI actualizó el 25 de enero de 2024 su catálogo para desarrolladores: publicó una nueva versión previa de GPT-4 Turbo, anunció una rebaja de GPT-3.5 Turbo y estrenó los modelos de embeddings text-embedding-3-small y text-embedding-3-large. El cambio puede abaratar tanto la generación de texto como la búsqueda semántica, pero una tabla de precios o una media de benchmark no basta para decidir una migración.

La lección transferible es separar tres capas que a menudo se confunden. El modelo generativo redacta la respuesta; el modelo de embeddings representa consultas y documentos como vectores; la infraestructura recupera los fragmentos que se entregarán al generador. Mejorar una capa no corrige automáticamente las otras. En un asistente documental, una respuesta fluida puede seguir apoyándose en el párrafo equivocado si la recuperación falla.

Qué cambió realmente

El anuncio original de OpenAI presentó text-embedding-3-small como sustituto económico de text-embedding-ada-002. Su precio era de 0,00002 dólares por mil tokens —0,02 por millón— frente a 0,0001 dólares del modelo anterior. text-embedding-3-large, con hasta 3.072 dimensiones, costaba 0,00013 dólares por mil tokens, o 0,13 por millón.

OpenAI comunicó también medias superiores en dos conjuntos de evaluación. En MTEB, ada-002, el modelo pequeño nuevo y el grande obtuvieron respectivamente 61,0, 62,3 y 64,6; en MIRACL, orientado a recuperación multilingüe, las medias fueron 31,4, 44,0 y 54,9. Son cifras del proveedor sobre baterías públicas, útiles para formular una hipótesis: los modelos nuevos pueden recuperar mejor, en particular entre idiomas. No demuestran que encuentren el artículo correcto en un archivo jurídico, médico o comercial concreto.

La razón está en el propio diseño del benchmark. El artículo que introdujo MTEB reunía 58 conjuntos de datos, 112 idiomas y ocho tipos de tarea, desde recuperación hasta agrupación y similitud. Sus autores concluyeron que ningún método dominaba todas las tareas. Una media agrega problemas diferentes; puede ocultar que un modelo fuerte en clasificación sea solo normal en la búsqueda que importa al producto.

Un embedding no es una respuesta

Un embedding transforma un texto en una secuencia de números. La distancia entre vectores sirve para estimar qué fragmentos están relacionados con una consulta aunque no compartan las mismas palabras. En un sistema de generación aumentada por recuperación, o RAG, ese cálculo elige primero los documentos; después, un modelo como GPT-4 redacta utilizando los fragmentos recuperados.

Esta división permite diagnosticar. Si el documento correcto nunca aparece entre los resultados, el fallo está antes de la generación: quizá el texto se partió mal, faltan metadatos, la consulta necesita reformularse o el embedding no representa bien el dominio. Si el documento sí aparece y la respuesta lo contradice, hay que revisar el mensaje, el contexto entregado y el modelo generativo. Cambiar GPT-4 no arregla un índice que recupera mal; cambiar embeddings no impide que un generador invente.

Las dimensiones añaden otra decisión. Un vector largo ocupa más memoria y almacenamiento y puede encarecer la búsqueda. Los modelos nuevos permitían solicitar menos dimensiones. OpenAI puso como ejemplo reducir text-embedding-3-large de 3.072 a 1.024, aceptando un intercambio entre precisión y tamaño. La base técnica es el aprendizaje de representaciones Matryoshka, que organiza información de lo general a lo fino para que prefijos más cortos conserven utilidad. «Se puede acortar» no significa «acortarlo no cuesta nada»: la pérdida debe medirse en la colección real.

La migración correcta requiere dos índices

Los vectores producidos por modelos diferentes no deben mezclarse como si compartieran el mismo espacio. Una consulta codificada con el modelo nuevo no es comparable de forma fiable con documentos codificados por el anterior. Migrar exige volver a calcular los embeddings de todo el corpus y construir un índice separado. El sistema antiguo se mantiene disponible hasta que el nuevo supere las pruebas y pueda asumir el tráfico.

Ese paralelismo evita un cambio a ciegas. Una muestra de consultas reales se envía a ambos índices y se conservan los resultados ordenados, la latencia y el coste. Para cada pregunta se define previamente qué documento o fragmento sería relevante. La métrica básica es la recuperación en los primeros resultados: por ejemplo, cuántas veces aparece una fuente correcta entre los cinco primeros. También conviene medir casos difíciles por separado: siglas, nombres propios, negaciones, consultas en otro idioma y documentos casi duplicados.

La muestra no debe limitarse a preguntas que el sistema ya resuelve. Incluye fallos conocidos, búsquedas frecuentes y casos de alto coste si se equivocan. Un buscador de políticas internas puede tolerar que una consulta sobre el menú del comedor necesite reformularse; no debería confundir la política vigente de permisos con una versión derogada. Los metadatos de fecha, jurisdicción y estado pueden ser tan importantes como el vector.

Antes de probar se fijan un umbral y una salida. El nuevo índice solo avanza si conserva los casos críticos y mejora la métrica prioritaria dentro del presupuesto; si falla, el tráfico vuelve al anterior sin recalcular nada. Hay que guardar la versión del modelo, dimensiones, método de partición, filtros y fecha del corpus. Sin ese registro, una diferencia favorable no puede reproducirse ni atribuirse al cambio correcto.

Precio de API no es coste total

La rebaja por token afecta a una parte de la factura. Al migrar embeddings se paga una vez por reindexar todos los documentos y después por cada texto nuevo y consulta. La base vectorial cobra almacenamiento, memoria u operaciones; más dimensiones pueden elevar esas partidas. También cuentan el sistema generativo, el volumen de contexto recuperado, la observabilidad y la revisión humana de errores.

Una hoja de decisión útil registra cinco cantidades: tokens que se indexarán, consultas mensuales, dimensiones por vector, almacenamiento estimado y coste del modelo que redacta. A ellas se añaden dos medidas no monetarias: latencia en percentiles altos y tasa de recuperación correcta. El modelo pequeño puede ganar si mantiene la calidad con mucho volumen; el grande puede compensar en un archivo reducido donde cada documento perdido tiene consecuencias. No existe un ganador universal fuera del caso de uso.

La rebaja anunciada para gpt-3.5-turbo-0125 llevaba la entrada a 0,50 dólares por millón de tokens, un 50% menos, y la salida a 1,50 dólares, un 25% menos. OpenAI dijo además que corregía un problema de codificación en llamadas de funciones no inglesas. Son razones para probarlo en tareas estructuradas, pero no para sustituir un modelo capaz sin evaluar exactitud, formato y coste de corregir fallos.

Las versiones y los alias también forman parte del sistema

La nueva versión gpt-4-0125-preview pretendía completar mejor tareas como la generación de código y reducir casos que OpenAI llamó «pereza», cuando el modelo dejaba el trabajo a medias. Es una afirmación cualitativa del fabricante, no una tasa de éxito. La manera de comprobarla consiste en conservar una batería de encargos con criterios de finalización y comparar salidas sin cambiar al mismo tiempo mensajes, herramientas y temperatura.

OpenAI ofreció además alias que apuntaban a la versión previa más reciente. Esa comodidad introduce cambios automáticos. Para un experimento reproducible o un flujo regulado conviene fijar una versión concreta, registrar fecha, parámetros y conjunto de prueba, y actualizar de forma deliberada. Para prototipos donde importa recibir mejoras pronto, un alias móvil puede ser razonable. La elección es operativa, no una cuestión de prestigio del modelo.

La actualización del 25 de enero combinó precios inferiores, modelos nuevos y controles de claves y uso. Su lectura útil no es «más puntos por menos dinero», sino una invitación a medir la cadena completa. Quien construya un índice paralelo, etiquete consultas reales y compare recuperación, latencia y coste podrá saber si la oferta mejora su producto. Quien solo sustituya el nombre del modelo habrá cambiado una dependencia, pero no habrá demostrado una mejora.