OpenAI presenta GPT-4o: voz, visión y texto en tiempo real

OpenAI ha presentado este lunes GPT-4o, un nuevo modelo que entiende y genera texto, imágenes y audio. La letra «o» significa omni: la compañía quiere que ChatGPT deje de sentirse como una sucesión de herramientas separadas y responda a voz, visión y lenguaje con la inmediatez de una conversación.

El anuncio importa por dos razones. Por un lado, OpenAI lleva buena parte de las capacidades hasta ahora asociadas a GPT-4 a la versión gratuita de ChatGPT. Por otro, plantea una interacción con asistentes de IA que no depende de escribir una pregunta, esperar una respuesta y volver a empezar: el modelo puede escuchar, mirar y responder durante el intercambio.

Un modelo que procesa audio de principio a fin

Hasta ahora, la conversación por voz en ChatGPT combinaba tres sistemas: uno transcribía el audio a texto, GPT procesaba ese texto y otro modelo convertía la respuesta en voz. Esa cadena funciona, pero pierde elementos importantes de una conversación, como el tono, las pausas, la emoción o una interrupción del interlocutor.

GPT-4o procesa audio directamente y puede devolver audio como respuesta. OpenAI asegura que tarda de media 320 milisegundos en contestar a una entrada de voz, con un mínimo de 232 milisegundos. Es un tiempo próximo al ritmo de respuesta humano en una charla cotidiana.

En la demostración de presentación, el modelo mantuvo una conversación hablada, detectó emociones en la voz, ayudó a resolver una ecuación escrita ante una cámara y actuó como intérprete entre inglés e italiano. También fue capaz de analizar una imagen o una pantalla compartida y comentar lo que veía.

Conviene distinguir la demostración de la disponibilidad inmediata. Las nuevas funciones avanzadas de audio llegarán primero en las próximas semanas a un grupo reducido de suscriptores de ChatGPT Plus. La experiencia de voz actual sigue siendo la que encontrará inicialmente la mayoría de usuarios.

GPT-4 para quienes usan ChatGPT gratis

La versión gratuita de ChatGPT empezará a recibir GPT-4o con límites de uso. Cuando se alcance ese límite, el servicio pasará a GPT-3.5. Los usuarios de Plus tendrán un límite de mensajes hasta cinco veces superior al de las cuentas gratuitas.

OpenAI también incorpora a la modalidad sin pago varias funciones que antes eran más restringidas: navegación web, análisis de datos, carga de archivos e imágenes, interpretación visual y uso de GPTs personalizados. La memoria, que permite a ChatGPT conservar ciertas preferencias del usuario entre conversaciones, también se extenderá gradualmente.

No significa que el producto gratuito pase a ser idéntico a Plus. La suscripción conserva límites más altos, acceso prioritario cuando hay mucha demanda y el estreno temprano de algunas funciones. Pero la distancia funcional entre ambas versiones se reduce de forma notable.

Más rápido y barato para desarrolladores

GPT-4o también estará disponible mediante la API, la interfaz con la que empresas y desarrolladores integran modelos de OpenAI en sus productos. En texto e imagen, la compañía afirma que iguala el rendimiento de GPT-4 Turbo, pero es dos veces más rápido y cuesta la mitad.

Su precio anunciado es de 5 dólares por millón de tokens de entrada y 15 dólares por millón de tokens de salida. Un token es una pequeña unidad de texto que el modelo utiliza para leer y generar lenguaje; no equivale exactamente a una palabra, pero sirve para medir el volumen procesado.

El modelo admite hasta 128.000 tokens de contexto, una capacidad útil para trabajar con documentos extensos, conversaciones largas o grandes cantidades de código. De momento, la API permite texto e imágenes; las capacidades de audio se añadirán más adelante para un grupo limitado de socios.

Una aplicación para el escritorio del Mac

Junto al modelo, OpenAI ha anunciado una aplicación de escritorio para macOS. La compañía la está desplegando desde hoy para usuarios de Plus y prevé extenderla a otros usuarios en las próximas semanas. La aplicación permite abrir ChatGPT con un atajo de teclado y trabajar junto a otras ventanas, sin depender de una pestaña del navegador.

OpenAI promete además una integración más directa con el contenido que se está viendo en pantalla. Esa idea resume la apuesta de GPT-4o: un asistente que no solo responde a un texto pegado en una caja de diálogo, sino que puede recibir el contexto visual y sonoro del trabajo del usuario.

El reto no será únicamente técnico. Cuanto más presente esté un asistente en cámaras, micrófonos, archivos y pantallas, más importantes serán los controles de privacidad, los permisos claros y las limitaciones contra usos abusivos. OpenAI ha restringido las voces de salida a voces predefinidas y ha entrenado el modelo para rechazar determinados contenidos de audio, pero la ampliación de estas funciones obligará a comprobar si esas salvaguardas funcionan fuera de una demostración.

Por ahora, GPT-4o acerca a ChatGPT a la interfaz que durante años ha prometido la ciencia ficción: hablar con un ordenador que escucha, ve y contesta. La diferencia es que esta vez llega primero a cientos de millones de usuarios potenciales, incluidos quienes no pagan una suscripción.