ChatGPT ya puede ver, oír y hablar: llega GPT-4V

El 25 de septiembre de 2023, OpenAI anunció que ChatGPT deja de ser un chat de solo texto. La compañía comienza a desplegar dos capacidades nuevas: la posibilidad de hablar con el asistente por voz y la de mostrarle imágenes para que las analice, gracias a GPT-4V, la versión con visión de su modelo GPT-4.

Un asistente que escucha y responde con voz

La nueva función de voz permite mantener una conversación hablada con ChatGPT: el usuario habla, la aplicación transcribe la pregunta y el modelo responde en audio, no solo en texto. Para la transcripción, OpenAI usa Whisper, su propio sistema de reconocimiento de voz de código abierto. Para la respuesta hablada, ha desarrollado un nuevo modelo de texto a voz capaz de generar habla que suena natural a partir de unos pocos segundos de muestra de audio.

Según ha detallado OpenAI, la voz se ha construido en colaboración con actores profesionales, y el catálogo incluye cinco voces distintas entre las que el usuario puede elegir. La compañía ha subrayado que no permite clonar la voz de personas identificables sin su consentimiento, una precaución explícita frente al riesgo de suplantación que ya preocupa en el sector del audio generado por IA.

La función se activa desde la app móvil de ChatGPT, tanto en iOS como en Android, y llega primero a los suscriptores de ChatGPT Plus y a los clientes de ChatGPT Enterprise.

GPT-4V: cuando el modelo también ve

La segunda novedad es la capacidad de análisis de imágenes, apoyada en GPT-4V (la V es de "vision"), la variante multimodal de GPT-4 que OpenAI ha ido documentando este año junto con su tarjeta de sistema de seguridad. Ahora los usuarios pueden subir una foto o usar la cámara del móvil y preguntarle a ChatGPT sobre lo que contiene: identificar un objeto, explicar un diagrama, ayudar a resolver un problema matemático escrito a mano o describir el contenido de un documento.

Hasta ahora, ChatGPT solo entendía lo que se le escribía. Con GPT-4V, el modelo procesa texto e imagen en la misma conversación y puede razonar sobre ambos a la vez, lo que amplía de forma notable los usos prácticos del asistente, desde el aprendizaje hasta la accesibilidad para personas con discapacidad visual.

Despliegue gradual y limitado por ahora

OpenAI ha señalado que tanto la voz como la visión se irán activando de forma progresiva durante las próximas dos semanas, y que por el momento están reservadas a los suscriptores de pago, ChatGPT Plus y Enterprise. No se ha anunciado todavía si o cuándo llegarán a la versión gratuita del servicio.

El movimiento sitúa a ChatGPT en una categoría distinta a la de un simple chatbot de texto. Convertir el asistente en algo que se puede usar hablando y enseñándole imágenes lo acerca al terreno de los asistentes de voz tradicionales, pero con una capacidad de razonamiento y comprensión visual muy superior a la de un Siri o un Alexa clásicos.

Queda por ver cómo se comporta esta multimodalidad en usos cotidianos, más allá de las demostraciones controladas, y qué límites impone OpenAI para evitar usos indebidos de una tecnología capaz de generar voces realistas e interpretar cualquier imagen que se le muestre.

La conversación de voz es una cadena, no una sola capacidad

En el flujo anunciado, Whisper convierte voz en texto, el modelo produce una respuesta textual y el sistema de síntesis la transforma en audio. Cada tramo puede fallar de manera distinta. Un nombre mal transcrito altera la pregunta; una respuesta incorrecta puede sonar convincente; una entonación natural no añade evidencia. Para depurar el resultado conviene conservar la transcripción y leerla antes de juzgar únicamente la voz final.

El anuncio original de OpenAI explica que las cinco voces se crearon con actores profesionales y que la tecnología de síntesis puede generar audio a partir de texto y pocos segundos de muestra. La compañía limitó entonces esa tecnología al caso de conversación de voz por el riesgo de suplantación. Ese límite de producto es tan relevante como la capacidad del modelo.

Con una imagen ocurre algo parecido. El archivo entra en un modelo multimodal, pero la salida sigue siendo una interpretación probabilística. Señalar una región, pedir que transcriba primero y exigir que distinga observación de inferencia reduce ambigüedad. No convierte al sistema en instrumento médico, perito ni lector infalible de texto diminuto.

Una prueba multimodal necesita entradas adversas

Una foto nítida de demostración apenas revela los límites. Hay que variar iluminación, recorte, rotación, idioma, resolución y elementos parcialmente ocultos. Para voz se añaden ruido, acentos, interrupciones y términos propios. El resultado se compara con una transcripción o descripción humana y se registran omisiones y afirmaciones inventadas.

En tareas de accesibilidad, una descripción incorrecta puede afectar una decisión física. El sistema puede servir para explorar una escena, pero las instrucciones de seguridad necesitan confirmación independiente. En documentos, una tabla o una nota al pie puede cambiar el sentido; pedir la cita exacta ayuda a comprobar si el modelo realmente la vio.

La privacidad también cambia: una fotografía puede incluir caras, direcciones o documentos; una grabación puede capturar a terceros. Antes de subir material hay que revisar necesidad, consentimiento, retención y posibilidad de borrar. La comodidad de la interfaz no reduce la sensibilidad del dato.

La capacidad transferible es descomponer una experiencia multimodal en captura, reconocimiento, razonamiento y síntesis. Comprueba la salida de cada etapa y ajusta el nivel de confianza al daño posible. Ver, oír y hablar son interfaces potentes; no son una promesa de percepción perfecta.

Cómo diseñar una comprobación de extremo a extremo

Se eligen tareas con una respuesta observable: leer la fecha de un billete, identificar el mando correcto de un aparato o transcribir una dirección dicha en voz alta. Antes de usar el sistema se decide qué error sería tolerable y cuál obligaría a detenerse. Después se guarda la entrada original, la transcripción, la respuesta textual y el audio. Esa secuencia permite localizar el punto de ruptura.

En visión conviene pedir primero una descripción literal y después la interpretación. “Veo dos cables, uno rojo y uno negro” puede comprobarse; “debes conectar el rojo aquí” ya es una recomendación con riesgo. En voz se compara el texto reconocido con lo dicho antes de actuar sobre una cifra, un nombre o una instrucción. La interfaz debe facilitar esa pausa, no ocultarla.

La evaluación incluye silencios. Si una imagen está borrosa, el comportamiento deseable puede ser pedir otra foto. Si dos voces se solapan, puede necesitar confirmación. Un sistema que reconoce la insuficiencia de la entrada es más útil que otro que completa huecos con seguridad verbal.

Para equipos que lo integren en un servicio, se registran tasas por tipo de entrada y no solo una precisión media. Idioma, ruido, dispositivo y contexto pueden repartir los fallos de manera desigual. Sin ese desglose, una media alta puede esconder que el producto falla justo para un grupo de usuarios.

Un último control consiste en repetir la tarea por texto cuando sea posible. Si la respuesta cambia de forma material, se investiga si el error entró en reconocimiento, en interpretación de imagen o en el propio razonamiento. Esta comparación no siempre estará disponible, pero cuando lo está ofrece una línea base barata. También recuerda que la interfaz más natural puede ocultar más transformaciones intermedias que una caja de texto. Guardar ambas rutas permite enseñar el fallo al proveedor y comprobar una corrección posterior con la misma entrada. El resultado se documenta antes de actualizar el sistema y se conserva íntegro.