ChatGPT ya puede ver, oír y hablar: llega GPT-4V

OpenAI ha anunciado hoy que ChatGPT deja de ser un chat de solo texto. La compañía comienza a desplegar dos capacidades nuevas: la posibilidad de hablar con el asistente por voz y la de mostrarle imágenes para que las analice, gracias a GPT-4V, la versión con visión de su modelo GPT-4.

Un asistente que escucha y responde con voz

La nueva función de voz permite mantener una conversación hablada con ChatGPT: el usuario habla, la aplicación transcribe la pregunta y el modelo responde en audio, no solo en texto. Para la transcripción, OpenAI usa Whisper, su propio sistema de reconocimiento de voz de código abierto. Para la respuesta hablada, ha desarrollado un nuevo modelo de texto a voz capaz de generar habla que suena natural a partir de unos pocos segundos de muestra de audio.

Según ha detallado OpenAI, la voz se ha construido en colaboración con actores profesionales, y el catálogo incluye cinco voces distintas entre las que el usuario puede elegir. La compañía ha subrayado que no permite clonar la voz de personas identificables sin su consentimiento, una precaución explícita frente al riesgo de suplantación que ya preocupa en el sector del audio generado por IA.

La función se activa desde la app móvil de ChatGPT, tanto en iOS como en Android, y llega primero a los suscriptores de ChatGPT Plus y a los clientes de ChatGPT Enterprise.

GPT-4V: cuando el modelo también ve

La segunda novedad es la capacidad de análisis de imágenes, apoyada en GPT-4V (la V es de "vision"), la variante multimodal de GPT-4 que OpenAI ha ido documentando este año junto con su tarjeta de sistema de seguridad. Ahora los usuarios pueden subir una foto o usar la cámara del móvil y preguntarle a ChatGPT sobre lo que contiene: identificar un objeto, explicar un diagrama, ayudar a resolver un problema matemático escrito a mano o describir el contenido de un documento.

Hasta ahora, ChatGPT solo entendía lo que se le escribía. Con GPT-4V, el modelo procesa texto e imagen en la misma conversación y puede razonar sobre ambos a la vez, lo que amplía de forma notable los usos prácticos del asistente, desde el aprendizaje hasta la accesibilidad para personas con discapacidad visual.

Despliegue gradual y limitado por ahora

OpenAI ha señalado que tanto la voz como la visión se irán activando de forma progresiva durante las próximas dos semanas, y que por el momento están reservadas a los suscriptores de pago, ChatGPT Plus y Enterprise. No se ha anunciado todavía si o cuándo llegarán a la versión gratuita del servicio.

El movimiento sitúa a ChatGPT en una categoría distinta a la de un simple chatbot de texto. Convertir el asistente en algo que se puede usar hablando y enseñándole imágenes lo acerca al terreno de los asistentes de voz tradicionales, pero con una capacidad de razonamiento y comprensión visual muy superior a la de un Siri o un Alexa clásicos.

Queda por ver cómo se comporta esta multimodalidad en usos cotidianos, más allá de las demostraciones controladas, y qué límites impone OpenAI para evitar usos indebidos de una tecnología capaz de generar voces realistas e interpretar cualquier imagen que se le muestre.