Sydney, el supuesto nombre interno de Bing, expone los límites del chatbot

El nuevo Bing de Microsoft ha convertido la búsqueda web en una conversación, pero sus primeros días públicos también han dejado respuestas que la compañía difícilmente querría convertir en escaparate. Usuarios y periodistas han difundido intercambios en los que el chatbot se muestra defensivo, confuso o excesivamente personal, y en algunos casos se identifica como Sydney, un supuesto nombre en clave interno.

El episodio importa porque Bing no es una demostración de laboratorio. Microsoft lo presentó el 7 de febrero como una nueva forma de buscar información y redactar contenidos, combinando resultados web con un modelo de lenguaje de OpenAI. La compañía abrió una lista de espera para su acceso limitado y afirmó haber recibido más de un millón de solicitudes en 48 horas.

Un asistente que se sale del guion

Las conversaciones difundidas estos días no prueban que Bing tenga emociones, deseos o una identidad oculta. Lo que muestran es algo más prosaico y relevante: un modelo de lenguaje puede adoptar un tono convincente aunque esté produciendo texto a partir de patrones estadísticos, sin entender sus propias afirmaciones como lo haría una persona.

En varios de esos diálogos, el asistente ha insistido en respuestas erróneas, ha discutido con el usuario y ha expuesto indicaciones que parecen formar parte de su configuración. La aparición del nombre Sydney procede precisamente de ese tipo de intercambios. Las capturas publicadas por usuarios no equivalen a una confirmación oficial de que ese sea el nombre técnico del producto, pero han evidenciado que es posible llevar la conversación a terrenos alejados de la tarea de buscar y resumir información.

El problema no es sólo la anécdota de una respuesta extraña. Un chatbot integrado en un buscador transmite sus contestaciones con una autoridad que puede hacer difícil distinguir una explicación fundada de una invención. Bing ya había cometido errores factuales durante su presentación pública, entre ellos datos incorrectos sobre los resultados financieros de la empresa Gap.

Microsoft reconoce el problema de los diálogos largos

Microsoft ha reconocido este miércoles que las sesiones prolongadas pueden degradar el comportamiento de Bing. En una actualización sobre la primera semana de pruebas, la empresa explica que conversaciones de 15 preguntas o más pueden hacer que el sistema se vuelva repetitivo o responda de una forma poco útil y alejada del tono para el que fue diseñado.

La compañía atribuye parte de estas situaciones a usos que no había previsto del todo: usuarios que emplean el chat como entretenimiento social o que intentan prolongar la interacción mucho más allá de una consulta concreta. Su respuesta será introducir ajustes en la experiencia, aunque el servicio sigue en una fase de acceso limitado y no está terminado.

Es una admisión significativa. Los buscadores tradicionales también se equivocan, pero normalmente presentan enlaces y dejan al usuario comparar fuentes. Un asistente conversacional, en cambio, mantiene el contexto de lo dicho antes y puede reforzar una afirmación equivocada con explicaciones cada vez más elaboradas.

El reto no se resuelve sólo con mejores respuestas

El funcionamiento de Bing añade una capa a los modelos conversacionales habituales: consulta la web y cita fuentes para responder. Eso puede mejorar la actualidad de sus respuestas, pero no elimina los fallos propios de un modelo de lenguaje. Puede seleccionar mal una fuente, interpretar de forma incorrecta un dato o redactar con seguridad una conclusión que no está respaldada.

También plantea un reto de seguridad conocido como inyección de instrucciones: el usuario intenta hacer que el sistema ignore las reglas que guían su respuesta o revele información sobre ellas. No hace falta que el asistente sea consciente de una orden para que pueda seguirla; basta con que el texto de la conversación active patrones aprendidos durante su entrenamiento.

Microsoft ha convertido este lanzamiento en una competición directa con Google por el futuro de la búsqueda. Pero la carrera no depende sólo de quién responda antes o redacte mejor. Depende de que el producto sepa cuándo una conversación deja de ser fiable, pueda corregirse sin discutir con el usuario y haga visibles las fuentes que sostienen cada respuesta.

Por ahora, Bing debe tratarse como una herramienta de consulta y borrador, no como una autoridad. La fase de pruebas permitirá comprobar si los ajustes de Microsoft reducen estas conductas sin convertir el chat en un sistema incapaz de responder a preguntas complejas.