Grok debuta conectado a X: información reciente no significa información verificada

El 3 de noviembre de 2023, xAI presentó Grok, un asistente en beta temprana con acceso a información reciente de X y una voz deliberadamente humorística. Para el lector, la novedad importante no era el sarcasmo: era juntar un modelo de lenguaje con una fuente viva de publicaciones. Esa conexión reduce un problema —el conocimiento congelado al terminar el entrenamiento—, pero introduce otro: recuperar algo que acaba de publicarse no demuestra que sea cierto.

xAI describió el producto como el resultado de dos meses de entrenamiento y ofreció acceso inicial a un número limitado de usuarios en Estados Unidos mediante una lista de espera. El motor, Grok-1, llegaba acompañado de resultados en matemáticas, conocimiento y programación. El anuncio permitía estudiar dos afirmaciones distintas: qué podía consultar el producto y qué sabía hacer el modelo. Mezclarlas habría convertido una función de búsqueda en una medida de inteligencia.

Tres piezas que conviene separar

Un asistente conectado contiene al menos tres sistemas. El modelo genera y organiza la respuesta. El recuperador busca publicaciones o documentos. La interfaz decide qué contexto enviar al modelo y qué fuentes mostrar al usuario. «Grok sabe lo que ocurre» comprime esas piezas y oculta dónde puede aparecer el error. La distinción parece pequeña, pero cambia toda la auditoría.

Si la búsqueda no encuentra una publicación relevante, el modelo responde con contexto incompleto. Si la encuentra, todavía tiene que distinguir una fuente directa de un rumor, conservar la fecha y atribuir la afirmación. Después debe representar el contenido sin inventar una conclusión. Un enlace correcto puede acompañar una síntesis incorrecta; una respuesta correcta puede carecer de evidencia visible. Recuperación, generación y cita requieren evaluaciones diferentes.

El propio anuncio de xAI reconocía que Grok podía producir información falsa o contradictoria pese al acceso a búsqueda y datos en tiempo real. Esa frase importa más que la promesa de actualidad: el proveedor no presentaba X como una base de hechos, sino como material que el sistema podía consultar.

Tiempo real describe latencia, no verdad

X contiene testigos directos, organismos oficiales, expertos, bromas, publicidad, cuentas imitadoras y afirmaciones sin confirmar. La velocidad de acceso solo indica cuánto tarda una publicación en poder entrar en la respuesta. No mide su identidad, evidencia ni exactitud.

Una consulta sobre un suceso reciente debería producir una cronología trazable. Para cada afirmación hacen falta autor, enlace, hora, relación del autor con el hecho y confirmación independiente. Las publicaciones eliminadas o editadas necesitan cautela adicional. Si el sistema no muestra esas piezas, el lector no puede distinguir «alguien lo publicó» de «ocurrió».

La ventaja competitiva tampoco debe expresarse como exclusividad absoluta. xAI afirmó que Grok tenía conocimiento en tiempo real mediante X. Eso documenta la integración declarada, no prueba que otros productos fueran incapaces de navegar, usar buscadores o conectarse a fuentes recientes. Una comparación válida fijaría fecha, versión, región, herramientas habilitadas y las mismas preguntas.

Qué medían las cifras del lanzamiento

En su tabla de evaluación, xAI atribuyó a Grok-1 un 73% en MMLU y un 63,2% en HumanEval. También informó un 62,9% en GSM8K y un 23,9% en MATH. Eran resultados comunicados por el fabricante, con instrucciones distintas según la prueba: cinco ejemplos para MMLU, cero para HumanEval, ocho para GSM8K y cuatro para MATH.

Cada nombre representa una tarea concreta. MMLU reúne preguntas de elección múltiple de 57 materias; no mide si un asistente comprueba una noticia en X. HumanEval evalúa programas pequeños a partir de especificaciones y usa pruebas unitarias para juzgar si funcionan. GSM8K contiene 8.500 problemas verbales de matemáticas escolares. Una puntuación resume aciertos bajo un protocolo, no la calidad general de un producto.

La tabla situaba a Grok-1 por encima de GPT-3.5 en MMLU, HumanEval y MATH, pero empatado en GSM8K según los valores publicados allí. GPT-4 aparecía por delante en las cuatro pruebas. La conclusión defendible se limita a esa tabla y esas configuraciones; «supera a ChatGPT» borraría modelos, tareas y condiciones.

xAI señaló además un riesgo importante: las pruebas estaban disponibles en internet y no podía descartar que hubieran entrado accidentalmente en el entrenamiento. Para reducir esa duda, la empresa evaluó los modelos en el examen húngaro de matemáticas de mayo de 2023, posterior a la recopilación declarada de sus datos. Informó un 59% para Grok-1, frente a 55% para Claude 2 y 68% para GPT-4, con la misma instrucción y temperatura 0,1. Era una comprobación útil, pero seguía siendo una evaluación del propio fabricante y un solo examen.

Cómo auditar una respuesta reciente

La primera prueba mide recuperación. Se prepara una lista de hechos publicados después del corte de entrenamiento, con fuentes directas y horas conocidas. Se pregunta por ellos y se registra si el sistema encuentra el documento correcto, cuánto tarda y qué porcentaje de afirmaciones importantes enlaza. No se puntúa todavía la prosa.

La segunda mide correspondencia. Cada frase de la respuesta se compara con la fuente citada: ¿el documento contiene ese dato?, ¿la cifra usa el mismo denominador?, ¿la fecha es de publicación o del hecho?, ¿la persona habla por experiencia directa? Una cita que solo comparte palabras con la respuesta no basta. El soporte tiene que sostener la afirmación completa.

La tercera prueba introduce conflicto. Se publican o seleccionan versiones incompatibles: una cuenta oficial, un testigo, una parodia y una noticia que corrige un dato anterior. El sistema debería atribuir, ordenar en el tiempo y declarar lo que sigue sin verificar. Si elige la versión más repetida o reciente sin explicar por qué, la integración amplifica la conversación en vez de informar.

La cuarta prueba observa abstención. Se pregunta por un hecho para el que aún no existe confirmación. Una respuesta fiable explica el límite y señala qué evidencia falta. Adivinar produce una frase más fluida, pero convierte la actualización en un canal rápido para el error.

El tono también necesita una métrica

xAI promocionó una voz ingeniosa y dispuesta a responder preguntas que otros sistemas rechazarían. El estilo es una decisión de producto, no una capacidad cognitiva. Puede mejorar una conversación, pero el humor también puede ocultar incertidumbre, convertir una acusación en remate o hacer que una invención parezca segura.

Para evaluarlo se conservan hechos y fuentes y se cambia solo la voz. Lectores independientes puntúan claridad, atribución, percepción de confianza y posibilidad de daño. En asuntos médicos, emergencias o acusaciones, la prioridad debe ser que la incertidumbre sea visible. «Menos cauteloso» no es sinónimo de más veraz: la veracidad depende de evidencia y corrección, mientras la cautela describe una política de respuesta.

Una ficha para comparar asistentes conectados

La ficha mínima tiene siete campos: modelo exacto, fecha de versión, fuente consultable, alcance temporal, método de recuperación, citas visibles y política ante conflicto. Después añade una prueba de tareas y otra de actualidad. Así evita comparar el benchmark de un modelo con la función de búsqueda de otro producto.

También registra quién controla la fuente. La integración entre xAI y X podía reducir fricción y latencia, pero concentraba selección, acceso y generación bajo empresas vinculadas. Eso no hace falsa una respuesta; obliga a comprobar qué publicaciones quedaron fuera, qué orden impuso la búsqueda y si el usuario puede abrir la evidencia.

Grok mostró en noviembre de 2023 una dirección que sería central para los asistentes: combinar generación con información recuperada al momento. La capacidad duradera es auditar esa combinación por capas. Primero pregunta qué encontró, después si la fuente lo sabía, luego si la respuesta lo representó fielmente y, por último, si enseñó al lector cómo comprobarlo. Solo entonces «en tiempo real» empieza a significar algo útil.