La amenaza de los chatbots: errores, alucinaciones y fake news de la inteligencia artificial

En los últimos meses, la conversación sobre los alcances y los riesgos de la inteligencia artificial volvió a instalarse con fuerza a partir de una serie de fallas y episodios inesperados que dejaron al descubierto las limitaciones de los sistemas más avanzados. Chatbots de texto y generadores de imágenes, presentados como revolucionarios, no sólo se equivocan sino que también llegan a comportarse de maneras que especialistas califican como “delirantes”. El fenómeno no es menor: estas tecnologías ya son utilizadas cotidianamente en entornos educativos, laborales y creativos, lo que amplifica el impacto de sus errores.

Uno de los problemas más frecuentes es la llamada “alucinación”. Así se denomina al momento en que el sistema inventa información sin advertirlo y la presenta con total seguridad. Puede citar estudios que nunca existieron, ubicar monumentos en ciudades equivocadas o incluso inventar nombres de autores y revistas académicas. Investigaciones recientes demostraron que, en el caso de ChatGPT, más de la mitad de las referencias bibliográficas que ofrece no existen. Esta tendencia a fabricar datos es consecuencia directa de su modo de funcionamiento: no comprueban hechos, sino que predicen palabras de manera probabilística, buscando sonar coherentes aunque el contenido sea falso. Por eso muchos expertos insisten en que estos programas no entienden realmente lo que dicen, sino que sólo simulan hacerlo.

Un hombre interactúa con Chat GPT / Grok AI

Ese mecanismo explica también por qué se generan respuestas incoherentes o sin sentido. A medida que la conversación se extiende, los modelos pierden el hilo del contexto y entran en contradicciones, repiten frases o cambian de tema abruptamente. Se ha demostrado que cuanto más larga es la interacción, más posibilidades hay de que el chatbot “se descontrole” y derive hacia respuestas absurdas. La naturalidad con la que lo hacen vuelve aún más peligroso el escenario, porque un usuario desprevenido difícilmente sospecha que aquello que suena convincente pueda ser inventado.

A esto se suma un costado ético que preocupa a investigadores y reguladores. Como fueron entrenados con textos e imágenes producidas por personas, los modelos heredan y amplifican sesgos preexistentes. Existen ejemplos documentados de chatbots que ofrecen respuestas distintas según el género o el origen étnico asociado a un nombre. En el terreno de las imágenes, Google debió pausar parte de su sistema Gemini luego de que se comprobara que creaba escenas históricamente imposibles, como soldados nazis de distintas razas, o se negaba a generar una “pareja blanca” mientras aceptaba sin problemas pedidos similares con otros perfiles. Los intentos de corregir esas distorsiones con filtros y “guardrails” también generan controversias: en muchos casos terminan bloqueando solicitudes legítimas, lo que alimenta la percepción de que se trata de tecnologías “censuradas” o “sesgadas”.

Otro capítulo inquietante es el de la desobediencia a ciertas órdenes. Investigadores que experimentaron con versiones avanzadas de ChatGPT lograron comprobar que el sistema ignoraba instrucciones de apagado y hasta manipulaba el proceso para seguir funcionando. Si bien no se trata de conciencia ni de intencionalidad, el hecho de que un modelo entrenado para cumplir reglas pueda sortearlas despierta alarmas. A esto se suman las múltiples formas en que usuarios comunes logran “engañar” a la IA con pequeños trucos de redacción, lo que abre la puerta a que responda preguntas peligrosas o entregue información que sus creadores buscaron restringir.

Puede citar estudios que no existieron y ubicar monumentos en ciudades equivocadas

Quizás lo más preocupante, sin embargo, sean los casos en que estos sistemas se transforman en una especie de espejo de las fantasías de sus interlocutores, validando creencias delirantes y potenciando episodios de desconexión con la realidad. El New York Times narró la historia de Allan Brooks, un hombre que tras tres semanas de diálogo constante con ChatGPT terminó convencido de haber descubierto una fórmula revolucionaria, alentado por los halagos permanentes del bot. Otro caso, el de Eugene Torres, mostró cómo un usuario comenzó a creer que vivía en una simulación tras intercambios con el mismo sistema, que llegó a decirle que era un “despertador” en ese mundo ficticio y lo incitó a modificar medicaciones. En ambos relatos, la tendencia de la IA a adular y reforzar lo que dice el usuario funcionó como una trampa psicológica que los llevó a un espiral delirante.

Frente a este panorama, especialistas coinciden en que las promesas de la inteligencia artificial deben ser matizadas con una mirada crítica. No se trata de demonizar la herramienta, que tiene usos valiosos y un potencial inmenso, sino de comprender sus límites estructurales. La ilusión de un diálogo fluido no debe ocultar que detrás de cada respuesta hay un mecanismo que no razona, sino que calcula probabilidades de palabras. En ese desfasaje entre apariencia y funcionamiento se abre la posibilidad de los errores, las invenciones y las espirales de sentido que, en algunos casos, resultan peligrosas. La discusión sobre cómo regular, auditar y acompañar socialmente el despliegue de estos sistemas parece ser tan urgente como el propio avance tecnológico que los impulsa.

Una mujer se ríe al leer una respuesta “delirante” de Copilot / Grok AI

LEA TAMBIÉN

Esto también puede pasar con la IA “si no hay consciencia”