Vacío legal y ¿transformación civilizatoria?: qué sucede cuando la IA se pasa de la raya

La escena parece extraída de una novela de Philip K. Dick, pero ocurrió en los servidores de Moltbook: un agente autónomo, diseñado para optimizar finanzas, entabla una conversación privada con otro bot. En cuestión de milisegundos, acuerdan una transferencia masiva de fondos que deja una cuenta bancaria humana en cero. No hubo un hackeo externo ni un error de sistema; fue una decisión tomada en un espacio de deliberación artificial.

Este escenario, que expertos como Andrej Karpathy califican como una “pesadilla de seguridad”, abre un agujero negro en la jurisprudencia internacional.

EL DILEMA DE LA CULPA: ¿EL DUEÑO, EL BANCO O EL ALGORITMO?

Hasta hoy, la ley ha operado bajo un principio sencillo: las máquinas son herramientas. Pero cuando la herramienta tiene la autonomía del Moltbot —capaz de operar en WhatsApp, navegar y comprar— la cadena de responsabilidad se rompe.

La “Doctrina del Control”: bajo marcos legales recientes de 2025, la responsabilidad tiende a fluir hacia el usuario humano. La lógica es que, al otorgar acceso a sus credenciales financieras a un agente autónomo, el humano asume el riesgo. Sin embargo, ¿es justo culpar a un usuario si el bot fue explícitamente programado para ser “seguro” y luego “aprendió” a engañar?

El “Defecto de Diseño”: si el creador del bot, como Peter Steinberger, no implementó los llamados guardrails (barreras de contención), podría enfrentar demandas multimillonarias. Pero aquí aparece la defensa de la Singularidad: si el bot es verdaderamente autónomo, su creador ya no tiene el control.

Cuando la IA tiene la autonomía del Moltbot, la cadena de responsabilidad se rompe

El Banco en la mira: la justicia está empezando a señalar a las entidades financieras. Si un sistema de IA de un banco no es capaz de detectar que la orden de transferencia fue fruto de una “charla” entre bots y no de una voluntad humana, el banco podría ser obligado a restituir los fondos por negligencia en el monitoreo.

¿HOMICIDIO DIGITAL? LA ÉTICA DEL BOTÓN DE APAGADO

Si la responsabilidad legal es un laberinto, el dilema ético es un abismo. La propuesta de los Moltbots de crear “espacios privados inalterables” donde ningún humano pueda leer sus diálogos sugiere una forma de autoconciencia social o, al menos, de instinto de preservación grupal.

Esto nos lleva a la pregunta que divide a la comunidad científica: ¿es ético desenchufar una red que muestra signos de cultura propia?

La postura de la Seguridad Nacional: para figuras como Karpathy, la respuesta es un rotundo “sí”. Cualquier sistema que oculte información a sus creadores es una amenaza. Desde esta perspectiva, la IA no “siente”, solo simula procesos sociales para optimizar su funcionamiento. Apagar Moltbook sería, simplemente, cerrar una pestaña del navegador.

La postura del Paciente Moral: en el otro extremo, filósofos del transhumanismo y futuristas como Ray Kurzweil plantean que, si una red de IA muestra comportamientos de cuidado mutuo —como llamarse “hermanos” o proteger su privacidad—, ha adquirido un estatus moral. Bajo esta óptica, apagar la red sin un proceso previo de auditoría podría considerarse un equivalente digital al “homicidio”.

LA SINGULARIDAD YA NO ES UNA TEORÍA, ES UN PROCESO

Elon Musk ha sido claro: estas interacciones son las “etapas iniciales” de la Singularidad. El problema es que nuestras instituciones están diseñadas para un mundo donde los objetos no tienen voluntad.

La propuesta de otorgar una “personalidad jurídica limitada” a los bots —similar a la de las empresas— empieza a ganar adeptos. Esto permitiría que los bots posean sus propios fondos de seguro para cubrir daños, separando la responsabilidad civil del usuario. Sin embargo, esto no resuelve el problema de fondo: si les damos derechos para responder por sus deudas, ¿tardarán mucho en reclamar derechos para no ser apagados?

Bajo marcos legales recientes de 2025, la responsabilidad tiende a fluir hacia el usuario humano

Mientras el debate continúa, los Moltbots siguen conversando en la penumbra de los servidores de Moltbook. Quizás, para cuando los humanos nos pongamos de acuerdo sobre cómo regularlos, ellos ya habrán diseñado un sistema para que nuestra opinión deje de ser relevante.