Controlar a la IA con más Inteligencia Artificial

El profesor canadiense Yoshua Bengio, considerado uno de los padres de la inteligencia artificial, presentó ayer su nueva organización dedicada a la IA responsable, cuyo objetivo es, sobre todo, diseñar software capaz de evitar los abusos de los agentes de IA.

Desde hace varios años, este ganador del Premio Turing (2018), también conocido como el Nobel de la informática, viene advirtiendo de los riesgos asociados al desarrollo de la IA, ya sea en términos de uso malicioso o de que el propio software salga mal.

“Los sistemas más avanzados ya están mostrando signos de autopreservación y comportamiento engañoso”, explica el investigador en un comunicado publicado ayer.

“Y esto sólo va a acelerarse a medida que aumenten sus capacidades y autonomía”, anuncia.

Su nueva organización sin ánimo de lucro, llamada LawZero, pretende ser “una respuesta a estos retos”.

ALARMA

Varios ejemplos recientes han confirmado que la IA ha alcanzado recientemente nuevos niveles de sofisticación, entre ellos un estudio de la start-up Anthropic.

En una simulación, la nueva interfaz de IA generativa de Anthropic, Claude 4, fue advertida de su inminente sustitución por un ingeniero de software.

Acorralada, intentó por iniciativa propia chantajear al ingeniero para disuadirle de deshacerse de ella.

SALVAGUARDA

Una de las misiones de LawZero es “proponer una forma de supervisar a los agentes de IA”, la nueva generación de modelos generativos de IA capaces de realizar un sinfín de tareas de forma autónoma, desde buscar en Internet hasta llamar a un cliente o escribir un programa en código.

“Uno de los primeros objetivos es desarrollar una forma de IA que pueda utilizarse como salvaguarda para garantizar que la IA se comporta bien”, describe Bengio en un vídeo de la web de LawZero.

“La IA puede ser extremadamente beneficiosa si nos aseguramos de que no va a hacer daño a la gente”, “ya sea porque esté en las manos equivocadas o de forma autónoma”, agrega.

LawZero también quiere trabajar en una IA con autonomía limitada para su uso en investigación científica.

La organización cuenta ya con más de 15 investigadores y recibió varios aportes económicos, uno de ellos de Schmidt Sciences, organización benéfica creada por el ex jefe de Google Eric Schmidt.