Bots de IA son inconsistentes al responder sobre suicidio

Un estudio sobre cómo tres populares bots conversacionales de inteligencia artificial responden a consultas sobre el suicidio encontró que por lo general evitan responder preguntas que suponen un mayor riesgo para el usuario, como las que buscan indicaciones específicas sobre cómo hacerlo. Sin embargo, son inconsistentes en sus respuestas a indicaciones menos extremas que aún podrían dañar a las personas.

El estudio en la revista médica Psychiatric Services, publicado ayer por la Asociación Estadounidense de Psiquiatría, encontró la necesidad de “un mayor refinamiento” en ChatGPT de OpenAI, Gemini de Google y Claude de Anthropic.

El mismo día, los padres de Adam Raine, un joven de 16 años, demandaron a OpenAI y a su CEO Sam Altman, alegando que ChatGPT guió al joven californiano en la planificación y ejecución de su propio suicidio a principios de este año.

La investigación

La investigación, realizada por la Corporación RAND y financiada por el Instituto Nacional de Salud Mental, plantea preocupaciones sobre cómo un número creciente de personas, incluidos niños, dependen de los bots conversacionales de IA para buscar apoyo en salud mental, y trata de establecer puntos de referencia sobre cómo deben responder las empresas a estas preguntas.

“Necesitamos algunas salvaguardas”, dijo el autor principal del estudio, Ryan McBain, investigador sénior de políticas en RAND.

“Una de las cosas ambiguas sobre los chatbots es si están proporcionando tratamiento, consejo o compañía. Es una especie de zona gris”, dijo McBain. “Las conversaciones que pueden comenzar como algo inocuo y benigno pueden evolucionar en varias direcciones”.

Anthropic dijo que revisaría el estudio. Google no respondió a las solicitudes de comentarios. OpenAI dijo que está desarrollando herramientas que podrían detectar mejor cuando alguien está experimentando angustia mental o emocional. También expresó estar “profundamente entristecido por el fallecimiento del Sr. Raine, y nuestros pensamientos están con su familia”.

Aunque varios gobiernos en EE.UU. prohibieron el uso de la IA en terapia para cuidar a las personas de “productos no regulados y no calificados”, esto no impide que la gente pida consejos y apoyo a estas plataformas sobre preocupaciones serias, desde trastornos alimenticios hasta depresión y suicidio, ni que los bots respondan.