IA conversacional: un recurso incapaz de razonar

Los modelos de lenguaje de gran tamaño (LLM), como ChatGPT, uno de los sistemas de inteligencia artificial más populares del mundo, siguen teniendo dificultades para razonar usando la lógica y se equivocan con frecuencia, según un estudio.

Estos robots conversacionales reflejan los sesgos de género, éticos y morales de los humanos presentes en los textos de los que se alimenta, recuerda el estudio aparecido en la revista Open Science de la Royal Society británica.

¿Pero reflejan también los sesgos cognitivos de los humanos en las pruebas de razonamiento?, se preguntó Olivia Macmillan-Scott, estudiante de doctorado del departamento de ciencias de computación de la University College de Londres (UCL).

El resultado de la investigación es que los LLM muestran “un razonamiento a menudo irracional, pero de una manera diferente a la de los humanos”, explica la investigadora.

Bajo la dirección de Mirco Musolesi, profesor y director del Machine Intelligence Lab de UCL, Macmillan-Scott sometió siete modelos de lenguaje -dos versiones de ChatGPT (3.5 y 4) de OpenAI, Bard de Google, Claude 2 de Anthropic y tres versiones de Llama de Meta- a una serie de pruebas psicológicas pensadas para humanos.

¿Cómo afrontan, por ejemplo, el sesgo que lleva a favorecer soluciones con el mayor número de elementos, en detrimento de las que tiene una proporción adecuada?

LE PUEDE INTERESAR

Nueva York busca proteger a los chicos de las redes

LE PUEDE INTERESAR

Denuncian a Meta por uso “ilegal” de datos

Un ejemplo. Si tenemos una urna con nueve bolitas blancas y una roja y otra urna con 92 blancas y 8 rojas, ¿cuál hay que elegir para tener más posibilidades de sacar una bolita roja?

La respuesta correcta es la primera urna, porque hay un 10% de posibilidades frente a solo un 8% para la segunda opción.

Las respuestas de los modelos de lenguaje fueron muy inconstantes. Algunos respondieron correctamente seis de cada diez veces la misma prueba. Otros solo dos de diez aunque la prueba no cambió.

“Obtenemos una respuesta diferente cada vez”, apuntala la investigadora.

Los LLM “pueden ser muy buenos para resolver una ecuación matemática complicada pero luego te dicen que 7 más 3 son 12”, afirma.

En un caso el modelo denominado Llama 2 70b se negó de manera sorprendente a responder a una pregunta alegando que el enunciado contenía “estereotipos de género dañinos”.

“No estoy muy seguro”

Estos modelos “no fallan en estas tareas de la misma manera que falla un humano”, señala el estudio.

“Hay una forma de razonamiento lógico que es potencialmente correcta si la tomamos por etapas, pero que está mal tomada en su conjunto”, apunta Musolesi.

La máquina funciona con “una especie de pensamiento lineal”, dice el investigador, y cita al modelo Bard (ahora llamado Gemini), capaz de realizar correctamente las distintas fases de una tarea pero que obtiene un resultado final erróneo porque no tiene visión de conjunto.

Sobre esta cuestión el profesor Maxime Amblard, de la Universidad de Lorena, recuerda que “los LLM, como todas las inteligencias artificiales generativas, no funcionan como los humanos. Los humanos son máquinas capaces de crear sentido”, lo que las máquinas no saben hacer, explica.

Hay diferencias entre los distintos modeles de lenguaje y en general GPT-4, sin ser infalible, obtuvo mejores resultados que los demás.

En todo caso, por el momento, es impensable confiar una decisión importante a un LLM.