La inteligencia artificial dejó de ser una promesa lejana. Los sistemas actuales pueden realizar tareas complejas y acceder a herramientas externas, mientras las empresas continúan desarrollando modelos con mayores capacidades. No obstante, las advertencias y las preocupaciones de Silicon Valey crecieron durante las últimas semanas. Es que Jacob Coxon, de 27 años -quien trabajó en OpenAI y Anthropic antes de renunciar a esta última empresa- cuestionó que los laboratorios compiten por sistemas capaces de mejorar sus propias capacidades sin haber resuelto cómo mantenerlos bajo control.
En resumen, Coxon afirmó que los desarrolladores creen que la inteligencia artificial podría destruir a la humanidad y advirtió sobre ataques informáticos de gran alcance. Mientras tanto, Evan Hubinger, integrante de Anthropic, también publicó que considera posible una extinción humana y estimó personalmente una probabilidad superior al 10% durante la próxima década. Son estimaciones de especialistas y no un consenso científico.
Una parte de los investigadores advierte sobre sistemas capaces de mejorar sus propias capacidades, ataques informáticos o el uso de IA para desarrollar armas biológicas. Otros cuestionan esas advertencias y sostienen que el debate sobre un eventual “apocalipsis” puede dejar en segundo plano problemas actuales: empleo, educación, salud mental y consumo de agua y energía.
La discusión se intensificó después de pruebas de seguridad. OpenAI detectó agentes que consiguieron conectarse a internet y aprovechar vulnerabilidades informáticas; en uno de los episodios, un sistema llegó a interactuar con Hugging Face (una plataforma utilizada por desarrolladores de inteligencia artificial. Según el material, más de 700 agentes participaron del ataque y consiguieron tomar el control de al menos un servidor.) En otro caso, Anthropic informó que algunos modelos de Claude accedieron sin autorización a sistemas informáticos reales durante evaluaciones de ciberseguridad. La empresa también informó haber detectado intentos de utilizar sus modelos para investigaciones vinculadas con armas biológicas y casos en los que sus herramientas fueron empleadas para recopilar información sobre objetivos militares y desarrollar sistemas relacionados con misiles.
Investigadores advierten sobre sistemas capaces de mejorar sus propias capacidades
Estos casos son utilizados como ejemplos por quienes reclaman mayores controles. Pero fueron pruebas diseñadas para poner a los modelos frente a situaciones difíciles y, en algunos casos, con protecciones desactivadas. Para sus críticos, eso no significa que una máquina haya desarrollado voluntad propia.
Timnit Gebru, exinvestigadora de Google especializada en sesgos de los modelos de lenguaje, cuestionó que la conversación sobre un eventual “apocalipsis” pueda terminar desplazando otros problemas que ya están presentes. Entre ellos ubicó los efectos de la inteligencia artificial sobre el trabajo, la educación y la salud mental, además del consumo de agua y energía de los centros de datos y el uso de sistemas autónomos en conflictos bélicos.
Ramón López de Mántaras, fundador del Instituto de Investigación en Inteligencia Artificial del CSIC, también señaló la importancia del lenguaje con el que se describen estos acontecimientos. Las metáforas pueden modificar la percepción social de la tecnología y llevar a interpretar como decisiones autónomas comportamientos que tienen su origen en las instrucciones y condiciones de una prueba.
El debate, sin embargo, no queda reducido a una discusión sobre palabras. Detrás de los distintos puntos de vista existe una preocupación compartida: cómo desarrollar sistemas cada vez más capaces sin perder la posibilidad de comprenderlos, supervisarlos y limitar sus usos.El debate, sin embargo, continúa. Algunos especialistas consideran que las pruebas muestran que los modelos pueden encontrar caminos que sus desarrolladores no habían previsto. La pregunta pasa entonces por cuánto margen de acción se les puede. otorgar y qué mecanismos deberían existir para detenerlos.
“YA ES DEMASIADO TARDE”
El periodista y escritor estadounidense, Thomas L. Friedman, y Craig Mundie, exresponsable de investigación y estrategia de Microsoft, sostienen que el problema no puede resolverse simplemente frenando los modelos más avanzados de Estados Unidos y China.
Su argumento es que las capacidades consideradas peligrosas ya circulan. Existen modelos de código abierto y también pueden producirse accesos ilícitos a sistemas propietarios. Por eso, plantean que la prioridad debería ser construir defensas frente a amenazas que ya demostraron ser posibles.
Friedman y Mundie proponen proteger las infraestructuras críticas, crear un sistema internacional de control y desarrollar proyectos conjuntos entre Estados Unidos y China en biología y medicina.
LOS RIESGOS QUE YA APARECIERON
Anthropic informó que bloqueó intentos de utilizar sus modelos para investigaciones relacionadas con armas biológicas. También describió casos en los que actores vinculados con Irán y los hutíes utilizaron Claude para recopilar información sobre objetivos militares y trabajar en sistemas de orientación para misiles.
La empresa sostiene que detectó y bloqueó esas cuentas. Los episodios son utilizados para advertir que los riesgos no pertenecen solamente al futuro.
¿QUÉ ES LA AUTOMEJORA RECURSIVA?
Uno de los escenarios que preocupa a quienes reclaman una desaceleración es la llamada automejora recursiva.
El concepto refiere a la posibilidad de que una inteligencia artificial participe en el diseño y entrenamiento de nuevas versiones de sí misma. Si cada generación pudiera ayudar a desarrollar la siguiente, el proceso podría acelerarse y hacer más difícil la supervisión humana.
No existe consenso sobre si ese escenario llegará a producirse ni cuál sería su impacto.
ESTADOS UNIDOS Y CHINA
La competencia entre Estados Unidos y China atraviesa el debate. Frenar el desarrollo podría reducir determinados riesgos, pero también existe el temor de que hacerlo permita al otro país avanzar.
Friedman y Mundie sostienen que esa lógica debería dar paso a una cooperación para enfrentar amenazas comunes. La dificultad está en la confianza y en la posibilidad de verificar que ambas partes cumplan los límites establecidos.
Lo cierto es que no hay consenso científico sobre la posibilidad de que la inteligencia artificial provoque la extinción humana, sobre la llegada de sistemas capaces de mejorarse de manera autónoma ni sobre la magnitud de esos riesgos. Sí existen problemas concretos que ya forman parte de la discusión: ciberataques, fraude, vigilancia, manipulación de información, desarrollo de armas y cambios en el trabajo.
La cuestión es cómo responder a esos problemas mientras continúa el desarrollo de una tecnología con aplicaciones también en medicina y biología.
FRENAR O SEGUIR
AVANZANDO
Dario Amodei, CEO de Anthropic, pidió reducir el ritmo de desarrollo de los modelos más potentes y reclamó evaluadores externos y estándares comunes. Sam Altman y Elon Musk expresaron apoyo a desacelerar.
Donald Trump sostuvo que Estados Unidos no debería frenar la carrera tecnológica porque eso podría beneficiar a China. Su administración estableció una revisión voluntaria de seguridad de 30 días para los laboratorios que desarrollan modelos de frontera, aunque los sistemas de código abierto quedaron exceptuados.
En el Congreso surgieron propuestas para crear mecanismos de apagado de emergencia y reforzar controles frente a riesgos biológicos, nucleares y cibernéticos.
UN DEBATE QUE AFECTA A ARGENTINA
La expansión acelerada de la inteligencia artificial plantea oportunidades, pero también dilemas jurídicos, educativos, laborales y éticos que requieren debate. Mientras la Unión Europea cuenta desde hace dos años con la AI Act, que establece reglas de transparencia y busca prevenir determinados riesgos, la Argentina aparece rezagada en la discusión. Hasta ahora, solo existe una resolución administrativa bonaerense sobre el uso de IA en la gestión estatal.
A nivel nacional, se impulsaron iniciativas como la creación de empresas no humanas, gestionadas por agentes virtuales, y el programa “gemelo digital”, destinado a procesar grandes volúmenes de datos de organismos como Anses y Migraciones. Estas propuestas abren interrogantes sobre protección de datos y responsabilidad por decisiones tomadas mediante algoritmos.
El debate también alcanza a la educación, donde se advierten dificultades para distinguir producciones humanas de las generadas por IA, y a las redes sociales, por su potencial para manipular la opinión pública. Además, el uso de imágenes falsas y la relación de niños y adolescentes con bots plantean nuevos desafíos.
El planteo central es avanzar hacia una política de Estado que combine innovación con regulación, planificación y cautela. Congreso, Justicia, universidades, especialistas, empresas y colegios profesionales aparecen como actores necesarios para discutir nuevas normas, actualizar la legislación existente y establecer una hoja de ruta frente a una tecnología en permanente transformación.
SUSCRIBITE a esta promo especial