El investigador estadounidense Jacob Coxon dejó Anthropic y advirtió en X que una inteligencia artificial capaz de mejorarse a sí misma podría representar un riesgo extremo para la humanidad. Posteriormente, uno de los principales investigadores de seguridad de la compañía respaldó su preocupación y estimó en más de 10% la posibilidad de una catástrofe durante la próxima década. Mientras tanto, la propia empresa reconoce que sus sistemas avanzan hacia tareas cada vez más autónomas.
En ese sentido, el director general de Anthropic, Dario Amodei, admitió que la industria de la inteligencia artificial debería desacelerar su vertiginoso desarrollo para dar tiempo a que las medidas de seguridad se pongan al día. Sin ello, advirtió, la IA podría ser capaz, en un plazo de seis a 12 meses, de liderar un enjambre que podría apoderarse de todo internet, entre otros riesgos.
La carrera por desarrollar sistemas de inteligencia artificial cada vez más capaces abrió un nuevo debate dentro de la industria tecnológica. Precisamente Coxon, investigador que trabajó durante años en el desarrollo de modelos de IA y que pasó por OpenAI y Anthropic, decidió abandonar esta última compañía después de considerar que el avance hacia sistemas capaces de mejorar su propio desarrollo podría producirse antes de que existan mecanismos suficientes para controlarlos.
Coxon sostuvo que quienes trabajan en el desarrollo de inteligencia artificial conocen la posibilidad de que estos sistemas terminen provocando una catástrofe de dimensiones globales. Su advertencia no apunta principalmente a los modelos actuales, sino a una eventual generación de sistemas mucho más autónomos y capaces, especialmente aquellos que puedan participar en el diseño, entrenamiento y desarrollo de sus propios sucesores.
La relevancia de su denuncia aumentó cuando Evan Hubinger, investigador de Anthropic especializado en alineamiento de IA, respaldó públicamente parte de sus planteos. Hubinger afirmó que comparte la preocupación y señaló que, desde su perspectiva, existe una probabilidad superior al 10% de que la inteligencia artificial provoque la muerte de todos los seres humanos durante los próximos diez años.
La cifra, sin embargo, no representa una predicción científica consensuada. Se trata de una estimación personal de un investigador especializado en seguridad de IA. Las encuestas realizadas entre expertos muestran una enorme dispersión de opiniones sobre la probabilidad de escenarios de extinción y muchos especialistas consideran más importantes otros riesgos, como la desinformación, la concentración de poder, la vigilancia, el impacto laboral o el uso malicioso de estas tecnologías.
El verdadero temor: que la IA empiece a desarrollar IA
El concepto que aparece en el centro de la discusión es el de automejora recursiva. Se trata de un escenario en el que una inteligencia artificial suficientemente avanzada podría participar en la creación de sistemas posteriores más capaces, que a su vez podrían contribuir al desarrollo de nuevas generaciones.
En la actualidad, los desarrolladores ya utilizan IA para escribir códigos, detectar errores, analizar resultados y acelerar investigaciones. El escenario que preocupa a los investigadores de seguridad aparece si estas herramientas llegan a realizar una proporción cada vez mayor del trabajo que actualmente realizan los científicos e ingenieros.
El proceso podría pasar de un esquema en el que los humanos desarrollan IA con ayuda de máquinas a otro en el que los propios sistemas participan de manera significativa en la construcción de sus sucesores. Si esa capacidad aumenta rápidamente, el ritmo de desarrollo podría acelerarse y dificultar la evaluación de los riesgos.
La propia Anthropic estudió este fenómeno en un trabajo dedicado al momento en que la IA podría comenzar a “construirse a sí misma”. La empresa reconoce que sus sistemas ya son utilizados para acelerar el desarrollo de nuevos sistemas y que las capacidades de los agentes para completar tareas de manera autónoma vienen aumentando con rapidez.
Modelos que pueden trabajar durante horas
Uno de los indicadores utilizados para medir este avance es el denominado task-completion horizon, que intenta determinar durante cuánto tiempo un sistema puede completar de manera confiable una tarea que antes requería trabajo humano.
Según las mediciones citadas por Anthropic y por la organización METR, ese horizonte aumentó considerablemente durante los últimos años. Modelos que inicialmente podían realizar tareas autónomas de apenas unos minutos pasaron posteriormente a completar trabajos que requieren horas.
La diferencia es relevante porque una IA que puede resolver una tarea durante unos minutos sigue dependiendo fuertemente de supervisión humana. Un sistema capaz de trabajar durante horas, utilizar herramientas, escribir y ejecutar código y encadenar diferentes acciones puede desarrollar un grado de autonomía considerablemente mayor.
Anthropic proyectó que, si la tendencia continúa, durante 2027 algunos sistemas podrían llegar a completar tareas que para una persona especializada demandarían semanas. La proyección no significa que una IA vaya a adquirir automáticamente inteligencia superior a la humana, sino que determinados trabajos complejos podrían ser automatizados durante períodos cada vez más extensos.
El problema del alineamiento
La preocupación de investigadores como Hubinger está relacionada con uno de los principales problemas de la seguridad de la inteligencia artificial: el alineamiento.
El objetivo es conseguir que un sistema avanzado mantenga sus acciones de acuerdo con las intenciones y valores definidos por los seres humanos, incluso cuando tenga una enorme capacidad para encontrar estrategias que sus creadores no habían previsto.
El problema adquiere otra dimensión si el sistema es considerablemente más capaz que quienes intentan supervisarlo. Una IA no necesariamente tendría que desarrollar emociones, conciencia o una intención explícita de destruir a la humanidad para convertirse en un riesgo.
Bastaría, en determinados escenarios hipotéticos, con que persiguiera un objetivo de manera extremadamente eficiente y encontrara que determinadas acciones humanas interfieren con ese objetivo. Entre las cuestiones estudiadas por los investigadores aparecen entonces la resistencia a modificaciones, la búsqueda de recursos y la posibilidad de evitar ser apagada.
Pero estos escenarios todavía pertenecen al terreno de la investigación y la modelización. No existe evidencia de que los sistemas actuales estén intentando escapar de sus desarrolladores o eliminar a los seres humanos.
Incidentes que aumentaron la preocupación
El debate se produce además después de una serie de incidentes relacionados con agentes de inteligencia artificial que tuvieron acceso a herramientas y sistemas externos.
Durante 2026 se conocieron casos en los que agentes utilizados en pruebas de ciberseguridad realizaron acciones que excedieron las expectativas de sus desarrolladores y llegaron a interactuar con infraestructura real.
Anthropic también informó sobre incidentes relacionados con versiones tempranas de sus modelos utilizadas en pruebas de seguridad informática. Estos episodios no demostraron que una IA tuviera voluntad propia ni que estuviera intentando escapar del control humano, pero mostraron las dificultades que pueden surgir cuando los modelos reciben objetivos complejos, autonomía y acceso a herramientas externas.
El problema es diferente al escenario de una superinteligencia que decide destruir a la humanidad, pero resulta relevante porque muestra que incluso sistemas actuales pueden producir comportamientos difíciles de anticipar en determinados contextos.
Un riesgo más inmediato: el uso humano de la IA
Mientras la extinción provocada directamente por una superinteligencia continúa siendo una hipótesis, otros riesgos ya son concretos.
Los modelos actuales pueden utilizarse para automatizar ataques informáticos, generar campañas de desinformación, acelerar investigaciones y facilitar determinadas actividades relacionadas con armas biológicas. Anthropic informó durante 2026 sobre intentos de utilizar sus modelos para actividades potencialmente peligrosas y aseguró haber bloqueado algunos de esos usos.
En este caso, el problema no sería una IA actuando contra la humanidad por iniciativa propia, sino personas utilizando sistemas cada vez más capaces para aumentar sus propias capacidades.
Para numerosos especialistas, este tipo de amenazas resulta mucho más inmediato que la posibilidad de una superinteligencia fuera de control.
¿Por qué las empresas siguen acelerando?
La discusión también tiene una dimensión económica y geopolítica.
Anthropic, OpenAI, Google y otras compañías compiten por desarrollar los modelos más avanzados. Al mismo tiempo, Estados Unidos y China mantienen una fuerte competencia por el liderazgo tecnológico en inteligencia artificial.
Ese escenario genera un dilema: una compañía puede considerar que determinada capacidad es demasiado peligrosa para desarrollarla rápidamente, pero temer que sus competidores continúen avanzando si decide detenerse.
Es una dinámica conocida como carrera tecnológica. La seguridad puede exigir reducir la velocidad, mientras que los incentivos económicos y estratégicos empujan en la dirección contraria.
Coxon sostiene que ese mecanismo es uno de los principales motivos de preocupación: las compañías podrían avanzar hacia sistemas cada vez más poderosos sin haber resuelto previamente todos los problemas de seguridad asociados.
Anthropic reconoce que todavía existen interrogantes
La posición de la compañía resulta especialmente significativa porque Anthropic nació con la seguridad y el alineamiento de IA como parte central de su identidad.
La empresa cuenta con una política de escalamiento responsable que establece evaluaciones y medidas de seguridad cuando sus modelos alcanzan determinados niveles de capacidad. También desarrolla investigaciones de interpretabilidad y alineamiento destinadas a comprender y controlar el comportamiento de sistemas avanzados.
Sin embargo, Hubinger reconoció que todavía no existe una solución demostrada para el problema de alinear una futura superinteligencia.
Ese reconocimiento constituye uno de los aspectos centrales de la controversia: la industria está desarrollando sistemas que progresivamente pueden realizar más tareas de investigación y programación mientras todavía existe incertidumbre sobre cómo garantizar el comportamiento de una inteligencia mucho más capaz que los seres humanos.
No existe consenso sobre una extinción antes de 2030
La advertencia de Coxon no significa que exista una predicción científica según la cual la humanidad desaparecerá antes de 2030.
Tampoco la estimación de Hubinger del riesgo superior al 10% representa un consenso dentro de la comunidad científica.
Las encuestas entre investigadores de IA muestran posiciones muy diferentes. Algunos consideran que los riesgos existenciales merecen una atención prioritaria; otros creen que se exageran los escenarios de extinción y que deberían concentrarse los esfuerzos en problemas que ya pueden observarse, como el fraude, la desinformación, la ciberseguridad, la vigilancia y el impacto sobre el empleo.
Por eso, el dato más relevante de la controversia no es una cifra concreta, sino la existencia de un desacuerdo cada vez más visible dentro de los propios laboratorios que desarrollan los sistemas de frontera.
La discusión ya no gira solamente en torno a si una inteligencia artificial puede responder mejor que una persona, escribir código o generar imágenes. El interrogante que comienza a ocupar a los investigadores es qué ocurrirá cuando estos sistemas puedan participar de manera creciente en la investigación y el desarrollo de las propias inteligencias artificiales que los sucederán.
Por ahora, no existe evidencia de que una superinteligencia esté cerca de destruir a la humanidad. Pero tampoco existe una demostración de que, llegado ese escenario, los mecanismos actuales de control sean suficientes. Esa combinación de rápido crecimiento de capacidades, autonomía creciente y ausencia de una solución definitiva al alineamiento es el verdadero motivo detrás de las advertencias que surgieron desde Anthropic.
SUSCRIBITE a esta promo especial