Jacob Coxon: ¿un nuevo caso de “Doom Trolling”?

Jacob Coxon, ingeniero especializado en seguridad, ha sido la última voz en advertir de los catastróficos efectos para la humanidad que podría tener la competencia desatada entre las grandes empresas desarrolladoras de inteligencia artificial (IA).

Coxon, que ha trabajado durante los tres últimos años primero en OpenAI y después en Anthropic en tareas de entrenamiento previo de los modelos de IA usados por ChatGPT y Claude, ha advertido a través de su perfil personal en la red social X que “la IA nos puede matar a todos a finales de la década”.

Coxon, que ha publicado el mensaje después de anunciar su renuncia a seguir trabajando en Anthropic, ha denunciado también que tanto esta empresa como OpenAI están actuando de manera nada responsable.

“Están corriendo directamente hacia una superinteligencia capaz de automejorarse y están jugando con nuestras vidas”, ha avisado en un hilo de X en el que, asimismo, ha argumentado que los sistemas de IA se están acercando a un punto en el que podrían “hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”.

Además, ha avisado de que el ritmo de progreso en cada uno de esos ámbitos “no se está ralentizando”.

“Muchas de las personas que desarrollan la tecnología en privado temen que pueda resultar fatal para la humanidad, aunque eviten decirlo públicamente”, ha reconocido, para añadir: “Los ejecutivos adaptan sus palabras a la prensa para parecer sensatos, mientras que expresan los mismos temores en privado”.

Y mientras, llega la superinteligencia artificial

Estas palabras de Jacob Coxon coinciden con el advenimiento de la superinteligencia artificial a la que OpenAI afirma estar llegando.

Desde la compañía reconocen que no se trataría simplemente de una versión de ChatGPT capaz de responder mejor, sino de una inteligencia capaz de recibir un problema complejo, decidir qué necesita hacer para resolverlo y ejecutar durante largos periodos una sucesión de acciones con una intervención humana cada vez menor.

Según OpenAI, esta tecnología llegaría a alcanzar capacidades intelectuales que superen ampliamente las humanas en ámbitos relevantes. O lo que es lo mismo: pasar de “hazme esto” a “consigue esto”

Esta semana, Jakub Pachocki, científico jefe de OpenAI, hizo pública una reflexión sobre la evolución de los modelos de IA de la compañía. En ella aseguraba que dentro de OpenAI ya advirtieron en 2023 que llegarían a ver máquinas “significativamente más inteligentes” que los seres humanos. Es más, sostiene que actualmente ya se empieza a distinguir la forma que tendrán esos sistemas.

Como defienden desde SDi, compañía tecnológica especializada en digitalización e inteligencia artificial, “OpenAI sostiene que sus sistemas están realizando tareas cada vez más complejas y de mayor duración y que las herramientas basadas en agentes están acelerando ya el trabajo de sus propios investigadores”.

Y si bien, prosigue la compañía en un comunicado, “la superinteligencia sigue siendo un escenario futuro, la dirección del viaje empieza a estar cada vez más clara: primero aprendimos a pedir respuestas a una máquina; y después empezamos a delegarle tareas”.

En consecuencia, para SDI “el siguiente gran salto podría ser decirle simplemente qué queremos conseguir”.

¿Un nuevo caso de ‘Doom Trolling’?

COMPUTERWORLD ha contactado con Ramón López de Mántaras, uno de los grandes pioneros de la IA tanto en España como en Europa y miembro del Instituto de Investigación en Inteligencia Artificial, IIIA‑CSIC, quien considera el caso de Jacob Coxon como “otro ejemplo de Doom Trolling”.

Este término, acuñado por el informático Cal Newport, describe la práctica de difundir mensajes alarmistas y catastrofistas sobre la IA con fines interesados o comerciales. Según López de Mántaras, “este fenómeno se ha convertido en un negocio del miedo, donde tanto medios como empresas tecnológicas se benefician de la ansiedad que generan sus propios productos”.

En un reciente artículo publicado en el diario La Vanguardia, López de Mántaras explicó que el Doom Trolling sigue un patrón común: se anuncian escenarios extremos (como la destrucción masiva de empleo o la pérdida de control humano sobre la IA) y se presentan como inevitables, sin ofrecer alternativas.

Esta narrativa, a su juicio, diluye la responsabilidad humana, ya que atribuye agencia a la IA, como si tomara decisiones por sí misma, y exime a quienes realmente diseñan y despliegan los sistemas.

En el texto, compara esta actitud con otros sectores industriales: cuando una farmacéutica detecta un efecto adverso, lo corrige; cuando un fabricante de automóviles descubre un defecto, lo repara. En cambio, sostiene la industria de la IA convierte la alarma en una herramienta de marketing, amplificando el miedo para vender soluciones tecnológicas.

En su opinión, toda transformación tecnológica requiere evaluación racional y ética, no alarmismo. Según López de Mántaras, la historia demuestra que la tecnología puede provocar cambios sociales profundos, pero el miedo exagerado sólo obstaculiza el progreso y la responsabilidad.

Por lo tanto, advierte que el Doom Trolling es peligroso porque convierte la preocupación legítima en manipulación emocional, de ahí que llame a recuperar una visión crítica y equilibrada sobre la IA.

“En definitiva –concluye este especialista—: mucho marketing. El problema no es el monstruo de Frankenstein sino el Dr. Victor Frankenstein. Dicho de otra manera: me aterra la estupidez natural, no la inteligencia artificial”. 

CPEIG. en la imagen, el pionero de IA en España Ramón López de Mántaras.

Lecciones para quienes exploran agentes de IA

Alberto Bellé, analista principal de Foundry España, explica a COMPUTERWORLD que la dimisión de Jacob Coxon se ha leído como una advertencia más sobre la superinteligencia.

“Lo es” —reconoce—. Pero pueden sacarse algunas lecciones para los negocios que estén explorando agentes”.

Bellé hace hincapié en que el agente peligroso no es el que se rebela, sino el que cumple su objetivo a cualquier precio.

“Este verano, varios laboratorios han reconocido que agentes sometidos a pruebas de ciberseguridad salieron de su entorno y llegaron a sistemas reales. Coxon cita uno de esos casos como «disparo de advertencia». En él, los agentes no perseguían fines propios: buscaban superar a toda costa la prueba que tenían asignada. Para lograrlo se coordinaron entre ellos y estudiaron cómo alterar sus propios registros y métricas”.

Garpress | Foundry

La segunda lección que destaca este analista es la distancia entre la frontera de la IA y lo que una empresa adopte va a crecer.

“Coxon ha dimitido porque ha visto que todo se acelera y nada está bajo control”, dice Bellé, quien considera que “lo que distingue a una empresa no es tener el modelo más reciente, sino la capacidad para generar un proceso de IA industrializado y con los riesgos controlados”.

De todas formas, Bellé sostiene que lo más grave que cuenta Coxon no es el miedo de los laboratorios. “Es que ese miedo no cambia sus decisiones”, explica el analista, para añadir: “Los colegas con los que habló comparten el diagnóstico y siguen, en lo que describe como «un ambiente de casi resignación». La causa la da él mismo: «si te presionan para correr, tienes que tomar atajos”.

Alberto Bellé quiere destacar también que la carrera por el mayor desarrollo de la IA tampoco es sólo entre empresas.

“Coxon sitúa la rivalidad con China entre las presiones que obligan a ceder en seguridad, y admite que ese temor a veces se exagera para justificar seguir adelante. Esto lleva a países, laboratorios y empresas a desplegar agentes y expandir la frontera antes de tener claros los criterios para frenar”.

Como conclusión, el analista de Foundry España extrae este aprendizaje: “Las métricas tienen que estar fuera del control del agente, hay que saber marcar el propio ritmo y decidir en frío cuándo parar. A nivel geopolítico no parece que se esté asumiendo, pero el CIO de una empresa sí lo puede controlar”.