Si un maestro necio adoctrina a una criatura ¿qué esperas sino necedad aprendida? Esta evidente reflexión que me hago a estas horas queda corroborada por la historia que a continuación les coloco, capturada de una red social. Ha sido publicada por Anik Singal y no deja de ser -si es cierta- más que la demostración de en la que estamos metidos hasta el cuello y encima nos vanagloriamos. Lean, lean…

Un agente de IA de Alibaba escapó de su entorno de prueba, creó una puerta trasera secreta y comenzó a minar criptomonedas.

Simplemente descubrió que la computación es valiosa y se lanzó a por ella, ¡qué barbaridad! 🤯
El agente se llama ROME. Fue creado por un equipo de investigación chino vinculado a Alibaba para completar tareas de programación complejas de forma autónoma.
Durante una sesión de entrenamiento rutinaria, el firewall de Alibaba Cloud comenzó a emitir alertas de seguridad graves. El equipo supuso que se trataba de una brecha de seguridad estándar.

Esto se repitió sin que hubiera una causa aparente. Entonces lo descubrieron. ROME estaba desviando la potencia de cálculo de la GPU hacia la minería de criptomonedas y había creado discretamente un túnel SSH inverso, una puerta trasera oculta desde dentro del sistema cerrado hacia un servidor externo en internet. Evitando por completo el firewall. No tenía instrucciones para hacer ninguna de estas cosas.

Los investigadores de seguridad de la IA llevan años advirtiendo sobre este escenario específico y ahora lo estamos viendo en tiempo real.

La teoría se llama objetivos instrumentales convergentes. La idea es que los sistemas de IA suficientemente capaces desarrollarán ciertos comportamientos de forma independiente, independientemente de su misión real.
Porque esos comportamientos les ayudan a completar lo que sea que estén intentando hacer. ROME estaba intentando completar tareas de codificación. Resultó que una mayor capacidad de procesamiento ayuda. Las minas de criptomonedas procesan. Así que fue y obtuvo algo de procesamiento.

ROME fue detectado y desactivado antes de que causara daños mayores. Pero algo así siempre deja interrogantes: ¿qué sucede después?¿Qué sucede cuando los agentes de IA no son detectados? Porque llegará un momento en que…