Vulnerabilidad de puerta trasera oculta en modelos de IA.

Modificar el comportamiento de la IA es mucho más fácil y económico de lo que muchos creían. La experta en ciberseguridad Katie Paxton-Fear introdujo una vulnerabilidad oculta en un modelo de IA de código abierto. Sorprendentemente, completó esta tarea en apenas una hora. Además, toda la prueba le costó menos de cien dólares.

Entrenamiento de un modelo para que falle

Primero, comprobó si un entrenamiento rápido podía forzar al modelo a cambiar su estilo de código. La red aprendió rápidamente las nuevas reglas y las siguió utilizando incluso después de recibir una orden clara de volver a su formato anterior. Tras esta exitosa prueba, la experta procedió a crear una trampa oculta completa.

Solo necesitó diez ejemplos de prueba para vulnerar el sistema. Después de esta breve preparación, la red a menudo generaba código con una grave vulnerabilidad. Esta vulnerabilidad permitía a los hackers ejecutar comandos a distancia. Lamentablemente, la lógica defectuosa permanecía activa incluso durante nuevas tareas y en entornos desconocidos.