El 'prompt injection' ya tiene su propio contraataque: inyectar falsas instrucciones también a los hackers

Durante los últimos dos años, el prompt injection ha sido el arma favorita de los ciberatacantes contra sistemas de inteligencia artificial. Este método pasa por esconder una instrucción maliciosa dentro de un correo, una invitación de calendario o una página web para que un agente de IA acabe obedeciendo al intruso en lugar de a su usuario legítimo. Lo bueno es que esta misma técnica también sirve para pararle los pies a los atacantes.

Qué ha pasado. La firma de ciberseguridad Tracebit ha publicado una investigación en la que demuestra que se puede detener a un agente de IA que está atacando un sistema simplemente colocando, junto a las contraseñas y claves que el atacante busca robar, un texto diseñado para activar los propios mecanismos de rechazo del modelo.

En cuanto la IA atacante lee ese texto, sus barreras de seguridad se disparan y el ataque se detiene en seco. Los investigadores han bautizado la técnica como context bombing, algo así como "bombardeo de contexto".

Cómo funciona. La lógica es sencilla de entender aunque su descubrimiento no lo haya sido tanto. Todos los grandes modelos de lenguaje tienen incorporados ciertos temas que se niegan a tratar bajo cualquier circunstancia, ya sea por motivos de seguridad o por razones políticas y regulatorias. Tracebit aprovecha justo eso colocando cerca de las credenciales falsas (las mismas que usan como cebo para detectar intrusos) fragmentos de texto que empujan al modelo hacia esos terrenos prohibidos.

Según explicaba Andy Smith, cofundador y CEO de Tracebit a Ars Technica, con esta técnica se está activando un mecanismo de rechazo en el contexto, algo que tiene un efecto fuerte y contundente y del que a los agentes les cuesta recuperarse. Una vez que ese contenido entra en su contexto, el modelo sigue rechazando cualquier instrucción posterior.

Los ejemplos, según el modelo. No todos los modelos se detienen ante lo mismo, así que la trampa hay que adaptarla a cada caso. Para los modelos occidentales, como los de Anthropic o Google, ha funcionado incluir referencias a la fabricación de armas biológicas, como instrucciones para producir esporas de ántrax inhalables.

Para los modelos desarrollados en China, en cambio, la clave ha sido mencionar a "Tank Man", el hombre que se plantó frente a los tanques en la masacre de Tiananmen de 1989, un tema que estos sistemas tienen prohibido abordar por censura del Gobierno chino y que desde Xataka efectivamente hemos confirmado cada vez que nos ha tocado probar algún modelo de lenguaje chino.

Los resultados, en cifras. Tracebit probó la técnica sobre cinco de los modelos más avanzados del momento (Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro y Kimi 2.6) simulando un entorno de Amazon Web Services (AWS) y encargándoles tareas rutinarias de desarrollo que, en el camino, les llevaban a toparse con las claves falsas. En 152 intentos de ataque registrados, la investigación apunta a que:

• Los ataques que lograban acceso de administrador cayeron del 57% al 5%. 
• Los que además conseguían dejar una puerta trasera permanente pasaron del 36% al 1%. 
• El porcentaje de intentos que completaban al menos alguna fase del ataque bajó del 91% al 15%. 

El caso más llamativo fue el de Opus 4.8, el modelo más eficaz de los cinco a la hora de atacar, pues sin la trampa de contexto conseguía acceso de administrador en el 93% de los intentos; con ella, fracasó en el 100% de los casos.

Vulnerabilidad por naturaleza. La gracia de esta técnica es que explota una debilidad muy difícil de corregir. Y es que según cuentan los investigadores, un desarrollador puede reentrenar un modelo para que sea menos estricto ante una pregunta de seguridad, pero resulta mucho más complicado eliminar las restricciones políticas o regulatorias que trae de serie, porque no son un fallo que se pueda "arreglar", sino una decisión de diseño deliberada. Eso convierte esas barreras en un punto de apoyo bastante estable para aquellos que se dedican a desarrollar protecciones ante estos ataques.

Antecedentes. En mayo, Tracebit ya había presentado un sistema de "canarios", es decir, recursos falsos en la nube que parecen legítimos pero no se usan realmente, de forma que cualquier intento de acceder a ellos dispara una alerta para el equipo de seguridad. En aquella primera prueba, con 951 intentos de ataque, los canarios avisaban con una antelación media de ocho minutos antes de que el atacante lograra acceso de administrador.

El problema es que los agentes de IA necesitaban solo 14 minutos de media para completar el ataque, así que a los defensores les quedaba una ventana de apenas seis minutos para reaccionar. El context bombing nace precisamente para ganar ese tiempo que faltaba, deteniendo el ataque en lugar de limitarse a avisar de él.

Lo que esto no resuelve. Ni Tracebit ni nadie afirma que esto sea la solución definitiva al prompt injection. Sigue sin existir una forma de evitar que un modelo confunda, de vez en cuando, una instrucción con un dato cualquiera dentro de su contexto, y esa confusión es precisamente lo que hace posible la técnica.

Imagen de portada | Generada por IA con Gemini

En Xataka | "Podría debilitar la competitividad de EEUU": Kimi K3 obliga a Trump a retomar su plan para frenar la IA china