Inyección puntual: ¿Qué es lo peor que puede pasar?

Este artículo trata sobre la vulnerabilidad de la inyección de comandos en grandes modelos lingüísticos (LLM) como GPT-3/4/ChatGPT. La inyección de instrucciones se produce cuando una instrucción cuidadosamente elaborada se concatena con una entrada no fiable de un usuario, lo que puede dar lugar a vulnerabilidades peligrosas. El autor ofrece ejemplos de cómo puede explotarse la inyección de instrucciones, como en un prototipo de asistente de inteligencia artificial que puede leer y resumir correos electrónicos, y en motores de búsqueda mejorados con inteligencia artificial como Bing. El autor argumenta que no existe una protección 100% fiable contra la inyección de avisos y que los desarrolladores deben comprender el problema. El autor sugiere que hacer visibles a los usuarios los avisos generados y pedir confirmación antes de realizar acciones puede ayudar a mitigar el riesgo de inyección de avisos. El autor también señala que la inyección inmediata no se está tomando tan en serio como debería. El artículo concluye afirmando que la inyección inmediata todavía no es un problema resuelto, ni siquiera con la introducción de GPT-4.

GTP-4.

artículo completo

Deja una respuesta