Prompt injection: Čo najhoršie sa môže stať?

Dokument diskutuje o zraniteľnosti prompt injection v Large Language Models (LLMs), ako napríklad na GPT-3/4/ChatGPT. Prompt injection nastáva, keď sa starostlivo vytvorený prompt spojí s nedôveryhodným vstupom od používateľa, čo môže viesť k nebezpečným zraniteľnostiam. Autor poskytuje príklady, ako môže byť prompt injection zneužitý, napríklad v prototypoch AI asistentov, ktoré dokážu čítať a zhrňovať e-maily, a v AI-enhanced vyhľadávačoch ako Bing. Autor tvrdí, že neexistuje 100% spoľahlivá ochrana proti prompt injection a vývojári musia pochopiť tento problém. Autor navrhuje, že zobrazenie generovaných promptov pre používateľov a požiadanie o potvrdenie pred vykonaním akcií môže pomôcť zmierniť riziko prompt injection. Autor tiež poznamenáva, že prompt injection sa neberie tak vážne, ako by sa malo. Dokument končí tým, že prompt injection stále nie je vyriešený problém, aj napriek zavedeniu GPT-4.

Zdroj

Pridaj komentár