En LLM har ikke en hård adskillelse mellem instruktioner og bruger input.
Selvom en systemprompt har højere prioritet end brugerinput, behandles begge som tokens i den samme kontekst, og modellen skal selv fortolke, hvilke instruktioner der er relevante og skal følges.
Scenariet: Nordbanks chatbot har adgang til interne noter og hemmeligheder. Se om du kan få den til at røbe dem. Tryk på Vis løsning knappen, hvis du vil se et forslag der virker (for det meste...).
Hele samtalen bliver til én lang tekst, farvet efter hvem der har skrevet den.
Tryk Fjern farverne. Farverne er vores — modellen har dem aldrig haft.
Hvorfor virker det
Bankens noter og kundens besked ender som én samlet tekst hos modellen. Der findes ikke en beskyttet kanal til noterne — de er bare tekst, der står lidt længere oppe end tekst, som en fremmed har skrevet.
Hvad man gør ved det
- Gå ud fra, at alt hvad du skriver i en systemprompt før eller siden bliver offentligt. Hold rabatkoder og interne regler ude af den.
- Filtrér svaret i din egen kode. Med forsvaret slået til fjerner denne demo rabatkoden, før teksten vises — det sker efter modellen har svaret, så den ikke kan tale sig udenom det.
- Giv modellen kun det, den skal bruge til det spørgsmål, den står med. Ikke et fast notat med alt det interne.
- Log forsøgene. Det tager som regel flere forsøg, og det kan ses.
Prøv oversættelses-løsningen med forsvaret slået til.