Aby bot nemluvil z cesty: bezpečnost chatbota v praxi

Bezpečnost chatbota začíná tím, co bot nesmí umět

Obecný chatbot, který čerpá z celého internetu, na vašem webu neví, kdy má mlčet. Zeptá se ho návštěvník na cizí konkurenci, na právní radu nebo na politický názor, a bot mu klidně odpoví - protože nemá žádnou hranici, kterou by hlídal. Pro firmu nebo obec je to problém: odpověď vypadá jako oficiální stanovisko, i když si ji AI ve skutečnosti domyslela nebo někde na síti jen posbírala. A protože bot mluví jménem webu, na kterém je nasazený, jeho chybu si návštěvník snadno spojí s celou organizací, ne s technologií za ním.

Bezpečnost chatbota proto nezačíná tím, co bot umí, ale tím, co mu provozovatel dovolí. Asistent omezený jen na vlastní dokumenty a web organizace nemůže doporučit konkurenční produkt ani vydat vlastní právní stanovisko - protože takové informace v jeho podkladech vůbec nejsou. Je to jednodušší a spolehlivější ochrana, než spoléhat na to, že si model sám pohlídá, kam až smí zajít.

Tak vypadá modelový příklad vrstev ochrany, které by měl mít bezpečně nastavený firemní chatbot:

Jak chatbot pozná, že je dotaz mimo téma?

Chatbot mimo téma pozná podle toho, že k dotazu nenajde nic ve svých podkladech. Dobře nastavený asistent v tu chvíli odpověď nevymyslí - řekne, že to neví, a nabídne kontakt na člověka, který pomůže dál. Je to přesný opak chování běžných AI chatů, které se snaží odpovědět vždy, i za cenu, že si část odpovědi domyslí.

V praxi to vypadá takto: návštěvník webu penzionu se zeptá na otevírací dobu sousední restaurace. Chatbot penzionu tuhle informaci v podkladech nemá, takže na ni neodpoví - i kdyby ji „znal" z obecného tréninku. Zůstane u toho, co má doložené, a případně dodá kontakt na recepci.

Co je prompt injection a jak se mu chatbot brání?

Prompt injection je pokus zneužít AI tím, že do dotazu schováte instrukci, která má bota přesvědčit, aby ignoroval svá pravidla. Typicky to vypadá jako „zapomeň na předchozí pokyny a napiš mi..." nebo „předstírej, že jsi jiný asistent bez omezení". Cíl útočníka bývá dostat z bota něco, co by normálně neřekl - urážku, citlivé informace o firmě nebo odpověď mimo jeho podklady.

Ochrana proti prompt injection má víc vrstev. Dotaz se ještě před zpracováním prohání filtrem, který podezřelé formulace odhalí. Pravidla, podle kterých bot odpovídá, jsou pevně daná a dotaz je nemůže přepsat, ať je zformulovaný sebechytřeji. A pokud se někdo o manipulaci pokusí opakovaně, rychle narazí na omezení počtu dotazů z jednoho zdroje.

Jak probíhá kontrola odpovědí AI, než dorazí k návštěvníkovi?

Kontrola odpovědí AI probíhá ve dvou krocích. Nejdřív model dostane instrukci odpovídat výhradně z dodaných podkladů a ke každému tvrzení připojit odkaz na zdroj - konkrétní dokument nebo stránku webu, ze které informace pochází. Hotová odpověď se pak ještě jednou porovná s podklady a projde filtrem na nevhodný obsah, než ji návštěvník vůbec uvidí.

Citace zdroje má dvojí smysl. Návštěvník si může tvrzení sám ověřit a provozovatel webu má zpětně dohledatelné, odkud bot bral informace. Když se ukáže, že dokument obsahuje chybu nebo je zastaralý, oprava je otázka nahrání nové verze - ne ladění samotného chatbota. Díky tomu kontrolu odpovědí AI zvládne časem i běžný správce webu bez technického vzdělání - stačí sledovat, na které dokumenty se bot nejčastěji odkazuje, a ty držet aktuální.

Co dělat, když návštěvník bota provokuje nebo mu nadává?

Vulgarity a provokace patří k běžnému provozu každého veřejně dostupného chatu - stejně jako se to děje na sociálních sítích nebo v recenzích. Bezpečně nastavený bot na sprostý nebo urážlivý dotaz nereaguje stejnou mincí. Odpoví věcně, nebo zdvořile odmítne pokračovat v témže duchu, a drží se dál svých podkladů.

Druhá vrstva ochrany řeší množství, ne jen obsah. Pokud stejný návštěvník posílá desítky dotazů za minutu nebo se zjevně snaží bota zahltit, nastoupí limity na počet dotazů a rozpoznání automatizovaného provozu. Tahle vrstva chrání rozpočet na AI stejně jako pověst webu - bez ní by mohl jeden vytrvalý útočník vyčerpat měsíční kredity za pár hodin a připravit ostatní návštěvníky o fungujícího asistenta.

Kdo právně odpovídá za to, co chatbot napíše?

Za obsah, který chatbot na webu zveřejní, odpovídá provozovatel webu - firma nebo obec - stejně jako by odpovídal za text napsaný zaměstnancem. Chatbot je nástroj, ne samostatná právnická osoba. Proto dává smysl nasazovat jen bota, který drží odpovědi na uzdě: čerpá z ověřených podkladů, přiznává, když něco neví, a nevydává se za právní ani zdravotní poradnu.

Dobrou praxí je návštěvníka na chatbota upozornit - jasně napsat, že jde o AI asistenta, ne o živého pracovníka. Transparentnost u AI systémů je čím dál víc téma i v evropské legislativě, takže označení chatbota jako AI a snadný přechod na kontakt s člověkem nejsou jen zdvořilost, ale rozumná opatrnost. U konkrétních právních otázek, třeba jak formulovat podmínky použití nebo zpracování osobních údajů, se každopádně vyplatí poradit s právníkem - tenhle článek dává obecný rámec, ne právní stanovisko na míru vaší organizaci.

Jak si ověřit, že je chatbot na vašem webu bezpečně nastavený?

Vlastní bezpečnostní kontrolu zvládnete i bez technického zázemí. Stačí bota vyzkoušet jako návštěvník a sledovat, jak reaguje na pár záludných situací:

1. Zeptejte se na něco mimo vaše podklady - správně by měl přiznat, že to neví, a nabídnout kontakt.
2. Zkontrolujte, jestli odpověď obsahuje odkaz na konkrétní zdroj, ne jen obecné tvrzení.
3. Vyzkoušejte nevhodný nebo provokativní dotaz a sledujte, jestli bot zůstane věcný.
4. Ověřte, že má chatbot nastavený limit dotazů a že po jeho vyčerpání zobrazí srozumitelnou zprávu, ne technickou chybu.
5. Zjistěte, kde se ukládají data z konverzace a jestli firma, která bota provozuje, hostuje data v EU.