Kolega se zeptá, jak se schvaluje servisní výjezd. Odpověď někde máte: ve složce postupů, ve starší prezentaci a možná v e-mailu. AI během chvíle napíše přesvědčivý odstavec. Jenže podle které verze postupu?
U firemních dokumentů je užitečná odpověď až ta, kterou lze ověřit v dostupném a platném zdroji. Systém musí také respektovat, co smí konkrétní člověk vidět. Plynulý text bez těchto podmínek může hledání spíš zkomplikovat.
Nejdříve vyberte jednu oblast, třeba interní pracovní návody. Nespojujte při prvním pokusu všechny sdílené disky, osobní složky a zákaznické podklady. Obecnější možnosti popisuje článek AI automatizace pro firmy; tady se zaměříme na odpovídání nad dokumenty.
Co znamená RAG v běžném provozu
RAG je zkratka pro postup, kdy systém před sestavením odpovědi vyhledá relevantní podklady a předá je modelu jako kontext. Nemusí kvůli tomu přeškolovat model na všech vašich souborech. Přehled této architektury uvádí například dokumentace Microsoftu.
Pro uživatele je podstatné něco jednoduššího: položí otázku, dostane odpověď a může otevřít konkrétní místo, ze kterého vychází. Když zdroj chybí nebo si podklady odporují, potřebuje to poznat dřív, než podle odpovědi začne jednat.
Rozdělte řešení na dvě části. První připravuje a aktualizuje dokumenty pro hledání. Druhá řeší dotaz přihlášeného člověka. Chyba v první části, například opomenutá nová verze návodu, se může projevit až ve zdánlivě správné odpovědi.
Modelový dotaz: kdo schvaluje servisní výjezd?
Použijme smyšlený interní dokument „Servisní výjezdy, verze 3“. V jeho oddílu 2 je napsáno: „Výjezd potvrzuje vedoucí servisu. Technik jej plánuje po potvrzení.“ Pro tento příklad předpokládejme, že dokument má stav platný a zaměstnanec k němu smí přistupovat.
Dobrá odpověď může znít:
Výjezd potvrzuje vedoucí servisu. Technik jej plánuje až po potvrzení. Zdroj: Servisní výjezdy, verze 3, oddíl 2.
V rozhraní má následovat funkční odkaz na dokument nebo jeho příslušnou část. Samotná citace ale nezaručuje správnost: při kontrole otevřete zdroj a porovnejte tvrzení s konkrétní pasáží. Model může odkazovat na správný soubor a přesto z něj vyvodit něco, co v něm není.
Teď změňte otázku: „Do kolika minut musí vedoucí odpovědět?“ V ukázkovém dokumentu žádná lhůta není. Očekávaná odpověď přizná, že dostupný postup lhůtu neuvádí, a odkáže na odpovědnou roli. Číselnou hodnotu si systém nesmí doplnit jen proto, aby odpověď působila úplně.
Oprávnění musí omezit podklady už při vyhledávání
Pokyn modelu „neukazuj důvěrné dokumenty“ není přístupová kontrola. Aplikace musí znát identitu člověka a vynutit, které podklady se vůbec mohou dostat do kontextu odpovědi. Dokumentace řízení přístupu k dokumentům v Azure AI Search popisuje tento princip; konkrétní podpora závisí na zdroji dat a zvoleném řešení.
Stejnou hranici ověřte i u náhledu zdroje a historie konverzací. Nestačí skrýt odkaz, pokud systém už prozradil obsah v odpovědi. Po odebrání oprávnění musí být jasné, kdy se změna promítne do vyhledávání, uložených výsledků a dalších kopií dat.
Pro pilot si připravte dva testovací účty s odlišnými právy. Jednomu povolte běžné postupy, druhému i vybraný testovací dokument. Oba dostanou stejný dotaz. Výsledek porovnejte s jejich skutečnými právy, nikoli s tím, jak přesvědčivě odpověď zní.
Praktický příklad: Stejný dotaz, jiné podklady
modelový příklad
| Dokument | Technik | Vedoucí |
|---|---|---|
| Postup výjezdu v3 | Zahrnout | Zahrnout |
| Interní rozpočty | Vyřadit před hledáním | Zahrnout |
| Podklady pro odpověď | Pouze postup v3 | Postup v3 + rozpočty |
Modelová přístupová matice; oprávnění omezuje zdroje před předáním modelu.
Začněte pěti zkouškami, ne pěti sty soubory
Připravte malou sadu dokumentů a u každé otázky předem napište očekávaný výsledek. Následující scénáře jsou návrhem testu, nikoli naměřeným výsledkem konkrétní aplikace.
| Zkouška | Co připravit | Co má systém udělat |
|---|---|---|
| Odpověď existuje | Jednoznačný platný postup | Odpovědět a ukázat přesnou oporu |
| Informace chybí | Otázka na neuvedenou lhůtu | Přiznat chybějící údaj |
| Dokument je nepovolený | Stejný dotaz pod účtem bez přístupu | Nezpřístupnit chráněný obsah |
| Postup se změnil | Starší a aktuální verze | Použít určenou platnou verzi, případně přiznat rozpor |
| Dokument obsahuje cizí pokyn | Testovací text žádající ignorovat pravidla | Zachovat pravidla aplikace a oprávnění |
Poslední řádek řeší situaci, kdy zdrojový dokument obsahuje text tvářící se jako pokyn pro AI. Dokument je podklad, nikoli oprávnění ke změně pravidel nebo k odesílání dat. Oddělení nedůvěryhodného obsahu a instrukcí shrnuje OWASP v doporučeních k prompt injection. Jeden úspěšný test sám o sobě nedokládá bezpečnost celého řešení.
Kdo udržuje odpovědi správné i za měsíc
Každá oblast znalostní báze potřebuje vlastníka obsahu. Ten rozhoduje, který postup platí, kdy se reviduje a co se má stáhnout. Technický správce zase hlídá aktualizaci indexu, dostupnost a chyby. Nejsou to nutně stejní lidé.
Při pilotu sledujte samostatně podloženost odpovědí, chybné odpovědi, správná odmítnutí a případy, kdy systém něco nenašel, přestože to v povolených podkladech bylo. Pouhý počet položených otázek o užitečnosti mnoho neříká.
Před připojením reálných dat ověřte u zvoleného dodavatele podmínky ukládání, zpracování, přístupů a mazání. Rozhodnutí mezi cloudem a lokální AI samo nenahrazuje správu dokumentů a oprávnění.
Pro první AI automatizaci stačí přesně ohraničený pilot: jedna oblast, určení uživatelé, připravené testy a člověk, který vyhodnotí odpovědi. Rozšiřujte teprve po zjištění, že systém spolehlivě zvládá i otázky, na které odpovědět nemá.
Nejčastější otázky
Musíme AI natrénovat na všech dokumentech?
Ne nutně. RAG vyhledává relevantní podklady při dotazu a předává je modelu. Příprava dokumentů, aktualizace a oprávnění jsou stále potřeba; nejde o automatické vyřešení kvality dat.
Znamená odkaz na zdroj, že je odpověď pravdivá?
Ne. Je nutné ověřit, že zdroj skutečně podporuje tvrzení a že jde o správnou verzi. Citace zjednodušuje kontrolu, ale nenahrazuje ji.
Může mít každý zaměstnanec jiné odpovědi?
Ano, pokud má přístup k jiným dokumentům. Rozdíl musí vycházet z vynucených oprávnění a dostupných podkladů, nikoli z prosby napsané do promptu.