Bezpečná AI ve vaší firmě?

Co jsou lokální modely

Nejznámější modely AI běží v cloudu poskytovatele - každý dotaz se odesílá na jeho servery a tam se zpracovává. Lokální model se nasazuje na vlastní infrastruktuře - na počítači nebo firemním serveru - a veškeré zpracování probíhá na straně organizace.

Neplatí se tu žádné předplatné za uživatele ani poplatky podle počtu dotazů a obsah konverzací - smlouvy, dokumenty, korespondence - neopouští firmu.

To má význam všude tam, kde jde o obchodní tajemství nebo třeba o smluvní závazky vůči obchodním partnerům. Instalace může běžet v síti odpojené od internetu.

Příklady hardwarových požadavků

Výkon závisí přímo na konfiguraci: propustnost paměti a výkon grafického čipu rozhodují o počtu tokenů generovaných za sekundu a velikost paměti o tom, jak velký model lze načíst. Na slabším stroji model také poběží, ale za cenu delší doby odpovědi.

Příklad rozšíření - vyhledávač

Modely tohoto typu standardně nemají přístup k internetu. Jejich znalosti pocházejí výhradně z trénovacích dat, která zahrnují materiály do určitého data uzávěrky - obvykle více než rok před vydáním modelu. Otázky na aktuální události, současné kurzy nebo nedávné změny v legislativě vedou k odpovědím, které jsou zastaralé nebo vymyšlené.

V našem příkladu přidává přepínač „Přístup k vyhledávači“ modelu vrstvu vyhledávání: otázka jde nejprve do vyhledávače a model odpovídá na základě vrácených výsledků a uvádí zdroje. Jde o rozšíření na straně Kreatio, ne o funkci samotného modelu - bez něj model zná pouze trénovací data.

Příklad rozšíření - režim reportu

Model tu pracuje agentně: sám sestavuje dotazy pro vyhledávač, vybírá z výsledků zdroje, které stojí za přečtení, otevírá je ve skutečném prohlížeči a teprve z jejich obsahu píše report - s odkazy na zdroje, které si můžete ověřit.

Je to zjednodušená verze toho, čemu OpenAI říká deep research a Anthropic Research. V našem příkladu určuje pořadí kroků kód, zdrojů je několik a report vznikne do minuty. Princip je stejný: hodiny hledání proměněné v minuty a odpověď založená na tom, co model skutečně přečetl, ne na tom, co si pamatuje z dřívějšího tréninku.

Stejný model, jiný výsledek

Trénování modelů je doménou několika laboratoří na světě a náklady se počítají ve stovkách milionů dolarů. Hodnota modelu ve vaší firmě ale pramení z něčeho jiného: z nástrojů, dat a způsobu vedení úlohy, které dostane k dispozici.

Claude Code je nejlepší příklad. V okně chatu ten samý model jen odpovídá na otázky. Po přidání nástrojů, přístupu k souborům a pracovní smyčky sám píše kód a opravuje vlastní chyby. Model se nezměnil. Změnilo se to, co má kolem sebe.

To vše můžeme navrhnout, postavit a přizpůsobit vašim potřebám: vyhledávání ve firemní znalostní bázi - odpovědi založené na vašich dokumentech; volání nástrojů - přístup do vašich systémů a k vašim datům; agenti - vedení vícekrokových úloh od začátku do konce.

Vše lokálně a bezpečně, i zcela bez přístupu k internetu.

Bilance řešení

Přejít k testu modelu