Bezpečná AI vo vašej firme?

Čo sú lokálne modely

Najznámejšie modely AI bežia v cloude poskytovateľa - každý dopyt sa odosiela na jeho servery a tam sa spracúva. Lokálny model sa nasadzuje na vlastnej infraštruktúre - na počítači alebo firemnom serveri - a celé spracovanie prebieha na strane organizácie.

Neplatí sa tu predplatné za každého používateľa ani poplatky za počet dopytov a obsah rozhovorov - zmluvy, dokumenty, korešpondencia - neopúšťa firmu.

Má to význam všade tam, kde ide o obchodné tajomstvo alebo napríklad o zmluvné záväzky voči obchodným partnerom. Inštalácia môže bežať v sieti odpojenej od internetu.

Orientačné hardvérové požiadavky

Výkon závisí priamo od konfigurácie: priepustnosť pamäte a výkon grafického čipu rozhodujú o počte tokenov generovaných za sekundu a veľkosť pamäte o tom, aký veľký model sa dá načítať. Na slabšom stroji model tiež pobeží, ale za cenu dlhšieho čakania na odpoveď.

Príklad rozšírenia - vyhľadávač

Modely tohto typu štandardne nemajú prístup na internet. Ich znalosti pochádzajú výlučne z trénovacích dát, ktoré zahŕňajú materiály do určitého dátumu uzávierky - zvyčajne vyše roka pred vydaním modelu. Otázky na aktuálne udalosti, dnešné kurzy či nedávne zmeny v legislatíve vedú k neaktuálnym alebo vymysleným odpovediam.

V našej ukážke prepínač „Prístup k vyhľadávaču“ pridáva modelu vrstvu vyhľadávania: otázka ide najprv do vyhľadávača a model odpovedá na základe vrátených výsledkov a uvádza zdroje. Je to rozšírenie na strane Kreatio, nie funkcia samotného modelu - bez neho model pozná iba trénovacie dáta.

Príklad rozšírenia - režim reportu

Model tu pracuje ako agent: sám si zostaví dopyty pre vyhľadávač, z výsledkov vyberie zdroje, ktoré stoja za prečítanie, otvorí ich v skutočnom prehliadači a až z ich obsahu napíše report - s odkazmi na zdroje, ktoré sa dajú overiť.

Je to zjednodušená verzia toho, čo OpenAI nazýva deep research a Anthropic Research. V našej ukážke určuje poradie krokov kód, zdrojov je niekoľko a report vznikne do minúty. Princíp je rovnaký: hodiny hľadania premenené na minúty a odpoveď založená na tom, čo model skutočne prečítal, nie na tom, čo si zapamätal z predchádzajúceho tréningu.

Ten istý model, iný výsledok

Trénovanie modelov je doménou niekoľkých laboratórií na svete a náklady sa počítajú v stovkách miliónov dolárov. Hodnota modelu vo vašej firme však pochádza z niečoho iného: z nástrojov, dát a spôsobu vedenia úlohy, ktoré dostane okolo seba.

Claude Code je najlepší príklad. V okne chatu ten istý model iba odpovedá na otázky. Keď dostane nástroje, prístup k súborom a možnosť pracovať v slučke, sám píše kód a opravuje vlastné chyby. Model sa nezmenil. Zmenilo sa to, čo má okolo seba.

To všetko vieme navrhnúť, postaviť a prispôsobiť vašim potrebám: vyhľadávanie vo firemnej znalostnej báze - odpovede založené na vašich dokumentoch; volanie nástrojov - prístup k vašim systémom a dátam; agenti - vedenie viacstupňových úloh od začiatku do konca.

Všetko lokálne a bezpečne, aj úplne bez prístupu na internet.

Bilancia riešenia

Prejsť na test modelu