Bezpieczne AI w Twojej firmie?

Czym są modele lokalne

Najbardziej znane modele AI działają w chmurze dostawcy - każde zapytanie jest wysyłane na jego serwery i tam przetwarzane. Model lokalny wdraża się na własnej infrastrukturze - komputerze lub firmowym serwerze - a przetwarzanie w całości odbywa się po stronie organizacji.

Nie ma tu abonamentu za stanowisko ani opłat za liczbę zapytań, a treść rozmów - umowy, dokumenty, korespondencja - nie opuszcza firmy.

Ma to znaczenie wszędzie tam, gdzie w grę wchodzi tajemnica przedsiębiorstwa lub np. zobowiązania umowne wobec kontrahentów. Instalacja może pracować w sieci odciętej od internetu.

Przykładowe wymagania sprzętowe

Wydajność zależy wprost od konfiguracji: przepustowość pamięci i moc układu graficznego decydują o liczbie tokenów generowanych na sekundę, a ilość pamięci - o wielkości modelu, który da się załadować. Na słabszej maszynie model również zadziała, ale kosztem czasu odpowiedzi.

Przykład rozszerzenia - wyszukiwarka

Modele tego typu standardowo nie mają dostępu do internetu. Ich wiedza pochodzi wyłącznie z danych treningowych, obejmujących materiały do określonej daty odcięcia - zwykle kilkanaście miesięcy przed publikacją modelu. Pytania o bieżące wydarzenia, aktualne kursy czy niedawne zmiany prawne prowadzą do odpowiedzi nieaktualnych lub konfabulowanych.

W naszym przykładzie przełącznik „Dostęp do wyszukiwarki" dokłada modelowi warstwę wyszukiwania: pytanie trafia najpierw do wyszukiwarki, a model odpowiada na podstawie zwróconych wyników i podaje źródła. To rozszerzenie po stronie Kreatio, nie funkcja samego modelu - bez niego model zna wyłącznie dane treningowe.

Przykład rozszerzenia - tryb raportu

Model działa tu agentowo: sam układa zapytania do wyszukiwarki, wybiera z wyników źródła warte przeczytania, otwiera je prawdziwą przeglądarką i dopiero z ich treści pisze raport - z przypisami, które można sprawdzić.

To uproszczona wersja tego, co OpenAI nazywa deep research, a Anthropic Research. W naszym przykładzie kolejność kroków ustala kod, źródeł jest kilka, a raport powstaje w minutę. Zasada jest ta sama: godziny szukania zamienione w minuty, a odpowiedź oparta na tym, co model faktycznie przeczytał, nie na tym, co zapamiętał z wcześniejszego treningu.

Ten sam model, inny efekt

Trenowanie modeli to domena kilku laboratoriów na świecie i koszt liczony w setkach milionów dolarów. Ale wartość modelu w Twojej firmie bierze się z czegoś innego: z narzędzi, danych i sposobu prowadzenia zadania, które dostaje wokół siebie.

Claude Code to najlepszy przykład. W oknie czatu ten sam model wyłącznie odpowiada na pytania. Po dołożeniu narzędzi, dostępu do plików i pętli działania - samodzielnie pisze kod i poprawia własne błędy. Model się nie zmienił. Zmieniło się to, co ma wokół siebie.

To wszystko możemy zaprojektować, zbudować i dopasować do Twoich potrzeb: wyszukiwanie w firmowej bazie wiedzy - odpowiedzi oparte na Twoich dokumentach; wywoływanie narzędzi - sięganie do Twoich systemów i danych; agenci - prowadzenie wieloetapowych zadań od początku do końca.

Całość lokalnie i bezpiecznie, nawet całkowicie bez dostępu do internetu.

Bilans rozwiązania

Przejdź do testu modelu