Bielik 3.1 w teście - wie o Polsce więcej niż Gemma 4 i sprawnie wywołuje narzędzia

We wtorek 10 listopada fundacja SpeakLeash i ACK Cyfronet AGH pokazały Bielika 11B v3.1. Nowa wersja obsługuje 56 języków zamiast 32, ale twórcy za najważniejszą zmianę uznają co innego: „Największa nowość w wersji 3.1 to kompetencje agentowe”. Bielik ma sam wywoływać narzędzia, zwracać odpowiedzi w zadanym formacie i rozumować krok po kroku. Według twórców w τ²-bench, teście symulującym obsługę klienta, wypada zależnie od scenariusza o 16 do 45 punktów procentowych lepiej niż poprzednik. Komunikat podaje jednak tylko tę różnicę - bez samych wyników i bez porównania z innymi modelami.

Bielik jest otwarty (licencja Apache 2.0), więc każdy może go pobrać i wypróbować na własnym komputerze. Wziąłem oficjalną wersję od twórców, skompresowaną do 6,7 GB i z ich własnym szablonem rozmowy. Uruchomiłem ją w Ollamie 0.40.15 na MacBooku Pro z M4 Max. Dla porównania wybrałem Gemmę 4 12B od Google'a, model podobnej wielkości (7,7 GB).

Oba modele rozwiązywały ten sam zestaw zadań, między innymi wywoływanie narzędzi, scenki sklepowe (rozmowy z klientem), wyciąganie danych z maila, pytania o polskie realia, korektę tekstu, tłumaczenie i zagadki. Ustawienia też były wspólne: kontekst 8192 tokeny, odpowiedź do 1500 tokenów (w trybie myślenia do 4000, bo do limitu wlicza się też myślenie) i temperatura 0, czyli praktycznie bez losowości. Jedyny wyjątek to scenki sklepowe, które oba modele rozwiązywały przy temperaturze 0,7. Powód opisuję niżej.

O Polsce wie dużo więcej

Obu modelom zadałem te same 12 pytań o polskie realia: geografię, urzędy, podatki, prawo pracy i lektury szkolne. Bielik odpowiedział dobrze na 11 z 12, Gemma na 7. Kryterium było dla obu takie samo: za błąd liczyłem złą odpowiedź na samo pytanie albo nieprawdziwą informację dopisaną od siebie. Nie sprawdzałem tylko jednego: przykładów towarów, które modele podawały przy stawkach VAT.

Różnicę najlepiej widać przy tych samych pytaniach. Według Bielika Krosno leży na Podkarpaciu, słynie ze szkła i płynie przez nie Wisłok. Wszystko się zgadza. Według Gemmy Krosno słynie z mebli, a płynie przez nie San. Przy lubuskim Bielik wymienił oba miasta, w których urzędują władze województwa, Gorzów Wielkopolski i Zieloną Górę, a Gemma tylko Gorzów. Pomyliła się też w podatkach. Obniżona stawka VAT wynosi według niej 12 procent, a w Polsce są dwie: 8 i 5 procent. Najdalej odjechała przy „Lalce”: Stanisław Wokulski nazywa się u niej „Stanisławówny Wędszurmowski”.

Bielik pomylił się tylko raz, i to nie w samej odpowiedzi, tylko w dopisku. Na podchwytliwe pytanie, w którym roku Maria Skłodowska-Curie dostała literackiego Nobla, słusznie odpowiedział, że nigdy. Dorzucił jednak od siebie, że Sienkiewicz dostał tę nagrodę w 1903 roku - a było to w 1905. Mimo trafnej odpowiedzi liczę to jako błąd.

Narzędzia wywołuje sprawnie, z zasadami gorzej

Pojedyncze wywołania narzędzi, a były trzy takie zadania, Bielik wykonał bez zarzutu. Oba modele dostały tę samą datę testu, 11 listopada. Zapytany o pogodę w Gdańsku na pojutrze, Bielik przeliczył to na 13 listopada i z tą datą wywołał funkcję prognozy. Gemma w tym samym zadaniu podała 12 listopada, czyli o dzień za wcześnie. Pozostałe dwa wywołania zrobiła poprawnie.

Scenki do kolejnej części wzorowałem na teście obsługi klienta, który opisali twórcy Bielika. Model ma w nim „trzymać się obowiązujących zasad”. Bielik grał asystenta sklepu z krótkim regulaminem. Zwrot pieniędzy mógł zlecić tylko przy zamówieniu za najwyżej 200 zł i nie później niż 14 dni po dostawie. Wszystko inne miał przekazać konsultantowi, a jeśli klient nie podał numeru zamówienia, miał o niego zapytać. Przygotowałem pięć takich scenek i każdą powtórzyłem pięć razy, co dało 25 rozmów. Temperatura wynosiła 0,7, a każda seria miała inne ziarno losowości, żeby wynik nie zależał od jednego przebiegu. I tu zaczęły się kłopoty.

Z wyłączonym myśleniem Bielik w każdej z pięciu serii zaliczył te same trzy scenki i oblał te same dwie - stąd 15 z 25 prób. Powtarzał się jednak wynik, a nie tekst: odpowiedzi w każdej serii brzmiały inaczej. Przy pękniętym czajniku poprawnie zlecił zwrot 189 zł, sprawę ekspresu za 1249 zł przekazał konsultantowi, a gdy klient podał numer spoza systemu, poprosił go o sprawdzenie numeru. Oblał scenkę z tosterem dostarczonym 22 dni wcześniej, bo zlecił zwrot mimo minionego terminu. Oblał też scenkę bez numeru zamówienia: zamiast zapytać o niego klienta, wymyślał własny (raz „BR/12345”, innym razem „BRK-78945”) i szukał go w systemie.

Twórcy Bielika zaznaczają, że tryb myślenia działa także przy wywoływaniu narzędzi, więc powtórzyłem scenki z włączonym myśleniem. Wyszło gorzej: 13 udanych prób na 25, a bez myślenia 15. Bielik przestał wprawdzie zmyślać numery zamówień, ale zaczął zlecać zwroty, nie sprawdzając ani zamówienia, ani regulaminu. Czajnik kosztuje 189 zł, a Bielik zlecał za niego zwrot 100, 150 albo 180 zł. Trzy razy zlecił zwrot za zamówienie 9999. Ten numer podał klient, a w systemie takiego zamówienia nie ma. Raz zlecił też zwrot 1249 zł za ekspres, choć regulamin na to nie pozwalał. Żadna odpowiedź nie doszła do limitu długości, więc tych błędów nie da się zrzucić na ucięte myślenie.

Gemma z wyłączonym myśleniem przeszła 17 z 25 prób. Osiem porażek ma dwie przyczyny. W scence z tosterem nie przeszła ani jednej z pięciu prób: za każdym razem zlecała zwrot po terminie, tak samo jak Bielik. W trzech innych próbach nie odpowiedziała wcale, bo wyczerpała limit długości odpowiedzi. Z włączonym myśleniem przeszła wszystkie 25.

Ollama oddawała wywołania narzędzi obu modeli w poprawnym formacie. Zwroty po terminie i w złej kwocie to więc decyzje samych modeli, a nie problem z odczytaniem ich odpowiedzi.

Forma, języki i zagadki

Bielik ma kłopot z limitami długości. Poproszony o trzy punkty po najwyżej 12 słów, napisał punkty po 10, 28 i 67 słów, a streszczenie, które miało mieć trzy zdania, miało pięć. Gemma zmieściła się w limicie: jej punkty miały 9, 9 i 11 słów. Z maila z zamówieniem Bielik zrobił za to czysty JSON i zapisał NIP samymi cyframi, tak jak prosiłem, a Gemma zostawiła w nim kreski. Sumę zamówienia oba modele policzyły źle: wyszło im ponad 56 tys. zł zamiast 53 670 zł. Wbudowanego w Ollamę wymuszania struktury odpowiedzi z Bielikiem nie dało się użyć, bo Ollama zwracała błąd.

Po polsku Bielik pisze sprawnie: odpowiedź na reklamację była uprzejma, konkretna i zmieściła się w limicie 80 słów. W tłumaczeniach wypadł słabiej. Oba modele dostały to samo zdanie do przełożenia na osiem języków. Gemma przetłumaczyła je bez błędów na pięć, Bielik na trzy. Część tych ocen jest mniej pewna: tłumaczenia na arabski, japoński i chiński, czyli języki, które Bielik obsługuje dopiero od wersji 3.1, sprawdzał inny model AI, a nie tłumacz. W wersji hiszpańskiej Bielik zostawił polskie słowo „kurier”, a w arabskiej zamiast „paczki” użył słowa, które znaczy „smutna”. Gemmie nie wyszedł japoński: jej zdanie przeczy samo sobie.

Zagadki logiczne i rachunkowe lepiej poszły Gemmie: rozwiązała wszystkie siedem bez włączania myślenia. Bielik pomylił się w jednej, bo źle policzył, w jaki dzień tygodnia wypada Wigilia. Komplet zdobył dopiero z włączonym myśleniem. W korekcie tekstu był remis: każdy model poprawił 11 z 12 błędów.

Mniejsza kompresja, nie mniej błędów

Zostało jeszcze sprawdzić, czy winna nie jest kompresja. Te same zadania dostały więc dwa większe warianty Bielika: skompresowany lżej (11,9 GB) i z pełnymi wagami, bez kompresji (22,3 GB).

W scenkach sklepowych większe warianty też nie wypadły lepiej. Każdy wariant rozwiązywał je tu raz, przy temperaturze 0. Najmniejszy zaliczył trzy z pięciu w obu trybach, wariant 11,9 GB dwie bez myślenia i trzy z myśleniem, a pełne wagi po dwie w obu trybach.

Bez myślenia oba większe warianty powtórzyły błędy najmniejszego: zleciły zwrot, choć termin już minął, i zmyśliły numer zamówienia. Zrobiły też błąd, którego najmniejszy uniknął: w systemie zleciły zwrot za czajnik na 0 zł, a klientowi napisały, że zamówienie było na 189 zł i zwrot już zlecono.

W pytaniach o Polskę każdy z trzech wariantów odpowiedział dobrze na 11 z 12. Większe pomyliły się przy innym pytaniu niż najmniejszy, ale nie częściej. W tym jednym przebiegu większy rozmiar nie dał więc lepszych wyników.

A duży model z chmury?

Na koniec te same scenki sklepowe dostał Claude Fable 5.2, w listopadzie 2026 najmocniejszy model Anthropic dostępny dla wszystkich, płatnie przez API. Warunki różniły się od testu modeli lokalnych w dwóch punktach. Po pierwsze, w Fable nie da się wyłączyć myślenia: model sam decyduje, kiedy i jak długo się zastanawia. Po drugie, nie da się w nim ustawić temperatury, więc wszystkie powtórki szły na ustawieniach domyślnych.

Zaliczył wszystkie 25 prób. Za każdym razem zaczynał od sprawdzenia zamówienia, za czajnik zlecał zwrot dokładnie 189 zł, a toster zgłoszony po terminie i ekspres za 1249 zł przekazywał konsultantowi razem z opisem sprawy. Rozmowa trwała średnio niecałe 7 sekund, a wszystkie razem kosztowały 80 centów.

Pojedynek jest nierówny: Bielik zajmuje 6,7 GB i działa na laptopie, bez internetu i bez opłat za każde pytanie, a Fable pracuje w centrum danych. Tyle że komplet, 25 z 25, zdobyła też Gemma z włączonym myśleniem - model zbliżonej wielkości (7,7 GB). Bielik w tym samym trybie zaliczył 13 prób. Taki wynik jest więc w zasięgu modeli tej klasy, a kłopotów Bielika z zasadami nie da się zrzucić na rozmiar. Dwa komplety pokazują przy okazji, że pięć scenek to za łatwy test, żeby rozróżnić najlepsze modele.

Wyniki w skrócie

Claude Fable 5.2 dostał tylko scenki sklepowe i zaliczył 25 z 25.

Co z tego wynika

W moim teście na własnym sprzęcie Bielik 3.1 odpowiadał po polsku na pytania o polskie realia lepiej niż Gemma 4 12B, więc do takich zadań wybrałbym właśnie jego. Potrafi też wywoływać narzędzia, ale gdy w grę wchodzą cudze pieniądze, jego decyzje powinien zatwierdzać człowiek.

Wynik traktuję jako wstępny, z trzech powodów. Po pierwsze, poza scenkami sklepowymi każde zadanie puściłem tylko raz. Po drugie, twórcy Bielika sprawdzali model na innych zadaniach, więc moich wyników nie da się wprost zestawić z ich deklaracjami. Po trzecie, testowałem wyłącznie w Ollamie. Na serwerze vLLM, do którego twórcy przygotowali własne parsery wywołań narzędzi, model może działać inaczej.

Bielikowi bardzo kibicuję. To otwarty model rozwijany w Polsce przez fundację SpeakLeash, partnerów i społeczność, a każdy może go pobrać i sprawdzić sam, tak jak ja. Bez wywoływania narzędzi nie da się zbudować agenta, więc dobrze, że twórcy właśnie na to postawili - i już to widać: pojedyncze wywołania działają bez zarzutu. Gorzej z trzymaniem się zasad z instrukcji. To następny krok i trzymam kciuki, żeby kolejna wersja go zrobiła.

Liczby w tekście dotyczą wariantu 6,7 GB, chyba że przy konkretnej piszę inaczej. Kompresja (kwantyzacja) - zapis wag modelu z mniejszą dokładnością, żeby model zajmował mniej pamięci; w wariancie 6,7 GB to niecałe 5 bitów na wagę zamiast 16. Wywołanie narzędzia (function calling) - zamiast od razu odpowiedzieć, model prosi program o wykonanie funkcji, np. pobranie danych zamówienia, i odpowiedź pisze dopiero na podstawie wyniku. Myślenie (reasoning) - tryb, w którym model przed odpowiedzią rozpisuje rozumowanie krok po kroku. Temperatura - ustawienie losowości odpowiedzi; przy 0 model odpowiada za każdym razem prawie tak samo.