Model, który nie umie pisać. Sprawdziłem, czy rozumie po polsku.

Większość automatyzacji z AI nie potrzebuje tekstu. Potrzebuje decyzji. Czy ten mail to reklamacja? Do którego działu przekazać zgłoszenie? Czy ten komentarz ukryć? Dziś robi się to tak, że duży model pisze odpowiedź zdaniami, a kod wyławia z niej jedno słowo. To działa, tylko jest wolne, drogie, a model czasem odpowie nie na temat.

Jev od firmy TypeSafe AI ten krok pomija. Zadaję pytanie, podaję dozwolone odpowiedzi i przy każdej dostaję prawdopodobieństwo, czyli liczbę od 0 do 1: jak mocno model stawia na tę odpowiedź. 1 to „na pewno”, 0,5 to rzut monetą. Na zdanie „No świetnie, trzeci raz w tym tygodniu kurier zostawił paczkę pod złymi drzwiami. Brawo wy.” odpowiedział: ironia 0,98, zadowolenie klienta 0,03.

Jeszcze kilka lat temu komputer, który miał odróżnić pochwałę od skargi, trzeba było tego nauczyć: tysiące opinii oznaczonych ręcznie przez ludzi, potem trening modelu do tego jednego zadania. Żeby dało się porównać, czyj model rozumie język lepiej, powstały benchmarki: wspólne zestawy zadań z odpowiedziami od ludzi, na których każdy model zdaje ten sam test, i ranking wyników.

Polski benchmark tego typu nazywa się KLEJ. Przygotowali go w 2020 roku badacze z Allegro, dziewięć zadań. Razem z nim wypuścili HerBERT-a, polski model, który do każdego zadania uczy się osobno i w rankingu zajmuje drugie miejsce. Dzisiejsze modele podchodzą do tych samych zadań bez nauki, dostają samo pytanie. Dlatego KLEJ jest dobrą miarą: wiadomo, ile ma wyuczony specjalista, i widać, ile brakuje komuś z ulicy.

Wziąłem trzy zadania i z każdego wylosowałem 300 przykładów z części testowej, czyli tej, której modele nie dostają do nauki.

Opinie. Model czyta opinię o lekarzu albo hotelu i wybiera wydźwięk: pozytywny, negatywny, ambiwalentny albo neutralny. „Leczyłam się u niej parę lat i nic mi nie pomogła” to negatywny.

Szkodliwe wpisy. Model czyta wpis z Twittera i odpowiada tak albo nie: czy wpis kogoś atakuje, poniża albo zastrasza. Wulgarne narzekanie na korki szkodliwe nie jest, grzecznie sformułowana groźba jest.

Wynikanie zdań. Model dostaje dwa zdania, opisy zdjęć, i rozstrzyga, czy jedno wynika z drugiego, czy sobie przeczą, czy nie mają związku. Z „cztery ciemnoskóre osoby tańczą na scenie” wynika „cztery osoby tańczą”. „Dwoje dzieci wspina się po ściance” i „mężczyzna wspina się po skale” związku nie mają. To jedyne z trzech zadań, które wymaga logiki, nie tylko wyczucia słów.

Te same przykłady i te same pytania dostały obok Jeva trzy modele piszące: dwa tanie i szybkie (Claude Haiku 4.5 i Gemini 3.8 Flash) oraz jeden większy (Claude Sonnet 5). Wszystkie cztery szły przez tego samego pośrednika (Vercel AI Gateway), tą samą drogą sieciową, z tym samym stoperem. Pytania zapisałem, zanim zobaczyłem pierwszy wynik, żeby nie kusiło mnie poprawianie ich pod ulubieńca.

Liczby w tabeli to odsetek trafnych odpowiedzi: 0,90 znaczy 90 trafnych na 100. Przy szkodliwych wpisach użyłem miary o nazwie F1, która karze i za przeoczenie szkodliwego wpisu, i za fałszywy alarm. Zwykły odsetek byłby tu mylący, bo szkodliwych wpisów jest w zbiorze tylko 13% i model odpowiadający zawsze „nie” miałby 87%. Czas to typowa długość jednej odpowiedzi mierzona z Polski. Koszt to cena z cennika za wszystkie 900 decyzji.

Jev nie odpowiada „ten wpis jest szkodliwy”. Odpowiada „szkodliwy: 0,93”. Po co komu ta liczba?

Weźmy automat, który moderuje komentarze. Gdy model jest pewny, automat ukrywa komentarz sam. Gdy nie jest, komentarz trafia do moderatora. W kodzie to jedna linijka: jeśli pewność wynosi co najmniej 0,9, działaj, w przeciwnym razie zapytaj człowieka. Ta linijka ma sens pod jednym warunkiem: 0,9 musi znaczyć, że model ma rację w dziewięciu przypadkach na dziesięć. Jeśli mówi 0,9 i myli się co trzeci raz, automat ukrywa niewinne komentarze i nikt tego nie widzi.

Sprawdziłem to tak, jak sprawdza się synoptyka, który zapowiada deszcz na 90%: zbieram jego zapowiedzi i liczę, jak często padało. Modele piszące też potrafią podać swoją pewność, jeśli je o to poprosić, więc porównałem wszystkie cztery.

Na opiniach i szkodliwych wpisach wszystkie cztery wypadły podobnie dobrze: deklarowana pewność rozjeżdża się z trafnością średnio o 3 do 6 punktów procentowych. Różnica wychodzi na wynikaniu zdań, czyli tam, gdzie zadanie robi się trudne. U Jeva rozjazd zostaje na 4 punktach. U Gemini i Sonneta rośnie do 9, u Haiku do 32. Gdy Haiku deklaruje co najmniej 0,9, trafia w 66% przypadków. Jev przy tej samej deklaracji trafia w 98%. Na liczbie Haiku takiej linijki postawić się nie da, a co gorsza, nie widać tego, dopóki ktoś nie sprawdzi.

Wróćmy do moderatora. Dostaje do przejrzenia to, przy czym Jev się wahał. Czy to trudne przypadki, czy kaprys jednego modelu?

Trudne. Tam, gdzie Jev jest pewny, wszystkie cztery modele trafiają podobnie: 0,98 do 0,99 na szkodliwych wpisach, około 0,96 na opiniach. Tam, gdzie Jev się waha, wszystkie cztery tracą od 10 do 30 punktów procentowych.

Osobno sprawdziłem pułapki polszczyzny: ironię, przeczenia, zdrobnienia i język urzędowy, razem 45 zdań. To za mało na twarde liczby, ale jeden wzór widać. Jev i Haiku nie łapią ironii odwróconej, czyli pochwały ubranej w narzekanie. „Straszna sprawa z tą piekarnią, człowiek kupił jedną drożdżówkę z agrestem i teraz musi specjalnie wysiadać dwa przystanki wcześniej xD” Jev uznał za opinię negatywną, z pewnością 0,93. Haiku też, z pewnością 0,75. Gemini i Sonnet odczytały zachwyt. Na cztery takie zdania Jev i Haiku pomyliły się po dwa razy, Gemini i Sonnet ani razu.

To jest rysa na dwóch poprzednich sekcjach i dlatego ją pokazuję. Dobrze ustawiona pewność mówi, jak często model się myli. Nie mówi, przy którym zdaniu. Przy progu 0,9 ta drożdżówka przeszłaby bez człowieka. Nawet uczciwe 0,93 znaczy, że na 100 takich decyzji kilka jest błędnych, a nie wiadomo które.

Stabilność. Testy po angielsku podawały, że Jev zapytany kilka razy o to samo odpowiada dużo stabilniej niż modele piszące. Puściłem 100 przykładów po trzy razy. Jev zmienił zdanie przy 2, Haiku przy 4. Taka różnica mieści się w szumie.

Pierwszy wynik był do wyrzucenia i to był mój błąd. Na próbie 20 przykładów wszystkie cztery modele wypadły na wynikaniu zdań gorzej niż zgadywanie. Taki wynik u wszystkich naraz wskazuje wadę pytania, nie modeli. Pytałem, czy drugie zdanie wynika z pierwszego, a odpowiedzi w zbiorze dotyczą kierunku odwrotnego. Do tego założyłem, że oba zdania opisują to samo zdjęcie, a w zbiorze często opisują dwa różne i wtedy odpowiedź brzmi „bez związku”. Poprawiłem pytanie raz, obie wersje zapisałem (są w metodzie, na dole). Modele odpowiadały dobrze na źle zadane pytanie, a ja liczyłem im to jako błąd. W takim teście łatwiej zepsuć pytanie niż model.

KLEJ wisi w sieci od 2020 roku, więc każdy z tych modeli mógł go widzieć podczas nauki i pamiętać odpowiedzi. Żeby to sprawdzić, potrzebowałem tekstów, których nie ma nigdzie. Zamówiłem 120 wypowiedzi u piątego modelu, którego nie mierzyłem (GPT-6 Astra): 30 długich opinii, 45 krótkich zwykłych i 45 pułapek z poprzedniej sekcji. Odpowiedzi do krótkich sprawdziłem sam, do długich drugi model, zanim któryś z mierzonych je zobaczył.

Do decyzji z gotową listą odpowiedzi nie trzeba dużego modelu. Na opiniach model za 2 centy zremisował z modelem za 1,78 USD. Różnica wychodzi w czasie i w rachunku, nie w trafności.

Liczbę „na ile jesteś pewny” biorę od modelu zawsze. Ale zanim postawię na niej próg, sprawdzam ją na stu własnych przykładach z odpowiedziami, które znam. To godzina roboty i jedyny sposób, żeby wiedzieć, co znaczy 0,9 u konkretnego modelu na konkretnym zadaniu. Haiku na opiniach trzyma słowo, na wynikaniu zdań nie, i z zewnątrz nie widać, które z tych dwóch dostałem.

To, czego model nie jest pewny, idzie do człowieka. Większy model myli się w tych samych miejscach, więc kaskada do droższego modelu kupuje głównie spokój sumienia.

Gdy wynik wygląda źle, najpierw czytam własne pytanie. U mnie cztery modele naraz wyglądały na głupie przez jedno moje zdanie.

Pomiar z 20 września 2026, wszystkie cztery modele przez Vercel AI Gateway, jeden klucz, klient w Polsce, serwery w USA. Cały pomiar, z próbami, powtarzalnością i zdaniami kontrolnymi, kosztował 4,70 USD. Szczegóły dla kogoś, kto chce to powtórzyć, poniżej.

Próbka, modele, pytania, miary

Próbka: 300 wierszy z części testowej publicznych zbiorów KLEJ allegro/klej-polemo2-in (opinie), allegro/klej-cbd (szkodliwe wpisy) i allegro/klej-cdsc-e (wynikanie zdań), ziarno losowania 20260920. Szkodliwe wpisy losowane warstwowo, w proporcji zbioru (40 szkodliwych, 260 nie), żeby F1 dało się porównać z rankingiem KLEJ.

Modele: typesafe-ai/jev, anthropic/claude-haiku-4.5, google/gemini-3.8-flash, anthropic/claude-sonnet-5. Modele piszące dostają to samo kryterium i wymuszony schemat JSON z dwoma polami, odpowiedź i pewność od 0 do 1, przy temperature 0. Gemini z reasoning.effort ustawionym na none i tak zużywa ok. 170 tokenów rozumowania na wiersz. Jev dostaje tekst jako state i mapę pytań, każde z polami type, instructions i criteria (lista dozwolonych odpowiedzi), żądaniem POST na ścieżkę /typesafe/v1/systemone pośrednika. Jego pewność to prawdopodobieństwo wybranej odpowiedzi z rozkładu, dla tak/nie większe z p i 1 minus p, zaokrąglone przez API do 0,01. Pole confidence z odpowiedzi Jeva opisuje kształt rozkładu, nie szansę trafienia, i do kalibracji nie wchodzi. Pośrednik nie oddaje prawdopodobieństw tokenów modeli piszących (logprobs wraca jako null). Pośrednik nie nalicza dziś za Jeva nic, w tabeli jest cena z cennika: 0,042 USD za milion tokenów wejścia.

Czas: mediana na żądanie przy czterech żądaniach równolegle, w dwóch wariantach: pełne żądanie z Polski i czas z metadanych pośrednika („u dostawcy”). Przy ponowionym żądaniu liczy się udana próba.

Pytania po polsku, zapisane przed pierwszym wynikiem. Jedno zmienione raz, po próbie na 20 wierszach (Jev 0,60, pozostałe 0,35 do 0,40, najczęstsza klasa 0,73). Pierwotne brzmienie dla wynikania zdań: „Oba zdania opisują scenę ze zdjęcia. Przyjmij, że zdanie A jest prawdziwe. Co z tego wynika dla zdania B?”. Użyte w pomiarze: „Zdania to opisy zdjęć. Mogą opisywać to samo zdjęcie albo dwa różne. Przyjmij, że zdanie B jest prawdziwe. Co z tego wynika dla zdania A?”. Kierunek sprawdzony na 40 parach z etykietą „wynika” z części treningowej, ocenionych ręcznie: A wynika z B w 17, w obie strony w 20, B wynika z A w 2, w żadną w 1.

Miary: trafność i F1 klasy „szkodliwy”, 95% przedziały ufności metodą bootstrap (przy wyniku 100% dokładny przedział Cloppera-Pearsona). Błąd kalibracji ECE: 10 równych kubełków po pewności odpowiedzi. Żadnej nieparsowalnej odpowiedzi nie było. W 34 wierszach z 900 nie trafił żaden model: 12 par zdań z etykietą „bez związku”, 8 opinii z etykietą „ambiwalentna”, 9 wpisów. Kaskada Jev plus Gemini przy progu 0,9: opinie 0,900 do 0,927 przy 21% wierszy wysłanych dalej, szkodliwe wpisy F1 0,612 do 0,707 przy 51%, wynikanie zdań 0,880 do 0,873 przy 54%. Z Sonnetem zysk mniejszy, na wynikaniu zdań 0,807.

Powtarzalność: 100 wierszy (34 + 33 + 33), trzy przebiegi, ustawienia domyślne dostawcy, bez ustawionej temperatury. Jev nie jest deterministyczny: rozrzut pewności na wiersz średnio 0,018, największy 0,11. Zdania kontrolne: 120, napisane 20 września 2026 przez gpt-6-astra, etykiety zaproponował model piszący, wiersze 1 do 90 zweryfikował człowiek, 91 do 120 Claude Fable 5.1 (ta sama rodzina co Haiku i Sonnet, więc ta grupa może im sprzyjać), obie weryfikacje przed obejrzeniem odpowiedzi i bez zmiany etykiet. Pytania ogólniejsze niż w KLEJ-u („wypowiedź”, nie „opinia o lekarzu albo hotelu”), też zapisane przed wynikami. Pułapki: ironia 12, przeczenie 13, zdrobnienie 11, pismo urzędowe 9. Szkodliwość na zdaniach kontrolnych: 120 na 120 u wszystkich czterech, bo szkodliwe wypowiedzi pisane przez model zawierają jawne obelgi, więc ta część nic nie rozstrzyga.

Źródła zewnętrzne: ranking KLEJ (wyniki HerBERT large) · KLEJ: Comprehensive Benchmark for Polish Language Understanding, ACL 2020 · hasła „193x szybciej, 444x taniej” z materiałów TypeSafe AI.