← Wszystkie wpisy

Rankingi modeli AI, cz. 1. LMArena: co mówią głosy użytkowników, a czego nie

21 listopada 2026 · Grzegorz

Kiedy czytasz gdzieś, że nowy model „objął prowadzenie”, zwykle chodzi o ranking LMArena (dawniej Chatbot Arena, od stycznia 2026 roku Arena, arena.ai). To jedno z najczęściej cytowanych zestawień modeli językowych i działa inaczej niż benchmarki. Nie ma w nim zadań z poprawnymi odpowiedziami. Są za to głosy ludzi, którzy wybierają, która z dwóch odpowiedzi bardziej im się podoba.

Oceniają tu prawdziwi użytkownicy, na własnych pytaniach, a nie autorzy testu.

Pojęcia w tym tekście

  • Porównanie parami to metoda, w której użytkownik widzi odpowiedzi dwóch anonimowych modeli na to samo pytanie i wybiera lepszą.
  • Ranking typu Elo to sposób przeliczania wygranych i przegranych na punkty, znany z szachów. Arena używa statystycznego modelu Bradleya-Terry’ego.
  • Przedział ufności to zakres, w którym z dużym prawdopodobieństwem mieści się prawdziwy wynik.
  • Przytakiwanie (sykofancja) to skłonność modelu do mówienia tego, co użytkownik chce usłyszeć, zamiast tego, co jest trafne.

Jak powstaje wynik

Jak powstaje wynik w rankingu LMArena: użytkownik wpisuje własne pytanie, odpowiadają dwa anonimowe modele, użytkownik wybiera lepszą odpowiedź albo remis, głosy przeliczane są na punkty modelem Bradleya-Terry’ego, ranking ma przedziały ufnościPowiększ
Jak powstaje wynik w rankingu LMArena

Użytkownik wpisuje pytanie i dostaje dwie odpowiedzi od anonimowych modeli. Wybiera lepszą albo remis. Dopiero po głosowaniu widzi, które modele odpowiadały. Z dużej liczby takich głosów powstaje ranking. Przy każdym wyniku Arena podaje przedział ufności. Różnica mniejsza niż ten przedział może być przypadkowa.

Wyniki 12 pierwszych miejsc rankingu tekstowego Areny bez kontroli stylu z marginesem błędu; miejsca od 5. do 9. dzieli najwyżej 6 punktów, mniej niż ich marginesy. Odczyt 21.11.2026Powiększ
Miejsca 5–9 dzieli najwyżej 6 punktów, mniej niż ich margines błędu

Szerokość marginesu zależy od liczby głosów. Model z 7. miejsca zebrał ok. 6 tys. głosów i ma margines ±8 punktów, a model z 9. miejsca, z ponad 88 tys. głosów, tylko ±3.

Jeśli przedziały ufności dwóch modeli się nakładają, ranking nie rozstrzyga, który jest lepszy.

Co wpływa na głosy

Głos mierzy to, która odpowiedź bardziej się podoba, a nie to, która jest poprawna. Przy pytaniu o fakt, którego głosujący nie zna, trudno ocenić prawdziwość. Łatwo za to ocenić styl, długość, formatowanie i ton. Arena sama to potwierdza: osobno liczy wpływ długości i formatowania odpowiedzi (nagłówków, pogrubień, list), a najsilniejszym czynnikiem okazała się długość.

Anthropic i Google DeepMind opisały w 2023 roku, że modele trenowane na ludzkich ocenach skłaniają się do przytakiwania, a OpenAI przyznało w kwietniu 2025 roku, że aktualizacja GPT-4o stała się przesadnie przytakująca, bo firma za bardzo oparła się na natychmiastowych ocenach użytkowników. Ranking oparty na ocenach użytkowników jest podatny na ten sam efekt.

Głos mierzy to, która odpowiedź bardziej się podoba, a nie to, która jest poprawna.

Zarzuty i odpowiedź

W 2025 roku zespół badaczy opublikował pracę „The Leaderboard Illusion” z kilkoma zarzutami wobec rankingu. Najważniejsze dotyczyły tego, że duzi producenci mogą prywatnie testować wiele wariantów modelu i publikować wynik tylko najlepszego, że ich modele trafiają do porównań częściej, a wiele modeli, zwłaszcza otwartych, częściej znika z zestawienia.

LMArena odpowiedziała, że zasady testów przed premierą są publiczne od marca 2024 roku, a efekt wielokrotnych prób jest według jej analizy niewielki i maleje wraz z liczbą głosów. Zakwestionowała też część danych z pracy. Spór nie jest rozstrzygnięty. Niezależnie od jego wyniku pozycja w rankingu zależy też od zasad: kto ile wariantów testuje i które modele trafiają do porównań.

Jak czytam ranking Areny

Na samo miejsce w tabeli nie patrzę. Sprawdzam cztery rzeczy:

  1. Margines przy wyniku. Przy każdym wyniku Arena podaje margines, np. ±7 punktów. Jeśli dwa modele dzieli mniej, traktuję je jako remis.
  2. Liczbę głosów. Nowy model ma ich zwykle mało, więc jego pozycja jest mniej pewna i w kolejnych tygodniach może się jeszcze przesunąć.
  3. Zestawienie najbliższe mojemu zadaniu. Arena prowadzi osobne rankingi, m.in. dla agentów, tworzenia stron (WebDev), pracy z dokumentami, wyszukiwania i obrazu. Ogólny ranking tekstowy mówi niewiele o tym, jak model zbuduje stronę.
  4. Wynik z kontrolą stylu i bez niej. Jeśli model mocno spada po odjęciu wpływu długości i formatowania, część jego przewagi to forma, a nie treść.

Do czego się przydaje

Co mówi ranking, a czego nie. Mówi: które modele ludzie oceniają wysoko w ogólnych rozmowach i które nowe modele warto sprawdzić. Nie mówi: która odpowiedź była poprawna, jak model poradzi sobie z twoim zadaniem, jak pisze po polskuPowiększ
Co mówi ranking, a czego nie

Ranking traktuję jako pierwsze sito. Pokazuje, które modele ludzie oceniają wysoko w ogólnych rozmowach, i pomaga zauważyć nowy model wart sprawdzenia. Nie mówi natomiast, który model lepiej przeanalizuje moje umowy, napisze kod w moim projekcie albo poradzi sobie z polszczyzną. Do tego potrzebny jest test na własnych zadaniach. Do czego producenci przeznaczają poszczególne modele, zestawiłem w porównywarce Hallnego. O innych rankingach, czyli zbiorczych indeksach, rankingach popularności i testach ekspertów, piszę w części 2.

Ranking to pierwsze sito, a nie rozstrzygnięcie.

Źródła

Stan na 21 listopada 2026 roku.