Zasady

Ten rynek zostanie rozliczony na podstawie firmy będącej właścicielem modelu z najwyższym wynikiem Coding w serwisie LiveBench.ai, gdy tabela wyników zostanie sprawdzona 31 grudnia 2026 o 12:00 ET. Do rozliczenia tego rynku zostaną wykorzystane wyniki z kolumny „Coding” tabeli wyników pod adresem https://livebench.ai/#/?cats=Coding, po wybraniu najnowszej dostępnej wersji LiveBench i ustawieniu kategorii „Coding”. Modele zostaną uszeregowane według wskazanego wyniku; modele z wyższymi wynikami znajdą się przed modelami z niższymi wynikami. Jeśli co najmniej dwa modele mają dokładnie taki sam wynik wyświetlany w tabeli, wyżej zostanie sklasyfikowany model z niższym podanym „kosztem za pomyślnie wykonane zadanie”. Jeśli remis nadal się utrzyma, ostatecznym kryterium rozstrzygającym będzie kolejność alfabetyczna nazw firm podanych w tej grupie rynków (na przykład, jeśli dwa modele mają taki sam dokładny wynik i taki sam koszt za pomyślnie wykonane zadanie, „Google” znajdzie się przed „SpaceXAI”). Ten rynek zostanie rozstrzygnięty na podstawie firmy zajmującej pierwsze miejsce w tym rankingu. Źródłem rozstrzygnięcia tego rynku jest tabela wyników LiveBench. Jeśli to źródło rozstrzygnięcia będzie niedostępne w chwili sprawdzania, rynek pozostanie otwarty do czasu ponownego uruchomienia rankingu, a rozstrzygnięcie nastąpi na podstawie pierwszego sprawdzenia po jego przywróceniu. Jeśli źródło to stanie się trwale niedostępne, rynek zostanie rozstrzygnięty na korzyść „Inne”.

Tłumaczenie maszynowe. W razie sporu obowiązuje oryginał.