Мы наблюдаем невероятные гонки на ChatBot Arena в этом году. На графике показано, как менялся коэффициент Эло моделей от разны

Мы наблюдаем невероятные гонки на ChatBot Arena в этом году. На графике показано, как менялся коэффициент Эло моделей от разных компаний. Коэффициент Эло - это метод для оценки рейтинга индивидуальных игроков, он изначально был использован в Шахматах, и его же применяют на Чатбот Арене. Интересно, что из традиционных Биг-Техов в топах рейтинга есть только Google и Мета. Никакими Майкрософтами, Эплами и прочими нетфликсами тут не пахнет – хотя каждый из них вытается обучать свои модели. Хоть недавняя преза у Гугла и была скучновата , нельзя отрицать, что они довольно быстро выбились в топ. И сейчас Gemini 1.5 Pro занимает второе место после GPT-4! А это прям классный результат, учитывая как сильно Гугл отставал все это время. Еще в этом месяце появился довольно сильный игрок из Китая - со своей Yi-Large-preview (ее в open-source нет). Но об этой модели я напишу позже.