Как сравнивают LLM: бенчмаркинг

Uploaded By: Myvideo

Published on

3 Oct 2024

24 views

0

0 votes

0

About Share Download Add to

3 октября в 12:00 доктор технических наук Владимир Крылов расскажет о бенчмарках для LLM. Рассмотрим современные методы оценивания способностей больших языковых моделей решать различные задачи. Вы узнаете: 🔸какие бенчмарки для определения лучших моделей сейчас наиболее типичны; 🔸как применяется шахматный рейтинг ELO для бенчмаркинга; 🔸что такое Leaderboard Arena; 🔸какие частные, но важные бенчмарки применяются для проблемно ориентированных моделей и мультимодальных LLM. Если вы хотите работать в ИТ и в Artezio, отправляйте своё резюме по ссылке Подписывайтесь на телеграм-канал AI4Dev:

Share with your friends

Link:

Embed:

<iframe width="640" height="360" src="//myvideo.cc/embed/ZTg5d0ROMWw1MVdINW44cTltTE5YV0tCcFVnM0lpU09oZFU0SHIweDZPMD0" frameborder="0" webkitallowfullscreen mozallowfullscreen allowfullscreen></iframe>

Video Size:

Custom size:

x

Autoplay video

Hide player controls

Hide resume playing

Add to Playlist:

Favorites

My Playlist

Watch Later

Оренбургский платок | Самые тонкие нити в мире!

just now

00:20:36

Оренбургский платок | Самые тонкие нити в мире!

1 58%

Почему сравнение убивает твою уникальность и красоту! #женскаясила

recently

00:00:34

Почему сравнение убивает твою уникальность и красоту! #женскаясила

1 65%

Нормальный, ты же сам знаешь! ОНО #MDART_инфо #mdart_измерения #MDART_shorts

54 minutes ago

00:01:24

Нормальный, ты же сам знаешь! ОНО #MDART_инфо #mdart_измерения #MDART_shorts

1 58%

ПРИНЦИПЫ ЗДОРОВЫХ ОТНОШЕНИЙ. Екатерина Величкина о принятии себя и детях | Нетелефонный разговор

1 hour ago

01:22:53

ПРИНЦИПЫ ЗДОРОВЫХ ОТНОШЕНИЙ. Екатерина Величкина о принятии себя и детях | Нетелефонный разговор

1 89%

Сравнение 15 Бывших Республик СССР. Где живут лучше всех в 2024 году

2 hours ago

00:14:44

Сравнение 15 Бывших Республик СССР. Где живут лучше всех в 2024 году

1 12%

Дорогая VS Дешевая еда! Дюшес, Максута

2 hours ago

00:19:31

Дорогая VS Дешевая еда! Дюшес, Максута

1 5%

Они не остановятся, нужно бежать. Белорус написал книгу в тюрьме, но ее уничтожили

2 hours ago

00:31:41

Они не остановятся, нужно бежать. Белорус написал книгу в тюрьме, но ее уничтожили

1 29%

Авто-Путешествие по Алтаю: Ночёвка в ЦАТ (Центр Активного Туризма)

2 hours ago

00:14:36

Авто-Путешествие по Алтаю: Ночёвка в ЦАТ (Центр Активного Туризма)

76 32%

50 СПОСОБОВ СВЕДЕНИЯ ТРЕКА в 2024 / Как СВОДИТЬ МУЗЫКУ / ФЛ СТУДИО 24 / ПЛАГИНЫ / ФИШКИ

2 hours ago

01:03:59

50 СПОСОБОВ СВЕДЕНИЯ ТРЕКА в 2024 / Как СВОДИТЬ МУЗЫКУ / ФЛ СТУДИО 24 / ПЛАГИНЫ / ФИШКИ

1 83%

Luckin Coffee лучшая сеть кофеен Китая | Сравниваем с кофейнями Москвы

2 hours ago

00:09:53

Luckin Coffee лучшая сеть кофеен Китая | Сравниваем с кофейнями Москвы

1 81%

Авто-Путешествие по Алтаю: Горно-Алтайский ботанический сад

3 hours ago

00:14:39

Авто-Путешествие по Алтаю: Горно-Алтайский ботанический сад

140 61%

ПОЗНАВШИЙ СЕБЯ | Подкаст НЕМЫСЛИМОЕ с АРТУРОМ СИТА

3 hours ago

00:44:58

ПОЗНАВШИЙ СЕБЯ | Подкаст НЕМЫСЛИМОЕ с АРТУРОМ СИТА

1 68%

GAC GSC или Geely Coolray: что же лучше

3 hours ago

00:19:04

GAC GSC или Geely Coolray: что же лучше

1 57%

Какой Сверх-ТТ Качать В 2024 Году Сравниваем и Оцениваем!

3 hours ago

04:42:04

Какой Сверх-ТТ Качать В 2024 Году Сравниваем и Оцениваем!

1 6%

Срочная Новость!

4 hours ago

00:00:08

Срочная Новость!

944 16%

Сравнение самых высоких зданий в мире

4 hours ago

00:13:44

Сравнение самых высоких зданий в мире

1 36%

Как сравнивать дроби с разными знаменателями

4 hours ago

00:00:57

Как сравнивать дроби с разными знаменателями

1 19%

Авто-Путешествие по Алтаю: Рафтинг по р. Катунь, Камышлинский водопад, Семинские пороги и ванночки

5 hours ago

00:40:30

Авто-Путешествие по Алтаю: Рафтинг по р. Катунь, Камышлинский водопад, Семинские пороги и ванночки

115 27%

Сравнение Xiaomi 14T Pro vs Xiaomi 13T Pro - НЕ БРАТЬ: какой и почему или какой ЛУЧШЕ ВЗЯТЬ ОБЗОР

5 hours ago

00:38:32

Сравнение Xiaomi 14T Pro vs Xiaomi 13T Pro - НЕ БРАТЬ: какой и почему или какой ЛУЧШЕ ВЗЯТЬ ОБЗОР

1 65%

ПРИНЦИПЫ ЗДОРОВЫХ ОТНОШЕНИЙ. Екатерина Величкина о принятии себя и воспитании детей | Нетелефонный разговор

2 hours ago

01:22:52

ПРИНЦИПЫ ЗДОРОВЫХ ОТНОШЕНИЙ. Екатерина Величкина о принятии себя и воспитании детей | Нетелефонный разговор

2 30%

ТОп Сравнения Как Видит Человек В Разных Состояниях

6 hours ago

00:01:10

ТОп Сравнения Как Видит Человек В Разных Состояниях

14 57%

Никогда себя не сравнивайте с кем-то....

6 hours ago

00:01:13

Никогда себя не сравнивайте с кем-то....

1 64%

Авто-Путешествие по Алтаю: Курорт Манжерок

6 hours ago

00:31:34

Авто-Путешествие по Алтаю: Курорт Манжерок

195 78%

Веселые мелодии (1930) TOM:10

6 hours ago

02:25:50

Веселые мелодии (1930) TOM:10

168 14%

0 Comments

Guest