Как сравнивают LLM: бенчмаркинг

Uploaded By: Myvideo

Published on

3 Oct 2024

145 views

0

0 votes

0

About Share Download Add to

3 октября в 12:00 доктор технических наук Владимир Крылов расскажет о бенчмарках для LLM. Рассмотрим современные методы оценивания способностей больших языковых моделей решать различные задачи. Вы узнаете: 🔸какие бенчмарки для определения лучших моделей сейчас наиболее типичны; 🔸как применяется шахматный рейтинг ELO для бенчмаркинга; 🔸что такое Leaderboard Arena; 🔸какие частные, но важные бенчмарки применяются для проблемно ориентированных моделей и мультимодальных LLM. Если вы хотите работать в ИТ и в Artezio, отправляйте своё резюме по ссылке Подписывайтесь на телеграм-канал AI4Dev:

Share with your friends

Link:

Embed:

<iframe width="640" height="360" src="//myvideo.cc/embed/ZTg5d0ROMWw1MVdINW44cTltTE5YV0tCcFVnM0lpU09oZFU0SHIweDZPMD0" frameborder="0" webkitallowfullscreen mozallowfullscreen allowfullscreen></iframe>

Video Size:

Custom size:

x

Autoplay video

Hide player controls

Hide resume playing

Add to Playlist:

Favorites

My Playlist

Watch Later

Церковь Орлов. Пастор Юрий Ильченко.

2 hours ago

02:07:35

Церковь Орлов. Пастор Юрий Ильченко.

12 47%

Нельзя сравнивать те безответственные государства, которые поддерживают незаконные действия России и те, кто помогают Украине з

7 hours ago

00:00:44

Нельзя сравнивать те безответственные государства, которые поддерживают незаконные действия России и те, кто помогают Украине з

1 62%

КАК МЕНЯЛСЯ GENSHN IMPACT ЗА 4 ГОДА | ЭВОЛЮЦИЯ ГЕНШИНА С 2019 ДО 2024

8 hours ago

00:10:41

КАК МЕНЯЛСЯ GENSHN IMPACT ЗА 4 ГОДА | ЭВОЛЮЦИЯ ГЕНШИНА С 2019 ДО 2024

219 59%

Обзор Двух Dendy Junior от Steepler

9 hours ago

00:51:27

Обзор Двух Dendy Junior от Steepler

129 21%

Разработчик создал процедурную анимацию животных для своей игры и решил сравнить её с правильной, которая была создана вручную

9 hours ago

00:00:32

Разработчик создал процедурную анимацию животных для своей игры и решил сравнить её с правильной, которая была создана вручную

33 30%

AutoreviewRu Зимние шины: шипы против фрикционок. Наш тест

9 hours ago

00:13:26

AutoreviewRu Зимние шины: шипы против фрикционок. Наш тест

2 33%

КАК МНЕ ИСПОРТИЛИ ЛИЦО ФИЛЛЕРОМ | БОЛЬШАЯ РАСПАКОВКА ОДЕЖДЫ И БИЖУТЕРИИ С WILDBERRIES

9 hours ago

01:09:12

КАК МНЕ ИСПОРТИЛИ ЛИЦО ФИЛЛЕРОМ | БОЛЬШАЯ РАСПАКОВКА ОДЕЖДЫ И БИЖУТЕРИИ С WILDBERRIES

447 11%

Sony A9 III ГЛОБАЛЬНЫЙ ЗАТВОР - обзор, тесты фото и видео возможностей и сравнение с Sony A7R V.

10 hours ago

01:06:30

Sony A9 III ГЛОБАЛЬНЫЙ ЗАТВОР - обзор, тесты фото и видео возможностей и сравнение с Sony A7R V.

1 78%

#509 Малыш и Карлсон - 20 лет спустя - Приквел. - Скрытая фея.

10 hours ago

00:02:32

#509 Малыш и Карлсон - 20 лет спустя - Приквел. - Скрытая фея.

50 62%

5. М.Г. Калинин Сирийские мистики VII-VIII веков. Встреча пятая ().mp4

11 hours ago

02:08:39

5. М.Г. Калинин Сирийские мистики VII-VIII веков. Встреча пятая ().mp4

342 21%

ГЛЮКОМЕТРЫ СРАВНИТЬ ТЕСТ ПОЛОСКИ НА ГЛЮКОМЕТР

12 hours ago

00:01:33

ГЛЮКОМЕТРЫ СРАВНИТЬ ТЕСТ ПОЛОСКИ НА ГЛЮКОМЕТР

1 68%

ОБИДНО! Казахстанский ПОЯС УХОДИТ в Россию Муратбек Касымбай ЖЕСТКО о БОЙЦЕ UFC, ОТВЕТ Тандовскому

13 hours ago

01:07:13

ОБИДНО! Казахстанский ПОЯС УХОДИТ в Россию Муратбек Касымбай ЖЕСТКО о БОЙЦЕ UFC, ОТВЕТ Тандовскому

1.1K 26%

ГУБКА ДЛЯ МЫТЬЯ ПОСУДЫ вместо СКОТЧ-БРАЙТА | А что, так можно

14 hours ago

00:06:45

ГУБКА ДЛЯ МЫТЬЯ ПОСУДЫ вместо СКОТЧ-БРАЙТА | А что, так можно

428 80%

Наносим базу и лак ИЗ ОДНОГО КРАСКОПУЛЬТА | Что будет

14 hours ago

00:19:01

Наносим базу и лак ИЗ ОДНОГО КРАСКОПУЛЬТА | Что будет

878 58%

Асхат Уразбаев (ScrumTrek): Измеряем эффективность айтишников

14 hours ago

01:03:39

Асхат Уразбаев (ScrumTrek): Измеряем эффективность айтишников

5 51%

AdMe Почему немногие знают об одном из величайших гениев

15 hours ago

00:07:48

AdMe Почему немногие знают об одном из величайших гениев

15 47%

Война Кольца УСТАРЕЛА...Дюна Война За Арракис-Заменит ЛЕГЕНДУ|Настольные Игры-Сравнение

16 hours ago

00:43:43

Война Кольца УСТАРЕЛА...Дюна Война За Арракис-Заменит ЛЕГЕНДУ|Настольные Игры-Сравнение

723 89%

Я ЕМУ КАК МАТЬ! Почему мужчине важно сепарироваться от мамы и как не вырастить маменького сынка

16 hours ago

00:34:06

Я ЕМУ КАК МАТЬ! Почему мужчине важно сепарироваться от мамы и как не вырастить маменького сынка

5.1K 74%

ТЕ ГУАНЬ ИНЬ ИЛИ ДА ХУН ПАО ЧТО ЛУЧШЕ РАССЛАБЛЯЕТ

16 hours ago

00:17:30

ТЕ ГУАНЬ ИНЬ ИЛИ ДА ХУН ПАО ЧТО ЛУЧШЕ РАССЛАБЛЯЕТ

466 92%

Какой крепеж оптимален для газобетона | Честное сравнение трех видов дюбелей #tech-krep #дюбель

16 hours ago

00:06:13

Какой крепеж оптимален для газобетона | Честное сравнение трех видов дюбелей #tech-krep #дюбель

163 77%

Рынок акций. Хит-парад #288 на

17 hours ago

00:04:57

Рынок акций. Хит-парад #288 на

411 48%

Ленинградка - Енисей | Основные моменты | 10 тур | Pari Суперлига 2024-2025

17 hours ago

00:10:15

Ленинградка - Енисей | Основные моменты | 10 тур | Pari Суперлига 2024-2025

1.4K 75%

В интернете сравнили скорость заработка основателя Amazon Джеффа Безоса и обычного работника его компании за 36 секунд Ка

17 hours ago

00:00:36

В интернете сравнили скорость заработка основателя Amazon Джеффа Безоса и обычного работника его компании за 36 секунд Ка

1 50%

Солнечная электростанция на 40кВт (начало)

18 hours ago

00:06:12

Солнечная электростанция на 40кВт (начало)

185 60%

0 Comments

Guest