Guest
Разбор отчета METR “Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity“, где показано замедление разработчиков при использовании AI. Методология мне показалось хоть и интересной, но объем выборки аж в 16 инженеров казался мне маловатым для того, чтобы делать громкие заявления о замедлении разработки. Правда, такой размер выборки не помешал многим журналистом активно писать про это исследование. В итоге, я позвл в гости Артема Арюткина, СРО платформы для разработчиков в Городских сервисах Яндекса, вместе с которым мы обсудили все плюсы и минусы этого исследования. Вот примерный список тем, что мы успели обсудить за 40 минут 00:00 - Введение, анонс METR и бенчмарка 01:37 - Знакомство с гостем 03:29 - Спонсор исследования и возможная предвзятость 04:57 - Как устроен эксперимент 06:29 - Гипотезы о мотивах и дизайне исследования 09:07 - Оценка и самооценка задач участниками 10:28 - Набор участников и требования к ним 12:01 - Ограничения масштаба и методологии 16:11 - Цифры: 246 задачи от 1 до 8 часов по длительности, 16 инженеров в исследовании 17:10 - Пять факторов замедления работы 21:48 - Контекст, интеграция и коммуникации как узкое место 27:06 - Как работать с инструментом по уровням сложности 34:18 - Почему моделям сложно применять изменения в реальном коде 37:47 - Итоги бенчмарков и ограниченность генерализации
