Артём Григорьев Краудсорсинг: как приручить толпу

В задачах машинного обучения и анализа данных зачастую требуется собрать большое количество ручной разметки. При малом количестве исполнителей работа может занимать месяцы. Мы знаем, как это можно делать быстро и дёшево! В докладе, основанном на опыте создания и использования Толоки, краудсорсинговой платформы Яндекса, рассмотрим вопросы контроля качества, мотивации исполнителей, а также различные модели агрегации результатов разметки.