A/B тестирование: подготовка, проведение, оценка результатов

Эксперт команды предиктивной аналитики - Александр Смирнов - о том, как правильно провести А/Б тест и обработать результаты. Тестовые данные доступны по ссылке: 00:00 Цели и задачи A/B-тестирования 01:14 Кейс магазина плюшевых игрушек: из чего состоит гипотеза, определение метрики, генерация данных 05:50: Проверка гипотезы и альтернативная гипотеза 08:10 Статистический критерий 09:00 Уровень значимости для гипотезы 10:20 Критерий t-Стьюдента 15:30 Критерий: две выборки, дисперзии известны 16:09 Критерий: две выборки, дисперзии неизвестны 16:35 Критерий: нет нормальности, реальная ситуация 18:58 Как посчитать p-value 20:35 Связь нормального расределения и распределения Стьюдента 21:20 Критерий: определение основных величин 22:50 Практика: критерий для магазина 23:30 А/А-тесты 26:18 Магазин: АА-тест, если группы разбиты неверно 28:35 Магазин: анализ по когортам 30:32 Мобильная игра: гипотеза и описание пользователей 33:12 Мобильная игра: подготовка данных 33:03 Мобильная игра: подсчет метрик 38:00 Мобильная игра: подсчет метрик по дням теста 39:27 Мобильная игра: подсчет созревших метрик 41:00 Мобильная игра: эффект 42:45 Мобильная игра: длительность теста 45:50 Мобильная игра: подглядывание 47:45 Мобильная игра: AB/n-тесты 50:30 Заключение 53:24 Рекомендательная система Personalize 53:12 Полезный контент об А/B-тестировании Узнайте больше об автоматизированном A/B-тестировании в рекомендательной системе Personalize: