Guest
Диля Хакимова, прочитала этот доклад на конференции AHA!25. Диля Хакимова поделилась полным практическим гайдом аналитических расчётов доверительных интервалов, в том числе для доверительного интервала uplift for ratios, который в явном виде она нигде не встречала. Вы узнаете, почему «серые» (незначимые) метрики нельзя игнорировать и как доверительные интервалы добавляют надёжности в анализ A/B-тестов. А ещё получите практическое руководство к расчёту доверительных интервалов для 4 кейсов — per-user-метрики (value): CI для средних (классика A/B-тестов), per-user-метрики (value): CI для процентного изменения средних, ratio-метрики: CI для отношений, ratio-метрики: CI для процентного изменения отношений (NEW). Этот метод расчёта доверительных интервалов легко интегрируется в классический пайплайн анализа A/B-тестов, так как формулы основаны на классических статистиках (с небольшой доработкой), которые и так считаются при анализе. Такой инструментарий позволит сделать процессы анализа прозрачнее, повысить доверие к результатам тестов со стороны коллег из бизнеса и менеджмента. Больше классных материалов для аналитиков ищите в телеграм-канале Yandex for Analytics:
