Как предсказывать долгосрочный эффект A/B теста раньше: прокси-метрики и ловушка регрессии
В продуктовых экспериментах нередко возникает следующая ситуация, когад бизнесу важна долгосрочная или малочувствительная метрика, но оценить эффект на такие метрики в рамках короткого A/B-теста сложно. Как корректно находить прокси-метрики, почему наивная регрессия может обмануть и как отделить настоящую связь экспериментальных эффектов от статистического шума? Читать далее