Метрики, которые врут: ошибка выжившего, p-hacking и другие ловушки данных
Метрика пошла вверх — и хочется сразу закрепить гипотезу и докинуть ресурсов. Но та же цифра нередко оказывается арифметически верной и при этом лживой: данные собрали, отфильтровали или свернули так, что честный показатель ведёт к неверному решению.Retention растёт? Возможно, вы просто не видите тех, кто ушёл после первого захода. Конверсия упала в целом, но выросла в каждом сегменте? Это не ошибка в расчётах. A/B-тест «дал значимость» на третий день? Скорее всего, вы сами себя обманули.Разбираем ошибку выжившего, парадокс Симпсона, p-hacking, подмену среднего, регрессию к среднему и визуальные искажения — на продуктовых примерах, и собираем чек-лист вопросов к любой метрике перед решением. Проверить свои метрики →