Почему цифры на слайдах врут
Топ-зацепок к тому, что вам показывают
(1) Метрики часто подменяют стратегию (сурrogation)
Люди мысленно заменяют абстрактные стратегии измеримым показателем. Например, учитель учит сдавать тесты, а не понимать предмет
Компания Wells Fargo хотела построить долгосрочные отношения с клиентами и измеряла это кросс-продажами дополнительных счетов. Итог: 3,5 млн счетов, открытых без согласия клиентов. Разрушено ровно то, ради чего все затевалось
(2) Как только показатель становится целью, он перестает быть хорошей мерой (Закон Гудхарта)
Любая наблюдаемая статистическая закономерность склонна к разрушению, как только на нее оказывается давление с целью контроля
Те, кто ставят цель, часто имеют неполное представление о процессе. Внимание, направленное на абстрактные метрики, оставляет что-то важное в тени
KPI Тестировщиков в ИТ могут измерять по количеству найденных багов. Но в итоге, ребята могут создавать баги-пустышки или начать дробить большую задачу на мелкие, чтобы повысить такую метрику
(3) Улучшение метрики может означать ухудшение реальности
Представьте себе хирургов, которые заполняют отчеты о хирургических операциях. Чтобы повысить свои показатели, некоторые хирурги отказывают пациентам с худшими шансами на успешный исход
Это значит, что тяжелобольным становится все сложнее найти хирурга. Люди умирают, метрика улучшается
(4) Вы не можете понять, почему происходит Х, рассматривая только те случаи, когда Х происходит (ошибка выжившего)
Очень хороший пример, когда наши эмоции, в том числе, толкают в сторону неверных выводов –
Представьте себе случай массовой стрельбы, освещенный в СМИ. Часто в биографиях стрелков обнаруживают, что они играют в "жестокие" видео игры. Но вопрос не в том, играют ли они, а в том:
- играют ли они больше других?
- становятся ли люди жестокими, играя в жестокие видео-игры или люди играют в такие игры, потому что жестоки сами по себе?
- к чему приводят такие игры: к увеличению насилия или к безопасному выплеску?
(5) Спрашивайте, чего в данных нет
Вы исследовали людей, которые у вас что-то не купили, хотя были на вас подписаны? А как насчет людей, которые не купили, потому что даже о вас не знали?
Ушло 100 клиентов, вы опросили 20 ответивших и сделали выводы? А что с молчунами?
Бонус
Данные никогда не сырые, вы просто иногда впервые с ними сталкиваетесь. Данные осмысляются, фиксируются и собираются, в результате человеческих решений: что именно измерять, когда, где и каким методом
У цифры всегда есть автор со своими особенностями и интересами
🔗 Кружок кройки бытия