Привет, друзья, на связи Елизавета. У меня немного печальная новость.
Я давно хотела разобрать миф, будто анонимным и конфиденциальным опросам о пережитом насилии нельзя доверять. Я была уверена, что есть хорошие доказательства того, что результаты хотя бы наиболее методологически крепких исследований такого рода достаточно надежно отражают реальность. Я довольно долго готовила большой текст на эту тему, надеясь таким образом внести свой небольшой вклад в помощь жертвам насилия.
Но после тщательной проверки источников вывод оказался неприятнее и неопределеннее, чем я ожидала.
Я разобрала ряд классических работ, пару метаанализов, несколько крупных методологических и технических отчетов, а также разные способы построения опросов и проверки самоотчетов:
— сопоставление самоотчетов с медицинскими и административными данными;
— вопросы о конкретных действиях (behaviorally specific questions);
— двухэтапные правила классификации (Two-Step);
— латентно-классовый анализ;
— тест-ретестовая надежность;
— независимое кодирование описаний эпизодов;
— анализ смещения из-за неответов и самоотбора;
— анализ чувствительности к разным правилам классификации;
— сравнение прямых ответов с техникой подсчета пунктов.
Литература оказалась противоречивой. Некоторые проверки показывают, что хорошо построенные самоотчеты не являются произвольным шумом и действительно содержат информацию о пережитом опыте. Есть и ограниченные косвенные основания: в крупном эксперименте более защищенная техника подсчета пунктов не дала радикально иной оценки одной узкой категории насилия, а в других конфиденциальных опросах люди признавались и в собственной сексуальной агрессии.
Но все это не позволяет надежно откалибровать итоговый процент даже до приблизительного уровня: согласие между источниками нередко слабое, формулировки и порядок вопросов могут существенно менять оценки, а внешние сопоставления дают как обнадеживающие совпадения, так и крупные расхождения.
Грубо говоря, если по результатам опроса 30% людей сообщили, что пережили сексуализированное насилие, истинная доля переживших его может действительно составлять 30%, а может быть выше или ниже — и мы не можем надежно оценить, насколько именно.
Это не делает такие опросы бесполезными: они позволяют изучать структуру и обстоятельства сообщаемого насилия, связи этих сообщений с другими показателями и — при сопоставимой методике и с осторожными оговорками — различия между группами или изменения во времени. Их слабое место не в полном отсутствии информации, а в том, что долю положительных ответов нельзя перевести в процент людей, переживших насилие.
Поэтому честный вывод сейчас таков: у нас нет достаточных оснований считать, что проценты, полученные в анонимных и конфиденциальных опросах о сексуальном насилии, хотя бы приблизительно совпадают с истинной распространенностью. Это не просто недостаток одного конкретного опросника, а фундаментальная нерешенная проблема численной калибровки всего метода.
Существующие проверки обнаруживают отдельные виды ошибок, но не позволяют надежно оценить их совокупную величину и направление. Расстояние между полученной оценкой и реальностью нам неизвестно. Неясно и то, удастся ли в принципе когда-либо достаточно надежно откалибровать подобные опросы.
Максимум, что я могу обоснованно разобрать на основании современных данных:
— какие косвенные основания все же укрепляют их результаты;
— какие виды ошибок позволяют обнаружить разные методы;
— почему оценки могут как завышаться, так и занижаться;
— почему полицейская статистика измеряет другую величину и тоже не служит полным эталоном;
— и чего мы пока действительно не знаем.
Но это лишь поможет лучше разобраться в теме и научиться отличать плохой опрос от хорошего; оснований считать результаты даже хорошего опроса плюс-минус точной оценкой от этого все равно не появится.
Если вам интересно, я могу в комментариях попробовать объяснить все это или даже собраться с силами и написать большой пост. Но прямо сейчас у меня разочарованное настроение и желание отдохнуть от этой темы (тем более у нас была очередная ночь обстрелов города).
Единственный хороший момент, который я во всем этом вижу — даже такими сведениями мне хочется публично делиться, а не утаивать их из-за того, что они расходятся с моим личным мнением или идеологической позицией. Я считаю, что важно знать и признавать правду, приятна она или нет.
