Более половины психологических экспериментов оказались фальшивками

Кто из нас хоть раз не постил у себя на страничке в соцсетях ссылки на «полезные» психологические статьи? Так вот, оказывается, минимум половина психологических исследований — фальшивка. «Чердак» разобрался, как так получилось, и выяснил, можно ли в принципе теперь верить исследованиям по психологии.

Новость о том, что результаты более половины психологических исследований невозможно воспроизвести, шокировала многих. Масштабная проверка психологов и их работ началась неспроста: в 2011 году в психологии произошла настолько громкая история, что сотни ученых стали сомневаться в чистоплотности коллег.

Великий фальсификатор

Нидерландский психолог Дидерик Стапель без преувеличения был звездой социальной психологии и гордостью родной науки, ничем особо не блиставшей чуть ли не со времен физика Лоренца. В 40 лет ученый стал профессором университета Тилбурна, получил несколько престижных научных премий, публиковался в Science и вообще считался крупным специалистом в своей области. Харизматичный молодой профессор часто давал интервью журналистам. Поводов хватало: своими экспериментами нидерландскому психологу удавалось подтвердить самые «ходовые» гипотезы о поведении человека.

Например, в 2010 году Стапель выяснил, что власть заставляет людей предъявлять к другим более строгие моральные требования, чем к себе. В 2011-м — что люди более склонны к проявлению классовых и национальных стереотипов и дискриминации, когда вокруг них валяется мусор и разбиты стекла. Стапель почти доказал, что постоянное присутствие мяса в рационе со временем делает людей эгоистичными... Но эта статья так и не успела попасть в печать: в августе 2011-го трое аспирантов Стапеля обнаружили в данных, взятых из статей руководителя, расхождения, прямо указывавшие, что работы сфальсифицированы. Они доложили об «открытии» в деканат — университет собрал комиссию для расследования. Позже такие комиссии были созданы еще в двух университетах — Гронингена и Амстердама, где ученый работал прежде. И научная карьера Дидерика Стапеля пошла крахом.

Подлоги стали вскрываться один за другим. Выяснилось, что с 2004 года Стапель вообще не проводил никаких экспериментов — он попросту выдумывал их, а затем давал фальшивые данные для анализа студентам, аспирантам и будущим соавторам. Последние, как выяснило расследование, ничего не подозревали. В психологических исследованиях из соображений этики не принято делиться «сырыми» данными, так что коллег Стапеля не смущало отсутствие анкет, опросных листов или записей наблюдения.

Когда Стапель понял, что разоблачен, он поступил так, как обычно поступают серийные убийцы в триллерах: стал сам указывать на «места преступления». Итог шокировал всех. Из 49 статей, опубликованных Стапелем в качестве главного соавтора, 24 оказались основаны на выдуманных данных. Сколько было фальшивых статей, где имя нидерландского психолога числилось во второй строке, лишь потому что он «любезно» предоставил данные коллегам, выяснить не удалось: во многих случаях исходная информация об исследованиях была удалена.

В сентябре 2011-го Стапеля уволили из университета Тилбурна. Диплом PhD (Philosophy Doctor — приблизительный аналог российской степени кандидата наук) в университет Амстердама он вернул сам. Дидерик Стапель также принес публичные извинения своим коллегам, признав, что «потерпел провал как ученый и выставил в дурном свете всю социальную психологию». Его раскаяние могло бы вызвать человеческое сочувствие, но коллег Стапеля в тот момент волновали уже более глобальные вопросы.

Кризис системы

Сами гипотезы Стапеля из-за отсутствия экспериментов не стали заведомо ложными — они лишь вернулись в статус непроверенных, для которых только предстоит поставить эксперименты. Но теперь стало очевидно, что отличить настоящее исследование от поддельного не так-то просто. Профессора, работавшие на одном факультете со Стапелем, задним числом вспоминают: им и раньше казалось, что его результаты «слишком хороши, чтобы быть правдой». Но мало кто решится спорить с ученым такого уровня. Как выяснилось при проверке, аспиранты, которые обрабатывали данные и должны были заметить расхождения практически сразу, разбирались в методах статистического анализа на уровне: «это получилось с помощью какой-то кнопки в Exсel». Возник вопрос, сколько еще таких Стапелей сидит в профессорских креслах? В рядах социальных психологов началось очистительное движение.

Вес — больная тема для женщин. Поэтому изрядная доля сомнительных гипотез посвящена именно тому, как заботы о лишних килограммах влияют на наше поведение. 

Профессор психологии из Виргинского университета Брайан Ноузек (Brian Nosek), основатель Open Science Framework, который в то время был еще не организацией, а всего лишь «облачным» сервисом, позволявшим ученым хранить свои проекты в сети и делиться ими с коллегами, собрал по всему свету команду волонтеров и дал старт масштабному проекту по воспроизведению психологических экспериментов (Reproducibility Project: Psychology). Именно его результаты три года спустя попадут в топ всех новостных лент. Пока интернет-добровольцы только разрабатывали методику воспроизведения, руководство университетов тоже не сидело сложа руки и начало чистку рядов. Что происходило в это время в «храмах науки», наглядно демонстрирует работа социального психолога Ури Симонсона (Uri Simonsohn) из Пенсильванского университета, за свои заслуги получившего прозвище Data Detective (расследователь данных).

Сомнительная стройность

Симонсон, в отличие от многих своих коллег, хорошо разбирался в методах математической статистики. Когда случился скандал со Стапелем, он стал активно помогать родному университету проверять исследования на предмет нестыковок. Слава о Симонсоне распространилась в научных кругах, и в том же 2011 году он получил письмо от коллег из Роттердамского университета Эразма в Нидерландах с просьбой проверить одну статью профессора Дирка Сместерса (Dirk Smeesters).

Как и его соотечественник Стапель, психолог Сместерс работал в рамках концепции так называемого «социального прайминга» (от англ to prime — предшествовать), полагающей, что незначительные детали окружения могут менять наши мысли и поведение на бессознательном уровне. В статье, присланной Симонсону, например, утверждалось, что синий цвет подталкивает людей к тому, чтобы соглашаться с общественными требованиями и мнениями, а красный — к тому, чтобы им противоречить. Как и в случае со Стапелем, результаты экспериментов Сместерса идеально подтверждали его гипотезы. Изучив цифры, Ури Симонсон пришел к выводу, что данные экспериментов как минимум были подправлены, чтобы получить более впечатляющий положительный эффект.

Гипотезу Сместерса о цветах тут же применили для объяснения всего, вплоть до итогов футбольных матчей. 

Не желая ходить по головам, «расследователь», помимо ответа своему первому корреспонденту, написал письмо лично Сместерсу. В ответ он получил заверение, что статья будет отозвана. Однако коллеги Сместерса, подтвердив свои подозрения, не стали удовлетворяться отзывом одной статьи и сообщили о подтасовке результатов в администрацию университета.

Сместерсу пришлось объяснить суть использованной им методики, после чего университет начал собственную проверку. В итоге к 2014 году из научных журналов было отозвано семь статей, где Сместерс числился соавтором. Среди них исследование, утверждающее, что напоминание о деньгах вызывает у людей ощущение угрозы; новости, связанные со смертью, влияют на выбор тех или иных брендов, а рекламные картинки с полными и худыми моделями по-разному влияют на потребительское поведение людей в зависимости от индекса массы их тела. В июне 2012-го Сместерс был уволен, но, в отличие от Стапеля, никакого раскаяния не проявил. Больше того, он заявил, что как человек не чувствует себя виноватым и уверен, что многие его коллеги поступают точно так же, просто не попадаются, ведь вся система научных исследований соблазняет ученого на то, чтобы подправить данные, если они не укладываются в его гипотезы.

Эти слова вызвали бурю возмущения. Однако истории, подтверждавшие, что Сместерс не так уж неправ, повторялись. Еще не утих шум вокруг Сместерса, как Ури Симонсон взялся за проверку другого исследователя — Лоуренса Санны (Lawrence Sanna) из Мичиганского университета. И снова та же история: слишком «чистые» положительные результаты, слишком красивое подтверждение гипотез, нестыковки в цифрах, и все это опять в социальном прайминге. Санна, к примеру, доказывал, что люди ведут себя более альтруистично, находясь на едущем вверх эскалаторе. Эта и еще две его статьи были отозваны из научных журналов.

Реформа снизу

В сентябре 2012-го под впечатлением от происходящего психолог Даниэль Канеман (Daniel Kahneman), получивший в 2002 году Нобелевскую премию по экономике за «исследования формирования суждений и принятия решений» в сфере финансов, написал открытое письмо исследователям социального прайминга. В нем нобелиат предлагал ученым ради сохранения репутации своей науки изменить принцип проведения исследований. Например, создать «цепочку» лабораторий, каждая из которых воспроизводила бы эксперименты соседа.

Вокруг обращения разгорелась дискуссия. С одной стороны, многие поддержали Канемана, а психолог-когнитивист из Калифорнийского университета в Сан-Диего Хэл Прашер (Hal Pashler) даже заявил, что его исследовательская группа уже пыталась повторить несколько экспериментов коллег в рамках концепции социального прайминга и не получила нужных результатов.

Но звучали и мнения в духе «а почему только мы?» Исследователи, получившие письмо, напоминали, что на социальный прайминг обратили внимание из-за конкретных недобросовестных ученых, а менять вообще-то надо систему в целом. Так, Норберт Шварц (Norbert Schwarz) из того же Мичиганского университета заявил: «Я буду участвовать в такой цепочке, если вся психологическая наука решит, что должно быть так, но не в том случае, если это будет направлено на одну область исследований».

Увы, но гипотеза о том, что для переубеждения гомофобов достаточно разговора с представителем ЛГБТ, тоже оказалась пшиком. 

Пока, однако, о глобальных изменениях в организации психологических исследований ничего не слышно. Наука как социальный институт довольно консервативна. Тем не менее появились инструменты независимой проверки результатов. Ури Симонсон опубликовал свою методику в открытом доступе, сформулировав шесть простых рекомендаций по обработке данных для самих ученых (чтобы никто больше не оказался в положении обманутого соавтора) и четыре — по оценке статей (для рецензентов научных журналов). Сам Симонсон с 2013 года сотрудничает с основанным в то же время Center for Open Science, который успел запустить еще несколько проектов по проверке воспроизводимости экспериментов. Например, в области онкологии — Reproducibility Project: Cancer Biology.

Свой вклад внесли лингвисты из Корнельского университета Дэвид Марковиц и Джеффри Хэнкок (David Markowitz, Jeffrey Hancock). Они предложили методику оценки вероятности того, что статьи сфальсифицированы, по особенностям письма автора. Свой алгоритм лингвисты разрабатывали на статьях Дидерика Стапеля. Они обнаружили четкие закономерности. Например, в поддельных статьях было больше научных терминов, но меньше прилагательных в описаниях экспериментов, ведь у автора не было настоящих воспоминаний об их проведении. К тому же в фэйках в полтора раза чаще встречались слова-усилители — «сильно», «чрезвычайно», «заметно».

Сработало

Самый же главный эффект этой «саги о воспроизводимости» в том, что изменилось само отношение к проверке учеными работ друг друга. Научные журналы стали гораздо благосклоннее относится к статьям, где авторы отчитываются о повторении экспериментов коллег. Раньше подобную работу почти невозможно было опубликовать: редакторы куда больше жаловали уникальные эксперименты.

В мае—июне 2015, за три месяца до появления отчета Reproducibility Project, в социальной психологии снова произошел скандал. В декабре 2014-го в журнале Science была опубликована статья Майкла ЛаКура (Michael LaCour) из Калифорнийского университета в Лос-Анджелесе о том, какие методы эффективней работают при убеждении людей в необходимости легализации однополых браков. Вывод исследователя был таков: наибольший эффект оказывают личные беседы, которые ведут сами геи и лесбиянки. В этом случае якобы ранее сомневавшиеся не только принимают необходимость легализации гей-браков, но и начинают сами агитировать близких. [Млин! И почему меня ни тематика статьи, ни страна ее написания не удивили? :-)) - прим. Nikkuro ]

В мае группа ученых под руководством Дэвида Брукмана (David Broockman) из Стэнфорда решила проверить результаты этого исследования. И подобных фантастических эффектов не получила. Дальнейшее разбирательство выявило, что компания, которая по документам проводила для ЛаКура опрос, на самом деле ни с кем не разговаривала. На вопрос, кто же собирал информацию, ЛаКур ответить не смог, а первичные данные оказались «уничтожены». [Так вот, оказывается, где Госдеп идею о "секретных" доказательствах-то слямзил! - прим. Nikkuro] 

Тут нужно отдать должно соавтору ЛаКура Дональду Грину (Donald Green), который был ни при чем, но, узнав о происходящем, сам отозвал статью из Science.

Проводить опросы — долго, дорого и хлопотно. К тому же люди могут ответить не то, что ожидает ученый. С выдуманными опросами такого не случается.

Четыре года назад, до грома, грянувшего над головой социальных психологов, ЛаКура никто не разоблачил бы. Ученые из другого университета вряд ли стали бы проверять результаты исследования, редакция Science не отреагировала бы так молниеносно, сняв статью за 24 часа. Да и в СМИ эта история вряд ли попала бы. Но кажется, времена действительно изменились, что не может не радовать.

Источник