Фото: АР
Ученые рассказал о недостоверности части исследований в области психологии
Американский ученый нашел способ единообразно оценивать достоверность научных исследований и пришел к выводу, что до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы.
Работа Валена Джонсона посвящена сравнению двух способов оценить достоверность выводов в научном исследовании.
Профессор Техасского университета обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было.
В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет).
Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае, когда их модель верна.
Джонсон предложил специальный статистический тест, который во многих случаях позволяет сравнить обе оценки друг с другом.
Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p<0,05 (допустимая погрешность в 0,05%) соответствует лишь байесовской оценке на уровне около 5, а это считается достаточно маленьким значением.
По оценкам Джонсона подобные просчеты могут примерно в 17-25% случаев приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет.
Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.
Специалист по статистике предложил пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с p<0,005 почти наверняка выдержат дополнительные проверки. За рост точности, по словам ученого, придется платить увеличением количества измерений и удорожанием опытов, но приложенные к его статье расчеты говорят об окупаемости подобных расходов.