В делах мира есть «шумные» проблемы, к которым привлечено внимание, о которых пишут, которые обсуждают, в том числе ищут решения. Это, например, проблема глобального изменения климата, проблемы «вынужденных переселенцев», ситуация с развитием «искуственного интеллекта», проблемы неравенства, да много их таких на самом деле.
А есть проблемы, которые как-то находятся в тени, хотя, кажется, имеют не меньшее влияние на будущее человека «как мы его знаем». Одна из таких проблем — глубокий системный кризис в научных исследованиях, и, если брать шире, вообще в «научном подходе».

Про это сейчас стали чаще говорить, но пока так, «сквозь зубы», и, к сожалению, об этом не стремятся говорить широко, чтобы не делать такой восхитительный подарок «антинаучникам», всяким плоскоземельщикам и прочим.

Как вообще сейчас построена структура научного исследования в целом?
Ученый выдвигает некую гипотезу, и начинает искать ее подтверждения, или опровержения. Проводит эксперименты. По результатам экспериментов пишется публикация, направляемая в так называемый «рецензируемый журнал». В журнале работу отправляют на «рецензию», peer review, обычно анонимную независимую проверку другим коллективом исследователей из той же области, чтобы убедиться в доброкачественности методики и исключить фальсификацию. В случае сложных исследований между оригинальным исследованием и официальной публикацией в таком «рецензируемом издании» (именно оно считается официальной достоверной и проверенной публикацией «с точки зрения науки») часто проходит несколько лет. Наука сейчас сложная, эксперименты дорогие и, часто, длительные. Зачастую некоторые исследования бывает крайне затратно перепроверить (поэтому. кстати, во многих случаях ограничиваются просто общей оценкой добросовестности, а вот именно полноценной перепроверкой сегодня занимаются в единичных случаях).
До того же работа доступна в виде «препринта» (наиболее известная библиотека препринтов находится на arxiv.org), но, строго говоря, результаты такого препринта не являются формально научной публикацией, хотя на практике ими активно пользуются все, кто не хочет отстать на 3-5 лет от действительного положения дел в науке.

Итак, у нас есть во-первых достигающий часто уже нескольких лет разрыв между официальной публикацией результатов исследования, того, что считается официально признанными результатами, и текущим состоянием дел в науке. И разрыв этот продолжает расти.

Во-вторых, есть «критика слева», демонстрирующая, что даже добросовестные «рецензируемые издания» плохо защищены от злонамеренных попыток протащить в них умышленно «ненаучные» статьи. А с появлением AI, навострившегося писать правдоподобные, грамматически правильные, и при этом полностью вымышленные «статьи», ситуация будет только ухудшаться. Есть несколько примеров подобных проколов, когда в рецензируемые издания «ради лулзов» протаскивали всякую чушь, выглядящую «научно» и обманывающую не слишком добросовестных, существующих в условиях плотных бюджетов и нехватки времени, рецензентов.

С увеличением сложности, сроков и стоимости проведения проверочных исследований эта проблема будет нарастать.

Уже есть тревожные свидетельства, что проблема с низкокачественными исследованиями, которые, будучи опубликованными и прошедшими рецензирование, считались «научно достоверными», и которые цитировались и использовались в дальнейших работах как доказанное цитируемое основание, и лишь много лет спустя, в результате тех или иных исследований, выяснялось низкое качество материала или неверность тех или иных выводов. Например относительно недавно стали все громче подвергаться критике знаменитые социопсихологические эксперименты 60-70-х, в частности Эксперимент Милгрэма (1963) и Стэнфордский тюремный эксперимент (Эксперимент Зимбардо) (1971), указывалось как на низкое качество проведения и «первичных данных», так и произвольность выводов, спорность методологии. А ведь эти эксперименты считаются одними из краеугольных и основополагающих экспериментов в области современной социальной психологии, и на основании их результатов написаны сотни последующих работ, на их результаты ссылающиеся как на достоверные и доброкачественные исследования.

Следующая проблема, с которой также не очено понятно что делать, это критическая зависимость науки от грантовой системы, и, как результат, от крупного бизнеса, и научных фондов, которые, часто, тоже фактически «крупный бизнес».

Современная наука — крайне дорогостоящее предприятие. И если в области фундаментальной «высокой» науки сложно подозревать интерес бизнеса, то многие практические исследования плотно завязаны на те или иные «интересы бизнеса». Где-то встречалось утверждение, что до 90% всех научных исследований о влиянии сахара на биологию человека финансируется компанией Pepsico. Я бы не хотел просто на основании этого обвинять исследователей в фальсификации результатов под нужный заказчику, но, имея в свое время отношение к области IT и «независимых аналитических отчетов» могу утверждать, что работает это обычно так:
«Мы сейчас даем вам деньги, а вы исследуете вот эту тему, и было бы здорово, чтобы вы получили вот такие результаты. Там будет много разных результатов, но сосредоточьтесь, пожалуйста, в публикации вот на этих. Нет, мы не предлагаем вам фальсифицировать, упаси боже, все должно быть абсолютно честно. Просто вот эту тему в исследовании не затрагивайте, хорошо? Остальные — пожалуйста, особенно вот ту, о которой мы говорим выше. Но вот эти вот — не стоит. Как-нибудь в другой раз» Фальсификация ли это? Очевидно что нет. Результаты, что были фактически опубликованы — достоверны. Все ли это результаты, которые были возможны? Ну, иногда не все.

Мы хорошо знаем, что курение вызывает рак и разные прочие заболевания. Что алкоголь приводит к заболеваниям печени и много чего еще. Но что алкоголь (и, я полагаю, и курение) в это же самое время, существенно снижает риски сердечно-сосудистых заболеваний, вызываемых стрессом, это по-своему тоже факт, но если он и упоминается в исследованиях, посвященных вреду, то крайне вскользь.

В особенности стоит очень критично относиться к подобным исследованиям на, так сказать, «социально значимые темы», в особенности когда слишком очевиден «социальный заказ» на определенный результат. На фоне работы активистов легализации марихуаны, которые очень настойчиво и плотно публикуют сейчас исследования, утверждающие не просто о безвредности, но и очевидной пользе употребления марихуаны, совершенно потерялось исследование, указывающее на риски развития биполярных расстройств психики у употребляющих марихуану. Примерно то же самое сейчас обстоит с курением, но «в обратную сторону», в едва ли не разы более мощном объеме, поскольку есть очевидный «социальный заказ» на уничтожение табакокурения в обществе, то для этого «годятся любые методы».

Отсюда следует еще одна интересная особенность в тематике исследований. Есть темы, которые не исследуются, потому что на них невозможно получить грант. Не то чтобы это «запретная наука». Просто на такие исследования и публикации не выделит денег грантовый комитет, когда вы придете в него со своей заявкой. Ну, допустим, первое что приходит в голову — никто не даст денег на фундаментальное исследование в области гомеопатии. Ну просто стоит только утечь факту того, что некоторый фонд «финансирует антинаучные тематики» — начнется такой скандал и шельмование, что зачем это такому фонду нужно?
Поэтому все знают, что гомеопатия — чушь собачья, и антинаучная хрень, но вот почему она «чушь собачья» — никто толком не знает, потому что исследования не проводились и не будут проводиться в обозримом будущем. И так со многим, на самом деле.
(Я подозреваю, что все еще крайне слабо исследованная тема эффекта плацебо в медицине именно потому так слабо исследована, что она смыкается для sapienti с тематикой гомеопатии, а потому ну его, от греха)

Есть тема, на которые не дадут деньги ни в каком случае, а значит — эти темы не исследуются. Это может быть что-то, считающееся антинаучными заблуждениями, как выше. Есть масса «этически неоднозначных» тем, которые принято не трогать. И если вы подумали о какой-нибудь жути типа смертельных «экспериментов на людях»*, то — нет, есть масса тем, которые не стоит вскрывать

_{(* что, кстати, не мешает результаты этих экспериментов иметь и использовать в науке, раз уж они есть. Практически все, что мы сегодня знаем о воздействии холода на человека было получено в результате заказа Люфтваффе исследований в начале 40-х в Германии, когда те теряли сбитых над Северным морем и Атлантикой летчиков, и им было важно получить данные о способности человека выживать и времени этого выживания в условиях холода в воде. Ну и вы понимаете как именно эти «научные данные» были в результате получены. Очень тщательное и добросовестное исследование, говорят)}

Нет, есть масса тем, исследование которых и трактовка результатов которых просто идет вразрез с современными общепринятыми этическими нормами и общественными взглядами. Например исследования детской и подростковой сексуальности. Или расового разнообразия и свойств, присущим разным расам и полам (а всякой спортивной медицине приходится добывать такие данные едва ли не нелегально), просто потому что современное общество построено вокруг общепринятого представления о расовом и половом равенстве, и никто не захочет давать в руки всяких ультра-мракобесов «научное доказательство неполноценности рас». Или все еще достаточно спорной теме, является ли сексуальная ориентация генетически определяемой или «благоприобретенной» в ходе жизни.

Никакой здравомыслящий ученый не полезет в «этически рискованную тематику», чтобы не стать жертвой «cancel culture» и не смыть в унитаз свою научную карьеру, а возможно и жизнь, с подачи какого-нибудь «неравнодушного общественного активиста» с большим количеством подписчиков в твиттере и инстаграме.

Пока писалась этат статья:
Гарвардскую исследовательницу обвинили во лжи за подделку исследования о честности

Исследовательницу из Гарвардского университета Франческу Джино, которая изучала честность в поведении людей, обвинили в обмане. Вероятно, она сфабриковала результаты своих исследований.

Женщина опубликовала статью, в которой утверждалось, что люди честнее заполняют налоговые документы, если попросить их подтвердить точность ответов в верхней части листа, а не в нижней.

Эту работу не раз цитировали другие ученые, однако недавно другая группа исследователей снова проанализировала данные и пришла к выводу, что они были недостоверны.

Обвинения вызвали большой резонанс в академическом сообществе. Гарвардский университет отправил Франческо Джино в «административный отпуск» без указания причин.

Я написал и закинул в черновики этот текст еще в прошлом году, все никак не доходили руки дописать и опубликовать. Тем временем попадались и доугие интересные данные. Например исследование, которое считало число «позитивных» результатов «британские ученые доказали» и «негативных» («опровергли» или «не удалость подтвердить гипотезу»). научная добросовестнось требует, чтобы если в результате эксперимента ожидаемый результат не был получен, или исследуемая гипотеза не подтвердилась — так об этом и писать. Для науки одинаково важны как «положительные», так и «отрицательные» результаты. Это один из признаков научной добросовестности. Однако результаты анализа публикаций показало, что это не так. Зачастую «положительных» результатов исследований опубликовано сильно больше отрицательных. Так, перекос в, например, психологии, достигает 70% «положительных», а меньше всего этот аномальный «перекос», например в астрофизике и астрономии.

Исследователи называют основной причиной психологическую некомфортность публикации «отрицательного» результата. Мол, «гранты проели, а ничего не доказали, может в следующий раз таким неудачникам ничего не дадут». Хотя, повторюсь, для «науки», для научного мировоззрения недоказанная гипотеза также важна как и доказанная, и «отрицательный результат тоже результат». А отсутствие отрицательных результатов одначает либо то, что исследователи воздерживаются от публикации исследований не доказавших исследуемую гипотезу, или, что еще неприятнее, они корректируют методику с целью получения «хороших» результатов.

Большая проблема сейчас и с воспроизводимостью результатов. Так, например, от 51% до 89% научных публикаций результатов значимых работ в своей сфере не получилось воспроизвести. Самые плохие результаты вновь в психологии. Из перепроверенных 100 значимых экспериментов только 36% результатов из этих научных публикаций удалось воспроизвести и подтвердить.

Почти также плохи дела в медицине. О катастрофе в российской научной медицине, качестве научных статей и диссертаций много может рассказать российский «Диссернет», но оказывается и в мире во многом не лучше.
Исследователь в 2005 году опубликовал исследование где взял 49 медицинских работ, которые в течение последних 13 лет научное сообщество сочло наиболее значимыми, и отделил 45 из них, которые стали основой для дальнейших исследований коллег-медиков. Проанализировав результаты последних, он обнаружил, что для 16% значимых исследований попытка воспроизвести их провалилась (результаты противоречили первоначальным), еще 16% выдающихся открытий оказались раздутыми — описанные в первоначальной статье эффекты были выражены сильнее, чем зафиксировали последующие эксперименты. В 11% случаях попыток воспроизведения вообще не было, результаты коллег просто принимались на веру и вносились в дальнейшие опыты как константы. И лишь 44%, меньше половины значимых работ оказались воспроизводимыми.

Что с этим всем делать пока, как я понимаю, совсем неясно.

Отдельно ссылки, рссыпанные в тексте для почитать (там же гораздо больше ссылок на оригиналы и иные исследования этой темы):

Большинство научных публикаций — ложь (доказано учеными) — Нож (knife.media)

Плохая наука: почему самые громкие психологические исследования оказались неверными — Нож (knife.media)

Кризис воспроизводимости — Нож (knife.media)