July 30th, 2017

Переопределить статистическую значимость! (?)

Оригинал взят у polenadisto в Переопределить статистическую значимость! (?)
Тут большая группа ученых разных специальностей - от политологии до статистики выступила со статьей (пока в виде препринта) в Nature Human Behavior с громким заголовком "Переопределить статистическую значимость".
Собственно, в последнее время идет много нападок на фреквентистскую, она же фишеровская, статистику (ту, которая с р-значениями) - вплоть до самых радикальных, попахивающих 282 (и я писал об отказе одного журнала принимать статьи с р-значениями - теперь этот казус со школьниками на статистике разбираем). Основная же проблема, на мой взгляд, в том, что многие понимают статистику как набор правил без какого-либо обоснования - а эта проблема останется и при любой другой статистике (да и, наверное, вообще любой распространенной методике).
Суть нового предложения сводится к тому, чтобы критический уровень значимости снизить в десять раз: с 5% до 0,5%. Надо сказать, что уровень обоснования, да и вообще обсуждения вопроса, в данной коротенькой статье куда как выше, чем у вышеозначенного радикального журнала. В частности, авторы оценивают, как это может отразится на частоте ложноположительных открытий, а также рассматривают довольно подробно альтернативы. Мне, кстати, ближе одна из них - переход от бинарности "есть эффект - нет эффекта" к непрерывной шкале значимости (о чем, в принципе, и Фишер говорил, как я узнал, выясняя, откуда суть пошли 5%).
Ну и необходимость планирования эксперимента с борьбу с publication bias никто не отменял, но и никто не делает (и тут уже 128 статья по мне плачет).

Авторы, кстати, пишут, что критический уровень значимости может быть разным в разных областях науки - и приводят примеры геномики (5х10-8) и физики высоких энергий (3х10-7). А мне вспоминается, как нас на биофаке учили, что, мол, у медиков всё строже - и критическим уровнем значимости является не 5%, а 1%. Так вот - начал работать статистиком у медиков и понял, что нифига (и даже поправки на множественные сравнения не всегда есть).