Вопросы статистического анализа в российских офтальмологических журналах

    Ключевую роль в создании современных методов диагностики и лечения играют принципы доказательной медицины, среди которых одним из главных является адекватное использование статистических методов. Для повышения уровня статистической обработки данных зарубежные медицинские журналы периодически публикуют статьи, посвященные вопросам статистики, оценивают собственные публикации с позиций качества статистического анализа [6, 7, 9]. Научное медицинское сообщество идет по пути выработки строгих регламентов представления информации о проведенных исследованиях, примерами которых могут служить стандарты STROBE, SPIRIT, CONSORT и др. [4, 5, 8]. В последние годы важнейшим критерием оценки деятельности российских научных учреждений служат показатели публикационной активности. С учетом этого существенно возрастает значение правильно выполненной статистической обработки данных, что является одним из необходимых условий продвижения научных работ в печать.

    Цель

    Оценка качества статистического анализа в ведущих российских журналах по офтальмологии.

    Материал и методы

    Исходно рассматривались 90 оригинальных статей 2015 г. в 8 выпусках журналов, содержащих результаты клинических и экспериментальных исследований; одна статья была посвящена вопросам эпидемиологии. Обзоры литературы и большинство статей разделов «В помощь практическому врачу» и т.п. не оценивались. Из общего числа были исключены 23 статьи, не содержащие элементов статистики, в частности, описания клинических случаев или техники оперативных вмешательств, экспериментальные исследования небольшого объема. В итоге были проанализированы 67 статей.

    Помимо качества статистической обработки в настоящей статье рассматриваются также некоторые вопросы организации исследований в части формирования материалов работ (групп исследований), имеющие непосредственное отношение к дальнейшей статистической обработке данных.

    Результаты

    Только 5 работ (7%) использовали «продвинутые» статистические методы, такие как анализ характеристических (ROC) кривых, анализ выживаемости, дискриминантный анализ и др. В большинстве статей применялись достаточно стандартные методы вариационного, корреляционного анализа и пр. Для обработки количественных данных, не имеющих нормального распределения, и качественных признаков адекватно использовались непараметрические методы. Однако лишь 14 публикаций (21%) не содержали существенных, нередко грубых ошибок статистической обработки материалов и формирования групп исследований, а менее значимых недочетов не было только в пяти из них (7%).

    Основные, наиболее распространенные ошибки представлены далее в порядке их значимости.

    Формат статьи не предполагает детального рассмотрения обсуждаемых ниже статистических методов. Подробное их изложение может быть найдено во многих руководствах по медико-биологической статистике [1-3].

    1. Включение в анализ обоих глаз испытуемых без учета корреляции параметров парных глаз – 20 работ, 30% (это не являлось ошибкой еще в 9 статьях, где, например, парные глаза служили контролем, или доля таких случаев была невелика – до 10%). Поскольку данные парных глаз хорошо коррелируют между собой, использование распространенных статистических программ в таких случаях недопустимо, так как дает существенные ошибки, в частности, сильно завышает достоверность различий сравниваемых групп. Существуют специальные методы и программы, позволяющие учесть (внести поправку на) корреляцию между глазами, однако в рецензируемых статьях такие методы не использовались.

    2. Сравнение трех групп и более некорректными методами – 19 статей (28%; 82% от числа работ, где требовалось такое сравнение). Ошибкой в этих работах являлось простое попарное сравнение групп с использованием обычного критерия Стьюдента или его непараметрического аналога U-критеия Манна-Уитни. Если групп 3 и более, это приводит к завышению достоверности различий в 2-3 раза и более. Правильным методом сравнения множественных групп является однофакторный дисперсионный анализ (его непараметрический аналог – критерий Крускала-Уоллиса). Результат анализа указывает на наличие или отсутствие достоверного различия хотя бы в одной паре сравниваемых групп. Только при наличии такого различия про-водится дальнейшее попарное сравнение, но уже с поправкой по одному из методов – Холма, Ньюмена-Кейлса, Бонферрони и др. В самом простом варианте можно сразу использовать одну из этих поправок, но такой подход нельзя считать правомерным. В целом достаточно корректные сравнения трех или более групп встречались только в 4 статьях, в том числе в двух статьях иностранных авторов.

    3. Сравнение качественных признаков / долей без использования критериев χ² и/или точного критерия Фишера – 16 статей (24%). В указанных работах то или иное событие имело разную частоту в сравниваемых группах. Авторы сообщали эти частоты в процентах, однако ограничивались лишь заключениями описательного характера о том, что одна частота больше или меньше, чем другая, в то время как указанные критерии позволяют судить о достоверности или случайности имеющихся различий. В ряде других статей размер долей указывался в формате %±m, что допускает количественное сравнение, но не является общепринятым.

    4. Отсутствие раздела с четким изложением всех аспектов статистического анализа полное (17 статей, 25%) или почти полное (12 работ, 18%). Почти полным отсутствием здесь названы такие случаи, когда весь раздел статистики сводился, например, к следующим формулировкам: «Статистическую обработку данных осуществляли с помощью программ <названия>» или «Для оценки полученных данных применяли параметрические и непараметрические методы статистического анализа в программном пакете для статистического анализа <название>». В некоторых случаях в разделе результатов статьи, в таблицах удается найти определенную информацию, но, как правило, в совершенно недостаточном объеме для оценки адекватности использованных статистических методов. (В двух случаях имели место и противоположные ситуации, когда сообщалось о применении методов, которые на самом деле не использовались.) Из отсутствия раздела статистики, неполного или некорректного его изложения, что уже само по себе резко затрудняет восприятие результатов работы, проистекал еще целый ряд ошибок (пп. 5-8).

    5. Отсутствие указаний на использованный формат данных M±σили M±m – 11 статей (16%). В подобных работах проверка статистических выкладок затруднена или даже невозможна. Обычно применяется формат M±σ или, при ненормальном распределении данных, медиана (квартили 25%; 75%). Формат M±m также может употребляться, особенно в случаях, когда важно именно среднее значение, а не разброс показателя.

    6. Отсутствие точных указаний на использованный вариант критерия Стьюдента или применение неверного его варианта – 10 статей (15%). Критерий Стьюдента существует в двух вариантах – для независимых и зависимых выборок (последний называется также парным). Первый из них предназначен для сравнения двух независимых групп, а второй – для сравнения количественных характеристик одной и той же группы, например, до и после лечения. Нередко вместо парного критерия используют критерий для независимых выборок, который обычно демонстрирует намного более низкую достоверность различий, что приводит к ошибочным заключениям (поэтому при использовании парного критерия это необходимо обязательно указывать). По всей видимости, такая замена могла иметь место в 7 из указанных 10 статей.

    7. Применение неверного непараметрического критерия – 3 работы (4%). Непараметрическими аналогами двух вариантов критерия Стьюдента являются U-критерий Манна-Уитни и критерий Уилкоксона. Так же, как и в предыдущем случае, первый из них могут использовать вместо второго, что может существенно влиять на достоверность различий. Смешению этих двух критериев способствует и то, что U-критерий называют также критерием Уилкоксона-Манна-Уитни.

    8. Ошибки в применении коэффициентов корреляции – 5 статей (7%). Чаще всего использовались коэффициенты Пирсона и Спирмена (непараметрический). В 3 статьях коэффициенты корреляции были даны без оценки их достоверности.

    Еще в 2 статьях был применен не тот коэффициент, который требовался.

    9. Недостатки в вопросах формирования групп исследований не являются столь же значимыми, как и ошибки статистики, однако играют весьма важную роль, поскольку характеризуют правильность отбора материала работы. Необходимо отметить следующие недостатки такого рода:

    9.1. Не определен порядок выборки – 55 статей (82%). В работе должно быть указано, как именно выполняли отбор пациентов, например, сплошная выборка, ограниченная четкими временными рамками или/и отделением/хирургами, регионом проживания и т.п., либо случайная выборка, основанная на определенных критериях.

    9.2. Не сформулированы критерии исключения – 43 работы (64%).

    9.3. Критерии включения сформулированы в ограниченном виде – только название патологии или ее формы – 6 статей (9%).

    9.4. Не рассчитан необходимый объем групп(ы) испытуемых. Это не было сделано ни в одной из работ, хотя в ведущих зарубежных журналах такой расчет считается если не обязательным, то крайне желательным. Только в 6 статьях такой расчет не требовался в силу сплошной выборки.

    9.5. Малый объем групп (3-7 единиц) – 5 статей, 7% (в том числе 2 статьи, где авторы включали оба глаза больных, не учитывая, что истинное число наблюдений равнялось числу больных, а не глаз – см. п. 1). В случаях, когда такой объем групп(ы) не обоснован расчетом (см. п. 9.4), небольшие группы, как правило, не позволяют получить статистически правильные результаты.

    10. Представление результатов только в виде диаграмм – 5 статей (7%). Так же, как и п. 9, это не является ошибкой как таковой, однако ограничивает возможности полноценного восприятия и анализа результатов исследования.

    Обсуждение

    Приведенные результаты указывают на существенные ошибки статистической обработки данных и формирования групп исследований в значительной доле рассмотренных статей. Без доступа к первичным материалам исследований достаточно сложно в каждом конкретном случае оценить роль этих ошибок. Их коррекция, несомненно, изменила бы конкретные числовые значения многих показателей, что, в свою очередь, могло бы потребовать пересмотра выводов определенного числа работ. В то же время, в остальных работах указанные ошибки могли и не оказать серьезного влияния на полученные заключения и выводы. Кроме того, в ряде статей статистические расчеты были выполнены, по-видимому, правильно, только данные статистической обработки были даны без необходимой пояснительной информации, что не позволяло оценить и принять их. Почему же, в таком случае, столь важными представляются правильность статистического анализа и формирование материала работы? Очевидно, наличие любых недочетов или ошибок ставит под сомнение квалификацию авторов статьи и сразу подрывает доверие читателей и рецензентов к представленным результатам исследования, не позволяя принять его заключения и выводы. Тем самым значимость публикации, а в дальнейшем и уровень ее цитирования существенно снижаются. Вероятно, ошибки статистической обработки данных и недостаточно корректное формирование групп исследований являются частью причин, по которым отечественные работы весьма редко публикуются в зарубежных рецензируемых журналах.

    На основании проведенного анализа было предложено внести следующие дополнения в Правила для авторов офтальмологических журналов (уже введены в журнале «Офтальмохирургия», членом редакционного совета которого является автор статьи):

    1. Все количественные данные должны подвергаться статистическому анализу, даже если имеются выраженные различия в таблицах или на диаграммах.

    Авторам, недостаточно владеющим статистическими методами, необходимо обращаться за помощью к специалистам по статистике.

    2. Должны быть изложены сведения о формировании материала исследования, включая его характер (сплошное, выборочное с детализацией принципов выборки), критерии включения и исключения (подробно).

    Не допускается включение в анализ обоих глаз испытуемых без применения специальных методов, учитывающих корреляцию между глазами (исключение: использование парного глаза в качестве контроля).

    3. В последнем абзаце(ах) раздела «Материал и методы» должна содержаться следующая информация о методах статистического анализа:

    • использованные программы (бесплатные или лицензионные);

    • расчет минимально необходимого объема групп(ы) испытуемых (желательно; при малых выборках – обязательно);

    • формат представления данных: обычно M±σ, хотя возможно и M±m; при ненормальном распределении данных – медиана (квартили 25%; 75%) и следует указать критерий(и) оценки характера распределения;

    • принятый уровень достоверности [различий] (P<0,05 или другой).

    4. В этом же абзаце(ах) должна содержаться подробная информация о тех или иных нижеперечисленных способах (методах) статистического анализа, адекватных анализируемым материалам:

    • способы сравнения количественных данных для двух групп/ вариант – критерий Стьюдента для независимых/зависимых выборок (парный); соответствующие непараметрические критерии (с обоснованием их использования) – Манна-Уитни и Уилкоксона;

    • способы сравнения данных для трех и более групп – однофакторный дисперсионный анализ, критерий Крускала-Уоллиса, поправки, используемые при дальнейшем попарном сравнении групп;

    • способы сравнения качественных признаков / долей – критерий χ² (без или с поправкой Йейтса), точный критерий Фишера и др.;

    • используемые коэффициенты корреляции – Пирсона, Спирмена, др.;

    • подробная информация о других статистических методах.

    5. Детальные требования к статистическому анализу (на английском языке) могут быть найдены, напрмер, на сайте журнала Infection and Immunity (http://iai.asm.org/site/ misc/journal-ita_abb.xhtml#04).

    Заключение

    Таким образом, проведенный анализ оригинальных статей 2015 г. в ведущих российских журналах по офтальмологии указывает на необходимость существенного повышения требований к качеству статистической обработки данных и формирования групп исследований. На основании проведенного анализа предложено внести дополнения в Правила для авторов офтальмологических журналов.

    

    Поступила 18.03.2016.

    

    Сведения об авторе:

    Шпак Александр Анатольевич, докт. мед. наук, профессор, зав. отделом клинико-функциональной диагностики

    ФГАУ «МНТК «Микрохирургия глаза» им. акад. С.Н. Федорова» Минздрава России