Мирошников А.Б., Шевцов А.В., Мештель А.В., Павлов Е.А., Максимов М.В. Чек-лист CLEAR для оценки нарративных обзоров: результаты международного Дельфи-консенсуса, проведенного учеными в области спортивной науки

Скачать статью в pdf-формате

Дата публикации: 15.06.2026
DOI: 10.24412/2782-6570-2026_05_02_4
УДК 001.8:001.891

ЧЕК-ЛИСТ CLEAR ДЛЯ ОЦЕНКИ НАРРАТИВНЫХ ОБЗОРОВ: РЕЗУЛЬТАТЫ МЕЖДУНАРОДНОГО ДЕЛЬФИ-КОНСЕНСУСА, ПРОВЕДЕННОГО УЧЕНЫМИ В ОБЛАСТИ СПОРТИВНОЙ НАУКИ

А.Б. Мирошников¹, А.В. Шевцов¹, А.В. Мештель¹, Е.А. Павлов¹, М.В. Максимов²

¹Федеральное государственное бюджетное образовательное учреждение высшего образования «Российский университет спорта «ГЦОЛИФК», г. Москва, Россия

²Государственное бюджетное общеобразовательное учреждение города Москвы «Центр спорта и образования «Самбо-70» Департамента спорта города Москвы, г. Москва, Россия

Аннотация. Введение. Несмотря на широкое распространение нарративных обзоров их экспертная оценка остается недостаточно стандартизированной. Существующие инструменты либо ориен­тированы на систематические обзоры, либо не учитывают глубину аналитического синтеза. Боль­шинство применяемых подходов не позволяет одновременно оценивать прозрачность отбора литературы, качество критического анализа и уровень концептуальной интеграции данных. Цель: разработать и согласовать с экспертами чек-лист, предназначенный для оценки методологической прозрачности и аналитической глубины нарративных обзоров. Методы. Чек-лист был сформи­рован после анализа методологических публикаций и уточнен в ходе двух раундов модифици­рованной Дельфи-процедуры. Экспертам предлагалось оценить релевантность, ясность и значи­мость предложенных пунктов. Результаты. Финальная версия чек-листа включает 18 критериев, сгруппированных по пяти доменам: цель обзора, прозрачность поиска, структура доказательств, критический анализ и этическая отчетность. Разработана шкала интерпретации суммарного балла, а также отдельная шкала, позволяющая классифицировать обзоры по уровню аналитической глубины от описательного до концептуального синтеза. Заключение. Чек-лист может использо­ваться как рабочий инструмент для рецензентов и может применяться в научной и редакторской практике. Следующий этап работы должен включать независимую проверку межэкспертного согласия при применении разработанного нами чек-листа в разных научных областях.

Ключевые слова: нарративный обзор, качество обзора, оценка литературы, Дельфи-метод, чек-лист, аналитический синтез, доказательная медицина, научная методология.

CLEAR CHECKLIST FOR EVALUATING NARRATIVE REVIEWS: RESULTS OF THE INTERNATIONAL DELPHI CONSENSUS IN THE FIELD OF SPORTS SCIENCE

A.B Miroshnikov¹, A.V. Shevtsov¹, A.V. Meshtel¹, E.A. Pavlov¹, M.V. Maksimov²

¹Russian University of Sport “GTSOLIFK”, Moscow, Russia

²Sambo-70 Center of Sport and Education, Moscow, Russia

Abstract. Introduction. Despite the widespread use of narrative reviews, their expert assessment remains insufficiently standardized. Existing tools are either focused on systematic reviews or do not take into account the depth of analytical synthesis. Most of the approaches used do not allow us to simultaneously assess the transparency of literature selection, the quality of critical analysis, and the level of conceptual integration of data. Goal: to develop and coordinate with experts a checklist designed to assess the methodological transparency and analytical depth of narrative reviews. Methods. The checklist was formed after analyzing methodological publications and refined during two rounds of the modified Delphi procedure. The experts were asked to evaluate the relevance, clarity, and significance of the proposed points. Results. The final version of the checklist includes 18 criteria grouped into five domains: the purpose of the review, search transparency, evidence structure, critical analysis, and ethical reporting. A scale of interpretation of the total score has been developed, as well as a separate scale that allows classifying reviews according to the level of analytical depth from descriptive to conceptual synthesis. Conclusion. The checklist can be used as a working tool for reviewers and can be introduced in scientific and editorial practice. The next stage of the work should include an independent verification of inter-expert agreement in the application of the checklist developed by us in various scientific fields.

Keywords: narrative review, review quality, literature assessment, Delphi method, checklist, analytical synthesis, evidence-based medicine, scientific methodology.

Введение. Нарративный (литературный) обзор является формой научного синтеза, в которой основное значение имеет не только отбор источников, но и авторская интерпре­тация накопленных данных. В литературе такие обзоры нередко противопоставляются систематическим, из-за чего их доказательная ценность ошибочно воспринимается как заве­домо более низкая [1]. При корректной мето­дологии нарративный обзор полезен там, где требуется объяснить развитие концепции, сопоставить разные теоретические подходы или выявить противоречия в литературе. Систематический обзор обычно отвечает на узкий вопрос по заранее заданному прото­колу. Нарративный обзор, напротив, допус­кает более широкий анализ проблемы и позволяет объединять данные разных типов. Обзорные статьи, написанные в нарративном стиле, широко распространены как в меди­цинской [2, 3] так и в спортивной литературе [4, 5]. Инструменты для критической оценки качества были разработаны для система­тических обзоров (например, AMSTAR 2 (A MeaSurement Tool to Assess Systematic Reviews – Инструмент для оценки качества система­тических обзоров) [6] и ROBIS (Risk Of Bias In Systematic reviews – Риск системной ошибки в систематических обзорах) [7], обзоров пред­метного поля (например, DESCreview (Design tool for Evaluating risk of bias/quality in Systematized and sCoping reviews – Инстру­мент для оценки риска системной ошибки/качества в систематических обзорах и обзорах предметного поля) [8] и проведения Дельфи-исследований (например, DCAT (Delphi critical appraisal tool – Инструмент критичес­кого анализа Дельфи) [9]. В 2019 году Baethge и соавт. [10] разработали краткий инструмент критической оценки для нарративных обзоров SANRA (Scale for the Assessment of Narrative Review Articles – Шкала оценки нарративных обзоров), который содержал шесть вопросов. Появление SANRA стало первым стандарти­зированным решением для оценки нарратив­ных обзоров. Однако SANRA решает преиму­щественно задачу базовой структурной оцен­ки и не охватывает ряд параметров, значимых для современных нарративных обзоров. Основное ограничение SANRA связано с тем, что шкала не различает обзоры по уровню аналитического синтеза, поэтому пересказ литературы и построение новой концеп­туальной модели могут получить близкую оценку. Именно качество синтеза является главным критерием ценности нарративного обзора, которое определяется не столько полнотой поиска (как в систематических обзорах), сколько способностью автора сопоставить неоднородные данные, объяснить расхождения между исследованиями и сформировать обоснованную интерпретацию. Без оценки аналитической глубины невозмож­но отделить качественный нарративный обзор от расширенного реферативного пересказа. Более того, современные требования к прозрачности научных публикаций, включая раскрытие информации о финансировании, конфликтах интересов [11] и даже использовании инструментов искусственного интеллекта [12], не нашли отражения в SANRA. Поэтому был разработан инструмент, совмещающий оценку методологической прозрачности и глубины аналитического синтеза.

Цель исследования: разработать и согла­совать с экспертами чек-лист, предназначен­ный для оценки методологической прозрач­ности и аналитической глубины нарративных обзоров.

Методы и организация исследования. Исследование выполнено на базе Российского университета спорта «ГЦОЛИФК» (Москва). В качестве основного метода согласования критериев использовали модифицированную Дельфи-процедуру. Процедура исследования была разработана в соответствии с рекомен­дациями CREDES (Conducting and REporting DElphi Studies – Проведение и отчетность Дельфи-исследований) [13], ACCORD (Accu­rate COnsensus Reporting Document – Руковод­ство по отчетности методов консенсуса) [14] и DELPHISTAR (Delphi studies in social and health sciences – recommendations for an inter­disciplinary standardized reporting – Дельфи-исследования в области общественных наук и здравоохранения – рекомендации по междис­циплинарной стандартизированной отчетнос­ти) [15]. На предварительном этапе авторы проанализировали существующие инструмен­ты оценки обзоров и методологические рекомендации.

Процедура достижения экспертного кон­сенсуса. Для достижения экспертного консен­суса по структуре чек-листа и интерпретации его результатов была проведена модифици­рованная Дельфи-процедура. Проведение и описание Дельфи-процедуры осуществлялись с учетом современных рекомендаций по качес­тву и прозрачности подобных исследований, включая подходы, представленные в DCAT [9] и CREDES [13]. В процедуре приняли участие эксперты, отобранные в соответствии с критериями, представленными в разделе «Отбор экспертов» (n=24). На первом этапе была сформирована консультативная группа из пяти специалистов. На втором этапе выполнен целенаправленный поиск методоло­гических публикаций (согласно ACCORD [14], пункты М6 и М7) за 2016-2026 гг. Поиск литературы осуществлялся в соответствии с контрольным списком PRISMA-S (Preferred Reporting Items for Systematic reviews and Meta-Analyses literature search extension – Пред­почтительные инструменты отчета о резуль­татах исследований для систематических обзоров и мета-анализов, расширение поиска литературы) [16]. На основании литературных источников, действующих методологических рекомендаций и экспертного опыта авторской группы эксперты консультативной группы (n=5) разработали опросник для первого раунда Дельфи. Процесс Дельфи (этап 3) состоял из двух раундов. После каждого раунда экспертам предоставлялась агрегиро­ванная информация о результатах голосо­вания, включая распределение ответов и обоб­щенные комментарии участников. Эта обрат­ная связь обеспечивала возможность повторной оценки пунктов во втором раунде. Результаты каждого раунда обобщались с использованием описательной статистики (доля согласия экспертов), что позволяло оценить степень консенсуса по каждому пункту.

Отбор экспертов. Члены консультатив­ной группы (n=5) не принимали участие в голосовании в первом и втором раундах. Отбор участников проводился целенаправ­ленно с учетом широкого спектра научных дисциплин и личного опыта написания нарра­тивных обзоров. Целенаправленный отбор применяли для включения специалистов, имеющих опыт подготовки, рецензирования или методологической оценки обзорных пуб­ликаций. Опрос экспертов проводился ано­нимно. Анонимный формат снижал риск доминирования мнения отдельных экспертов. Процесс подбора экспертов начался с того, что два специалиста (А.Б. Мирошников и М.В. Максимов) направили по электронной почте приглашение к участию тем, кто соответство­вал критериям отбора. А.Б. Мирошников направил приглашения российским экспертам (n=25), М.В. Максимов – зарубежным специа­листам (n=104). Для поиска зарубежных экспертов использовали базу данных PubMed, Google AI Studio. В PubMed был использован запрос “((athletes[MeSH Terms] OR athletes[Title/Abstract]) AND (“2021”[Date –Publication] : “2026”[Date – Publication])) AND (review[Filter])”, применены дополнительные фильтры: дата публикации – 5 лет, тип статьи – обзор. По состоянию на 10 марта 2026 г. было найдено 5161 исследование. В Google AI Studio нами было создано приложение для автоматической обработки найденных иссле­дований и для получения OSINT-отчета (Open Source Intelligence Report – Отчет разведки по открытым источникам). Используя OpenAlex API, были получены и проанализированы данные по каждому автору включенных в обработку исследований. Итоговый список включал 123 ученых, имевших не менее четырех обзорных публикаций в области спорта за последние пять лет. В список включали только адреса электронной почты, для которых алгоритмическая оценка соответ­ствия автору составляла не менее 80%. После рассылки 19 адресов были исключены из-за недоставки сообщений или отказа почтового сервера. В итоге приглашение принять учас­тие в первом раунде нашего исследования получили 104 ученых. Электронное письмо содержало сведения об исследовательском проекте, а также формы информированного согласия и ссылку на:

• опросник, состоящий из 18 пунктов (шкала 1-5: ясность и уместность);
• шкалу аналитической глубины, состоя­щей из 4 пунктов (4 уровня: 0 – описательный, 1 – ограниченный синтез, 2 – умеренный аналитический синтез, 3 – глубокий концеп­туальный синтез);
• пороговые значения качества (высо­кое/хорошее/низкое);
• критические домены;
• логику итоговой оценки.

Опрос был реализован посредством онлайн-анкеты, созданной в среде Google Forms, а полученные данные агрегированы в Google Sheets. После этого заинтересованные эксперты подтвердили свое участие посред­ством электронной почты. Исследование проводилось без сбора персональных данных и не требовало одобрения этического коми­тета. Все участники добровольно приняли участие в опросе. Согласно ACCORD [14], не существует общепринятых стандартов коли­чества набранных экспертов в исследованиях Дельфи, хотя от 20 до 30 человек является обычным явлением. Отобранные эксперты обладали опытом в области оценки научных публикаций и разработки обзоров литературы, что позволило обеспечить содержательную обоснованность предлагаемых пунктов чек-листа.

Раунд I: Процесс первого опроса. Экспер­ты заполняли электронный опросник в течение двух недель (с 16 по 30 марта 2026 г). В первом раунде экспертам были пред­ставлены 18 предварительных пунктов чек-листа, сгруппированных в пять доменов, а также шкала аналитической глубины (Analytical Depth of Narrative Synthesis, ADNS), пороговые значения качества и перечень критических доменов. Эксперты оценивали каждый пункт опросника по двум критериям (ясность формулировки и умест­ность включения) с использованием 5-балльной шкалы Ликерта (от 1 – «совершенно неясно/неуместно» до 5 – «полностью ясно/уместно»), как рекомендовано CREDES [13]. Консенсус считали достигнутым при Me (медиана) ≥4 и IQR (interquartile range – интерквартильный размах) ≤1 либо при доле оценок 4-5 не менее 70%. Для включения в итоговый контрольный список каждый вопрос должен был соответ­ствовать консенсусным критериям после про­ведения не менее двух раундов голосования. Участникам опроса была предоставлена возможность вносить произвольные текстовые комментарии в ходе каждого этапа для аргументации выбора вопроса или для предложения корректировок в формулировке вопроса. Текстовые ком­ментарии экспертов были проанализированы двумя независимыми исследователями (А.Б. Мирошников и А.В. Шевцов) методом тематического анализа [17]. Несогласованные интерпретации обсуждались до достижения согласия. Все ответы экспертов обрабаты­вались анонимно. Удержание участников между раундами составило 96%, что снижает риск систематического смещения из-за выбывания экспертов.

Раунд II: Процесс второго опроса. Во втором раунде, который проводился с 09 по 23 апреля 2026 года, приняли участие 23 из 24 экспертов, завершивших первый раунд (один эксперт выбыл по личным причинам, показа­тель отсева составил 4,2%). Во втором раунде, помимо уточненных пунктов чек-листа, экспертам были предложены дополнительные критерии, касающиеся оценки аналитической глубины нарративных обзоров (шкала ADNS). Потребность в детализации ADNS стала очевидной после анализа комментариев первого раунда. Эксперты подчеркивали, что структура обзора сама по себе не отражает качество аналитического синтеза. На основа­нии анализа текстовых комментариев и коли­чественных данных, полученных в первом раунде, были скорректированы формулировки четырех критериев шкалы ADNS (ADNS-1: Аналитический синтез (не только описание), ADNS-2: Концептуальная модель или интер­претация, ADNS-3: Визуальные инструменты синтеза (схемы, таблицы), ADNS-4: Пробелы знаний и направления будущих исследо­ваний). Поэтому ADNS была выделена в самостоятельный компонент оценки. Включе­ние новых критериев на последующих этапах соответствует гибкому характеру Дельфи-процедуры, допускающему уточнение струк­туры инструмента по мере достижения консенсуса. Кроме того, поскольку в первом раунде мнения экспертов относительно спосо­ба учета некритических пунктов (общий балл опросника) разделились, им было предложено выбрать один из двух альтернативных подхо­дов к формированию итоговой оценки качес­тва обзора: Вариант А: категория качества определяется только числом критических нарушений (критические домены); Вариант Б: категория качества определяется пересече­нием числа критических нарушений и общего балла по 18 пунктам опросника (комбини­рованная матрица). Эксперты повторно оценили пересмотренные критерии ADNS по той же 5-балльной шкале Ликерта (от 1 – «совершенно неясно/неуместно» до 5 – «полностью ясно/уместно»). Критерии достижения консенсуса остались прежними. По результатам второго раунда большинство экспертов (20 из 23) выбрали Вариант Б (комбинированная матрица). Итоговая схема оценки качества представлена в разделе «Результаты исследования и их обсуждение». Дельфи-процедура обеспечила экспертное согласование структуры чек-листа, формулировок пунктов и логики итоговой оценки.

Оценка воспроизводимости и примени­мости чек-листа. В рамках настоящего иссле­дования отдельная количественная оценка воспроизводимости чек-листа не проводилась. Перед окончательным утверждением чек-лист был апробирован авторами на выборке нарра­тивных обзоров с целью оценки его приме­нимости и выявления возможных затруднений при использовании. Представленная методо­логия описана с достаточной детализацией, что позволяет воспроизвести процесс разра­ботки чек-листа и оценить его методологи­ческую обоснованность. Воспроизводимость инструмента следует проверить в отдельном исследовании с независимыми оценщиками и расчетом коэффициентов межэкспертного согласия.

Методы математической статистики. Для каждого пункта были рассчитаны Me и IQR оценок ясности и уместности. Критерий считался достигшим предварительного кон­сенсуса в случае, если Me составляла 4 и выше при IQR, не превышающем 1, либо если не менее 70% экспертов присвоили данному пункту оценку 4 или 5. Для характеристики согласованности экспертных оценок рассчи­тывали показатель конвергенции. Чем ближе значение конвергенции к 0, тем ниже вариабельность ответов и выше согласован­ность экспертных оценок. Исследования показывают, что значение конвергенции 0,5 или ниже свидетельствует о достижении приемлемого уровня единообразия ответов [18]. Конвергенция рассчитывалась по следующей формуле [18]:

С (Convergence) = (Q3 – Q1) / 2 (1)

Q1 представляет собой значение 25-го процентиля, ниже которого расположена четверть ответов, а Q3 – значение 75-го про­центиля, ниже которого находятся три четверти всех ответов. Также была оценена степень консенсуса участников. Степень консенсуса участников (Degree of participant consensus, DPC) – это относительная мера согласия внутри группы, выраженная в виде коэффи­циента от 0 до 1. Чем ближе значение к 1, тем выше уровень консенсуса среди участников, что свидетельствует о схожести их ответов. Напротив, значение, близкое к 0, указывает на низкий уровень согласия, подразумевающий значительное расхождение мнений. Показа­тель DPC рассчитывали по формуле [18]:

DPC = 1 – [(Q3 – Q1) / Me] (2)

Статистическую обработку выполняли в IBM SPSS Statistics, версия 26.0.

Результаты исследования и их обсуждение. В Дельфи-исследовании при­няли участие 24 эксперта (20 российских и 4 иностранных специалиста). Среди российских участников: 2 профессора (доктор педагоги­ческих наук и кандидат педагогических наук), 2 доцента (кандидат медицинских наук, кан­дидат биологических наук) и 17 научных сотрудников. Они представляют разные научно-исследовательские организации, а также 5 университетов Москвы и Челябинска. Характеристика зарубежных экспертов, участвовавших в исследовании: Тунис – доцент (Associate Professor), Австралия – заслуженный профессор (Emeritus Professor), Италия – штатный профессор (Full Professor), Греция – преподаватель (Lecturer).

Результаты I раунда Дельфи. В I раунде Дельфи 24 эксперта оценили компоненты опросника по шкале от 1 до 5 (1 – совершенно неясно/неуместно, 5 – полностью ясно/умес­тно). Для каждого компонента рассчитаны медиана, первый и третий квартили, IQR, конвергенция и DPC. Результаты представ­лены в таблице 1.

Вопросы 5.2 (учет некритических пунк­тов) и 5.3 (конкретные схемы) являются кате­гориальными и не подлежат числовой оценке. Результаты по ним представлены отдельно. Вопрос 5.2 (учет некритических пунктов), а также распределение голосов 24 экспертов представлены в таблице 2.

Консенсус по данному вопросу не дос­тигнут (порог 75% не пройден). Лидирующие варианты А и Б набрали равное количество голосов (по 45,8%). Вопрос вынесен на второй раунд.

Таблица 1

Степень консенсуса экспертов по компонентам опросника в первом раунде Дельфи (n=24)

№	Вопрос	Мe	Q1	Q3	IQR	C		DPC
Домен 1. Идентификация и цель обзора
1	Был ли обзор явно обозначен авторами как нарра­тивный? Пояснение: тип обзора должен быть указан в заго­ловке, аннотации или введении.	5	5	5	0	0		1,00
2	Четко ли сформулирована цель или исследовательский вопрос обзора? Пояснение: цель должна соответствовать возможностям нарративного обзора.	5	4	5	1	0,5		0,75
3	Обоснован ли выбор дизайна «нарративный обзор»? Пояснение: авторы должны объяснить, почему именно нарративный обзор подходит для решения поставленной задачи.	5	4	5	1	0,5		0,75
Домен 2. Прозрачность отбора литературы
4	Описан ли общий подход к поиску (источники, временной диапазон и дата последнего поиска)?	5	5	5	0	0		1,00
5	Использованы ли несколько разноплановых источ­ников литературы? Пояснение: базы данных, книги, серые отчеты, списки литературы.	5	5	5	0	0		1,00
6	Описаны ли основные поисковые термины или стратегии поиска?	5	5	5	0	0		1,00
7	Сообщен ли приблизительный объем проанали­зированной литературы (например, количество источников или диапазон)?	5	4	5	1	0,5		0,75
Домен 3. Представление и структура доказательств
8	Логично ли структурирован обзор по темам или концепциям?	5	4	5	1	0,5		0,75
9	Представлены ли ключевые и наиболее влиятельные исследования по теме, и объяснено ли их значение для обсуждаемой области?	5	4	5	1	0,5		0,75
10	Представлены ли различные точки зрения или противоречивые результаты, избегая чрезмерной опоры на ограниченное число источников или собственные публикации?	5	4	5	1	0,5		0,75
11	Представлена ли литература сбалансированно, включая данные, противоречащие основной пози­ции авторов?	5	5	5	0	0		1,00
12	Описан ли контекст включенных исследований (дизайн, выборка, популяция)?	5	4	5	1	0,5		0,75
Домен 4. Критический анализ литературы
13	Обсуждаются ли методологические ограничения и потенциальные источники систематической ошибки в цитируемых исследованиях?	5	5	5	0	0		1,00
14	Учитывается ли качество исследований при интерпретации данных?	5	4	5	1	0,5		0,75
Домен 5. Интерпретация и этика
15	Соответствуют ли выводы представленным данным (без гипербол)?	5	5	5	0	0		1,00
16	Обсуждаются ли ограничения самого обзора? Пояснение: субъективность интерпретации, возможная неполнота поиска.	5	4	5	1	0,5		0,75
№	Вопрос	Мe	Q1	Q3	IQR	C	DPC
17	Указаны ли источники финансирования обзора и потенциальные конфликты интересов авторов?	5	5	5	0	0	1,00
18	Раскрыто ли использование инструментов ИИ, и описана ли степень такого участия?	5	4	5	1	0,5	0,75
Шкала ADNS
1	ADNS – понятность уровней и маркеров	5	4	5	1	0,5	0,75
2	ADNS – достаточность 4 уровней	5	4	5	1	0,5	0,75
Балльная система и пороговые значения
1	Трехбалльная система (0, 1, 2) подходит	5	5	5	0	0	1,00
2	Корректные пороговые значения	5	4	5	1	0,5	0,75
Критические вопросы
1	Вопрос 4 (прозрачность поиска) – критический	5	5	5	0	0	1,00
2	Вопрос 11 (сбалансированность) – критический	5	5	5	0	0	1,00
3	Вопрос 13 (критическая оценка) – критический	5	5	5	0	0	1,00
4	Вопрос 16 (ограничения обзора) – критический	5	5	5	0	0	1,00
Итоговая оценка
5.1	Логика итоговой оценки (только по критическим нарушениям)	5	4	5	1	0,5	0,75
5.2	Учет некритических пунктов (общий балл опросника)
5.3	Конкретные схемы (для вариантов Б и В)

 Таблица 2

Учет некритических пунктов экспертами – вопрос 5.2 (n=24)

Вариант	Название	Количество	%
А	Только критический подход	11	45,8
Б	Комбинированная матрица	11	45,8
В	Штрафной подход	2	8,4

Результаты II раунда Дельфи. Был проведен второй раунд Дельфи для утвер­ждения компонентов опросника и шкалы ADNS, которые не оценивались в первом раунде или не достигли достаточного уровня консенсуса. Во втором раунде приняли учас­тие 23 эксперта. Экспертам предлагалось оценить:

1. Четыре критерия детализации шкалы ADNS (ADNS-1 – ADNS-4) по шкале от 1 до 5 (1 – совершенно неясно/неуместно, 5 – полнос­тью ясно/уместно);
2. Подход к учету некритических пунктов (вопрос 5,2) – выбор между вариантом А (только критический подход) и вариантом Б (комбинированная матрица).

Детализация шкалы ADNS. Эксперты оценили четыре критерия, детализирующих аналитическую глубину нарративного обзора. Результаты представлены в таблице 3.

Учет некритических пунктов. Поскольку в первом раунде мнения экспертов разде­лились (табл. 2), во втором раунде им предло­жили выбрать один из двух подходов (вариант В был исключен).

В результате голосования консенсус был достигнут (87% экспертов проголосовали за вариант Б, что превысило заранее установ­ленный порог консенсуса 75%). Вариант Б утвержден. В таблице 4 представлены резуль­таты финального раунда Дельфи. Пункты, достигшие уровня согласия ≥80%, были включены в финальную версию чек-листа.

Финальная версия чек-листа была предва­рительно апробирована авторами при оценке нарративных обзоров (n=5), результаты апробации использовались для уточнения формулировок, но не рассматривались как проверка воспроизводимости.

По итогам двух раундов Дельфи-опроса с участием 24 экспертов в раунде I и 23 экспертов в раунде II был достигнут консенсус относительно структуры, содержания и поро­говых значений нового инструмента оценки качества нарративных обзоров. Разработан­ный инструмент получил название CLEAR (Checklist for evaLuation of narrativE Academic Reviews – Чек-лист для оценки нарративных научных обзоров). Чек-лист включает 18 пунктов, сгруппированных в пять доменов, и дополнен отдельной шкалой аналитической глубины синтеза ADNS (табл. 5).

Таблица 3

Результаты оценки критериев детализации ADNS (n=23)

№	Критерий	Мe	Q1	Q3	IQR	C	DPC
ADNS-1	Проводят ли авторы аналитический синтез литературы, а не только ее описание?Пояснение: нарративные/литературные научные обзоры должны интегрировать данные, а не просто пересказывать исследо­вания.	4	4	5	1	0,5	0,75
ADNS-2	Предлагается ли концептуальная модель, интерпретация или теоретическое объясне­ние? Пояснение: высококачественный нарратив­ный/литературный научный обзор часто формирует новую интерпретацию или концептуальную рамку.	5	4	5	1	0,5	0,75
ADNS-3	Используются ли визуальные инструменты синтеза (схемы, модели, таблицы)? Пояснение: наглядная презентация логи­ческих связей между изученными концеп­циями.	5	4	5	1	0,5	0,75
ADNS-4	Выявлены ли пробелы знаний и предложены направления будущих исследований? Пояснение: определение того, что науке еще предстоит изучить. Качественный обзор должен выявлять пробелы в знаниях.	5	4	5	1	0,5	0,75

Примечание: Мe – медиана; Q1 (quartile 1) – первый квартиль; Q3 (quartile 3) – третий квартиль; IQR (interquartile range) – межквартильный размах; С (Convergence) – конвергенция; DPC (Degree of Participant Consensus) – степень консенсуса участников; ADNS (Analytical Depth of Narrative Synthesis) – шкала аналитической глубины нарративного синтеза. По всем четырем критериям ADNS был достигнут высокий уровень согласия экспертов (DPC=0,75, доля согласия – 95,7%). Полученные значения обосновывают включение этих критериев в финальную версию ADNS.

Таблица 4

Итоговая схема учета некритических пунктов

Общий балл	0 критических нарушений	1 критическое нарушение	2 и более критических нарушений
29-36 (высокий)	Высокое	Хорошее	Умеренное
22-28 (хороший)	Хорошее	Умеренное	Низкое
0-21 (низкий)	Умеренное	Низкое	Критически низкое

Примечание: Общий балл опросника суммирует выполнение всех 18 пунктов чек-листа (0-36 баллов); Критические нарушения – невыполнение любого из четырех критических доменов (вопросы 4, 11, 13, 16). Некритические пункты влияют на категорию качества через общий балл (высокий балл требует хорошего выполнения как критических, так и некритических пунктов).

Таблица 5

 Чек-лист CLEAR для оценки качества нарративных обзоров    

Домен 1. Идентификация и цель обзора
1. Был ли обзор явно обозначен авторами как нарративный?		Тип обзора должен быть указан в заголовке, аннотации или введении. Это позволяет чита­телю корректно интерпретировать методо­логию исследования.
2. Четко ли сформулирована цель или иссле­довательский вопрос обзора?		Цель должна быть ясно обозначена и соот­ветствовать возможностям нарративного обзора (например, концептуальный анализ, обзор механизмов, синтез теорий).
3. Обоснован ли выбор дизайна «нарратив­ный обзор»?		Авторы должны объяснить, почему именно «нарративный обзор» подходит для решения поставленной задачи.
Домен 2. Прозрачность отбора литературы
4. Критический вопрос: описан ли общий подход к поиску (источники, временной диапазон и дата последнего поиска)?		Указание даты поиска позволяет оценить акту­альность данных на момент публикации.
5. Использованы ли несколько разноплановых источников литературы?		Базы данных, книги, серые отчеты, списки лите­ратуры.
6. Описаны ли основные поисковые термины или стратегии поиска?		Повышает прозрачность процесса отбора лите­ратуры.
7. Сообщен ли приблизительный объем проанализированной литературы (например, количество источников или диапазон)?		Помогает понять масштаб и репрезентативность доказательной базы.
Домен 3. Представление и структура доказательств
8. Логично ли структурирован обзор по темам или концепциям?		Структура обзора должна отражать логику анализа, а не простую последовательность пересказа источников.
9. Представлены ли ключевые и наиболее влиятельные исследования по теме, и объяснено ли их значение для обсуждаемой области?		В обзор должны быть включены публикации, определившие развитие темы, а их вклад должен быть кратко объяснен.
10. Представлены ли различные точки зрения или противоречивые результаты, избегая чрезмерной опоры на ограниченное число источников или собственные публи­кации?		Избегание чрезмерной опоры на ограниченный пул авторов или только собственные работы.
11. Критический вопрос: представлена ли литература сбалансировано, включая дан­ные, противоречащие основной позиции авторов?		Качественный нарративный обзор должен отражать разнообразие научных данных. Оценка считается более надежной, если авторы представляют не только подтверждающие, но и противоречащие данные.
12. Описан ли контекст включенных исследований (дизайн, выборка, популяция)?		Позволяет читателю оценить применимость результатов.
Домен 4. Критический анализ литературы
13. Критический вопрос: обсуждаются ли методологические ограничения и потенци­альные источники систематической ошибки в цитируемых исследованиях?		Авторы должны обсуждать сильные и слабые стороны существующих исследований. К таким ограничениям относятся малые выборки, публикационное смещение, неоднородность методов и недостаточный контроль смеши­вающих факторов.
14. Учитывается ли качество исследований при интерпретации данных?		Выводы должны прямо зависеть от надежности цитируемых источников.
Домен 5. Интерпретация и этика
15. Соответствуют ли выводы представлен­ным данным (без гипербол)?	Выводы не должны быть более категоричными, чем позволяют данные.
16. Критический вопрос: обсуждаются ли ограничения самого обзора?	Субъективность интерпретации, возможная неполнота поиска.
17. Указаны ли источники финансирования обзора и потенциальные конфликты интере­сов авторов?	Обязательное требование научной этики для оценки возможной предвзятости.
18. Раскрыто ли использование инструментов искусственного интеллекта (напри­мер, для генерации текста, анализа данных или поиска литературы), и описана ли степень такого участия?	Использование ИИ-инструментов требует рас­крытия, поскольку автоматическая генерация текста, поиск литературы или помощь в анализе могут влиять на воспроизводимость и ответ­ственность авторов.
Синтез и концептуальная интеграция (Analytical Depth of Narrative Synthesis (ADNS))
1. Проводят ли авторы аналитический синтез литературы, а не только ее описание?	Нарративный обзор должен интегрировать данные, а не просто пересказывать исследования.
2. Предлагается ли концептуальная модель, интерпретация или теоретическое объясне­ние?	Высококачественный нарративный обзор часто формирует новую интерпретацию или концепту­альную рамку.
3. Используются ли визуальные инструменты синтеза (схемы, модели, таблицы)?	Наглядная презентация логических связей между изученными концепциями.
4. Выявлены ли пробелы знаний и предло­жены направления будущих исследований?	Определение того, что науке еще предстоит изучить. Качественный обзор должен выявлять пробелы в знаниях.

Итоговая оценка качества нарративных обзоров основана на двух взаимодополня­ющих компонентах:

1. методологическая прозрачность и структурированность обзора, оцениваемые с использованием чек-листа CLEAR (18 пун­ктов, максимальный балл: 36);
2. аналитическая глубина синтеза литера­туры, оцениваемая по шкале ADNS.

Интерпретация CLEAR. Каждый пункт CLEAR оценивается по трехуровневой шкале: «да» – 2 балла, «частично» – 1 балл, «нет» – 0 баллов. Максимальный балл: 36 (18 вопросов × 2 балла). «Высокое качество» присваивается обзору в случае, если ответы на вопросы CLEAR набирают 29-36 баллов, «Хорошее качество» соответствует 22-28 баллам, «Уме­ренное качество» – 15-21 баллам, «Низкое качество» – 0-14 баллам. Указанные порого­вые значения были определены в ходе Дельфи-процедуры на основании экспертного консенсуса и отражают согласованное мнение участников о границах категорий качества нарративных обзоров.

Интерпретация ADNS. Шкала ADNS основана на оценке наличия ключевых элементов аналитического синтеза (аналити­ческое сопоставление исследований, объясне­ние различий результатов, формирование концептуальных обобщений и выявление пробелов знаний). Каждый из этих элементов оценивается бинарно (1 – присутствует, 0 – отсутствует), после чего суммарный балл интерпретируется как показатель глубины аналитического синтеза. Интерпретация суммарного балла ADNS представлена в таблице 6.

Итоговая интерпретация качества обзора должна учитывать оба компонента. Высокий балл CLEAR отражает прозрачность обзора, но не равнозначен высокой аналитической глубине. Высокий ADNS показывает наличие концептуальной интегра­ции, однако при низком CLEAR такая интеграция может быть недостаточно воспроизводимой. В связи с этим рекомен­дуется представлять результаты оценки в виде двухкомпонентного профиля (например, «высокая методологическая проз­рачность при умеренной аналитической глубине»), а не сводить их к единому интегральному показателю.

Таблица 6

Шкала оценки аналитической глубины

Балл	Уровень	Интерпретация
0	Описательный обзор (пересказ литературы)	Последовательное описание отдельных исследований без сопоставления результатов и объяснения связей между ними. (Пример: текст в духе «Иванов нашел А, Петров нашел Б». Нет связи между абзацами)
1	Ограниченный синтез	Есть группировка по темам, но нет объяснения, почему результаты различаются.
2	Умеренный аналитический синтез	Авторы сравнивают исследования, ищут причины противоречий.
3-4	Глубокий концептуальный синтез	Результатом является новая классификация, алгоритм, концептуальная схема или теоретическая модель.

Ограничения исследования: состав экспер­тной панели, отсутствие независимой провер­ки воспризводимости и необходимость внеш­ней валидации пороговых значений. Резуль­таты Дельфи-опроса зависят от состава экспертной панели, поэтому воспроизведение исследования с иной дисциплинарной струк­турой участников может привести к уточ­нению отдельных критериев. Следовательно, необходима проверка CLEAR в медицинских, педагогических, спортивных и социальных науках. Наконец, ADNS несмотря на концеп­туальную обоснованность требует дальнейшей проверки на предмет воспроизводимости и чувствительности к различиям в качестве аналитического синтеза. С учетом этих огра­ничений CLEAR следует рассматривать как согласованный экспертный инструмент, требую­щий дальнейшей проверки.

Заключение. В исследовании разработан и экспертно согласован чек-лист CLEAR для оценки качества нарративных обзоров. Инструмент объединяет оценку методологической прозрачности, структуры представления литературы, критического анализа и этической отчетности. CLEAR повышает прозрачность экспертной оценки нарративных обзоров, не подменяя их систематическими обзорами. Практическое применение CLEAR наиболее оправдано при рецензировании обзорных рукописей, подготовке авторских чек-листов и редакционной экспертизе нарра­тивных обзоров. Приоритетом дальнейших иссле­дований является проверка межэксперт­ной воспроизводимости CLEAR и валидности пороговых значений на независимых корпусах обзоров.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Conflict of interest. The authors declare no conflict of interest.

СПИСОК ЛИТЕРАТУРЫ

1. Greenhalgh, T. Time to challenge the spurious hier­archy of systematic over narrative reviews? / T. Green­halgh, S. Thorne, K. Malterud // Eur J Clin Invest. – 2018. – Vol. 48(6). – P. e12931. DOI: 10.1111/eci.12931
2. Bhatia, N. Fascia iliaca compartment block: A narra­tive review / N. Bhatia // Indian J Anaesth. – 2026. – Vol. 70(1). – P. 200-204. DOI: 10.4103/ija.ija_1068_25.
3. A Narrative Review of Weight Management Stra­tegies: From Lifestyle Interventions to Emerging Phar­macotherapies / I.S. Ahmed, S.L. Tapponi, H.M. Ma­naa [et al.] // J Obes. – 2026. – Vol. 2026(1). – P. e6556057. DOI: 10.1155/jobe/6556057.
4. A narrative review of energy expenditure and sub­strate oxidation during menopause / C. Marcantei, L. Metz, E. O’Donnell, L. Isacco // Climacteric. – 2026. – Vol. 29(2). – P. 140-150. DOI: 10.1080/13697137.2610485.
5. Beetroot Juice and Exercise for Clinical Health and Athletic Performance: A Narrative Review / E. Lee, H.Y. Park, Y. Sun [et al.] // Nutrients. – 2026. – Vol. 18(1). – P. 151. DOI: 10.3390/nu18010151.
6. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both / B.J. Shea, B.C. Reeves, G. Wells [et al.] // BMJ. – 2017. – Vol. 358. – P. j4008. DOI: 10.1136/bmj.j4008.
7. ROBIS: guida all’uso / P. Whiting, J. Savović, J.P. Higgins [et al.] // Recenti Prog Med. – 2018. – Vol. 109(9). – P. 1e26e. DOI: 10.1701/2990.29932.
8. Protocol of a collaborative evaluation systematized non-systematic reviews by “DESCreview”, a De­sign tool for Evaluating risk of bias/quality in Syste­matized and sCoping reviews / A. Descatha, A. Mayet, G. Sembajwe, M. Fadel // Arch Public Health. – 2025. – Vol. 83(1). – P. 141. DOI: 10.1186/s13690-025-01622-3.
9. Grant, S. Proposal for a critical appraisal tool for studies using the Delphi method (DCAT) / S. Grant, D. Khodyakov // BMJ. – 2025. – Vol. 391. – P. e084509. DOI: 10.1136/bmj-2025-084509.
10. SANRA – a scale for the quality assessment of narrative review articles / C. Baethge, S. Goldbeck-Wood, S. Mertens // Res Integr Peer Rev. – 2019. – Vol. 4. – P. 5. DOI: 10.1186/s41073-019-0064-8.  
11. Managing Conflict of Interest in Clinical Practice Guidelines With Artificial Intelligence: Insights From Large Language Models and Beyond / Y. Wang, Q. Wang, Y. Xun [et al.] // J Evid Based Med. – 2026. – Vol. 19(1). – P. e70114. DOI: 10.1111/jebm.70114.
12. Preserving scientific integrity in academic publishing: Navigating artificial intelligence, journal policies, and the impact factor as a quality indicator / M.E. Kayaalp, S. Zaffagnini, M.A. Mont [et al.] // J ISAKOS. – 2026. – Vol. 17. – P. 100940. DOI: 10.1016/j.jisako.2025.100940.
13. Guidance on Conducting and REporting DElphi Studies (CREDES) in palliative care: Recom­mendations based on a methodological systematic review / S. Jünger, S.A. Payne, J. Brine [et al.] // Palliat Med. – 2017. – Vol. 31(8). – P. 684-706. DOI: 10.1177/0269216317690685.
14. ACCORD (ACcurate COnsensus Reporting Document): A reporting guideline for consensus methods in biomedicine developed via a modified Delphi / W.T. Gattrell, P. Logullo, E.J. van Zuuren [et al.] // PLoS Med. – 2024. – Vol. 21(1). – P. e1004326. DOI: 10.1371/journal.pmed.1004326.
15. Delphi studies in social and health science –Recommendations for an interdisciplinary standardized reporting (DELPHISTAR). Results of a Delphi study / M. Niederberger, J. Schifano, S. Deckert [et al.]; DEWISS network // PLoS One. – 2024. – Vol. 19(8). – P. e0304651. DOI: 10.1371/journal.pone.0304651.
16. PRISMA-S: an extension to the PRISMA state­ment for reporting literature searches in systematic reviews / M.L. Rethlefsen, S. Kirtley, S. Waffen­schmidt [et al.]; PRISMA-S Group // J Med Libr Assoc. – 2021. – Vol. 109(2). – P. 174‑200. DOI: 10.5195/jmla.2021.962.
17. Braun, V. Using thematic analysis in psychology / V. Braun, V. Clarke // Qual Res Psychol. – 2006. – Vol. 3(2). – P. 77-101. DOI: 10.1191/1478088706qp063oa.
18. Yu, J.G. Enhancing Environmental, Social, and Governance Practices in Professional Sports Clubs: A Delphi Study Approach / J.G. Yu, Y. Jeong // Sage Open. – 2025. – Vol. 15(4). – P. 21582440251395587. DOI: 10.1177/21582440251395587. 

СВЕДЕНИЯ ОБ АВТОРАХ:
Александр Борисович Мирошников – доктор биологических наук, доцент, декан факультета адаптивной физической культуры, рекреации и туризма, профессор кафедры спортивной медицины, РУС «ГЦОЛИФК», Москва, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript..
Алексей Викторович Шевцов – кандидат педагогических наук, профессор, профессор кафедры теории и методики единоборств, РУС «ГЦОЛИФК», Москва, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript..
Александр Виталиевич Мештель – аспирант кафедры спортивной медицины, преподаватель кафедры анатомии и биологической антропологии, РУС «ГЦОЛИФК», Москва, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript..
Евгений Александрович Павлов – кандидат педагогических наук, профессор, заведующий кафедрой фитнеса, рекреации и туризма, РУС «ГЦОЛИФК», Москва, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript..
Максим Викторович Максимов – магистр спорта, спортивный нутрициолог, Центр спорта и образования «Самбо-70», Москва, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript.. 

INFORMATION ABOUT THE AUTHORS:
Aleksandr B. Miroshnikov – Doctor of Biological Sciences, Associate Professor, Dean of the Faculty of Adaptive Physical Culture, Recreation and Tourism, Professor of the Department of Sports Medicine, Russian University of Sport “GTSOLIFK”, Moscow, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript..
Aleksej V. Shevtsov – Candidate of Pedagogical Sciences, Professor, Professor of the Department of Theory and Methodology of Martial Arts, Russian University of Sport “GTSOLIFK”, Moscow, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript..  
Aleksandr V. Meshtel – Postgraduate Student of the Department of Sports Medicine, Assistant of the Department of Anatomy and Biological Anthropology, Russian University of Sport “GTSOLIFK”, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript..
Evgenij A. Pavlov – Candidate of Pedagogical Sciences, Professor, Head of the Department of Fitness, Recreation and Tourism, Russian University of Sport “GTSOLIFK”, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript..
Maksim V. Maksimov – Master of Sports, Sports nutritionist, Sambo-70 Center of Sport and Education, Moscow, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript..    

Для цитирования: Чек-лист CLEAR для оценки нарративных обзоров: результаты международного Дельфи-консенсуса, проведенного учеными в области спортивной науки / А.Б. Мирошников, А.В. Шевцов, А.В. Мештель [и др.] // Российский журнал спортивной науки: медицина, физиология, тренировка. – 2026. – Т. 5. – № 2(18). DOI: 10.24412/2782-6570-2026_05_02_4
For citation: Miroshnikov A.B., Shevtsov A.V., Meshtel A.V., Pavlov E.A., Maksimov M.V. CLEAR checklist for evaluating narrative reviews: results of the international Delphi consensus in the field of sports science. Russian Journal of Sports Science: Medicine, Physiology, Training, 2026, vol. 5, no. 2(18). DOI: 10.24412/2782-6570-2026_05_02_4