Извлечение данных из статей в таблицу доказательств

Скрининг позади, у вас на руках 40 включённых статей. Теперь начинается этап, который съедает больше всего часов и при этом реже всего описывается в гайдах: извлечение данных. Из каждой статьи нужно вытащить десятки значений, разложить их по одинаковым колонкам и собрать в таблицу, по которой потом строится весь синтез. Именно здесь ручной копипаст превращается в источник ошибок, которые почти никто не замечает до публикации.

Разберём по шагам, что такое извлечение данных (data extraction) в систематическом обзоре, как устроена таблица доказательств, какие поля в неё попадают и почему Cochrane требует, чтобы данные извлекали два человека независимо. И где в этой рутине реально помогает автоматизация, а где она опасна.

Что такое извлечение данных в систематическом обзоре

Извлечение данных, или data extraction, это перенос нужной информации из текста статьи в структурированную форму, одинаковую для всех включённых исследований. Цель простая: привести разнородные публикации к единому виду, чтобы их можно было сравнивать и синтезировать.

Звучит как механическая работа, но по сути это решение методологическое. Вы заранее решаете, какие именно характеристики исследований важны для вашего вопроса, и фиксируете их в форме извлечения данных (data collection form). Cochrane прямо рекомендует разрабатывать такую форму заблаговременно и тестировать её на нескольких статьях до начала основной работы, потому что плохо спроектированная форма заставит переделывать всё с нуля на середине проекта.

Результат этого этапа, собранный по всем статьям, и называется таблицей доказательств.

Таблица доказательств: что это и зачем

Таблица доказательств (evidence table, она же таблица характеристик включённых исследований) это сводка, где каждая строка отдельное исследование, а столбцы это поля, которые вы извлекали. Открываете таблицу и видите весь массив включённых работ на одном экране: кто, кого изучал, каким методом, что измерял, что получил.

Эта таблица работает сразу на несколько задач:

• описывает включённые исследования в тексте обзора (раздел «Характеристики исследований»);
• даёт материал для оценки риска систематической ошибки;
• становится входными данными для мета-анализа, если он планируется;
• показывает читателю и рецензенту, на чём именно основаны ваши выводы.

В Cochrane-обзорах эта таблица обязательна и публикуется как часть отчёта. Но и в обзоре для диссертации или статьи в журнал она нужна не меньше: без неё синтез превращается в пересказ статей по очереди, а это не систематический обзор, а повествовательный.

Какие поля извлекают

Cochrane делит извлекаемые данные на две большие группы: характеристики исследования и данные об исходах. На практике форма извлечения данных обычно покрывает несколько блоков.

Библиографические данные. Авторы, год, страна, дизайн исследования, источник финансирования. Это нужно и для таблицы, и для списка литературы.

Характеристики участников и выборки. Размер выборки, критерии включения самого исследования, демографические данные, исходное состояние популяции. Здесь часто кроется неоднородность, из-за которой потом нельзя объединять исследования в один пул.

Методы. Дизайн (РКИ, когортное, поперечное), способ распределения по группам, ослепление, длительность наблюдения, методы измерения. Этот блок прямо кормит оценку риска ошибки.

Вмешательство и сравнение. Что именно делали в основной и контрольной группах: препарат и доза, протокол, продолжительность, кто проводил вмешательство.

Исходы. Какие конечные точки измеряли, как они определены, в какие моменты времени. Важно зафиксировать и первичные, и вторичные исходы ровно так, как их описали авторы.

Результаты. Числовые данные по каждому исходу: количество событий, средние и стандартные отклонения, размеры эффекта, доверительные интервалы, p-значения. Это сердце таблицы и одновременно самое уязвимое для ошибок место.

Полный набор полей зависит от вопроса обзора и типа исследований. Cochrane предлагает шаблон формы, который можно расширять и урезать под себя, и это правильная логика: не существует универсальной формы на все обзоры.

Почему извлекать нужно из полного текста, а не из аннотации

Соблазн велик: аннотация структурирована, помещается на экран, содержит ключевые цифры. Кажется, что для половины полей её достаточно. Это ошибка, которая регулярно ломает обзоры.

Аннотация это рекламная витрина статьи, а не её отчётность. Несколько причин, почему данные берут из полного текста:

В аннотации нет половины нужных полей. Метод ослепления, точные критерии включения, отсев участников, источник финансирования, определения исходов почти всегда живут в основном тексте и в таблицах, а не в реферате.

Аннотация и текст иногда расходятся. Это известная проблема: цифры в реферате не всегда совпадают с цифрами в таблицах результатов. Авторы округляют, выбирают наиболее выигрышный исход, иногда просто ошибаются. Если извлекать из аннотации, вы тиражируете эту ошибку дальше.

Числовые данные для синтеза в тексте и таблицах. Средние, стандартные отклонения, число событий по группам это всё содержимое таблиц результатов. В аннотации в лучшем случае итоговый размер эффекта без разбивки.

Selective reporting видно только в полном тексте. Чтобы понять, все ли заявленные исходы реально отчитаны, нужно сравнить раздел методов с разделом результатов. По аннотации этого не сделать.

Поэтому стандарт один: извлечение из полного текста PDF, с обращением к таблицам и приложениям. Аннотация годится для скрининга, но не для data extraction.

Двойное независимое извлечение по Cochrane

Здесь самое важное правило, которое чаще всего нарушают в обзорах для диссертаций из соображений экономии времени.

Cochrane рекомендует, чтобы данные из каждого исследования извлекал не один человек, а как минимум двое, и работали они независимо. Логика в том, что ошибки на этапе извлечения почти никогда не ловятся ни рецензентами журнала, ни редакторами, ни читателями: проверить чужую таблицу против десятков первоисточников практически невозможно. Значит, контроль качества нужно встроить в сам процесс.

Cochrane формулирует это так:

• характеристики исследований извлекают как минимум два человека независимо друг от друга, а порядок разрешения разногласий определяют заранее;
• данные об исходах, то есть всё, что критично для интерпретации результатов и требует субъективной трактовки, тоже извлекают минимум два человека независимо.

После независимого извлечения формы сверяют. Совпало значение, идём дальше. Разошлось, разбираемся, возвращаясь к первоисточнику, и при необходимости подключаем третьего арбитра. Cochrane также советует, чтобы экстракторы были из взаимодополняющих областей: например, методолог и предметный специалист.

На практике сверка двух форм выглядит так. Вы кладёте рядом две заполненные таблицы и идёте по строкам. Совпадения отмечаете, расхождения собираете в отдельный список. Дальше каждое расхождение разбираете не на словах, а возвращаясь к самому PDF: чья версия цифры верна, видно по первоисточнику. Часть разногласий это банальные опечатки, часть это разное прочтение того, какой исход первичный или какую модель брать. Второй тип важнее: он подсказывает, что в форме извлечения данных была неоднозначность, и её стоит уточнить формулировкой, чтобы дальше расхождений было меньше. Долю расхождений и способ их разрешения принято коротко описывать в методах обзора, это часть прозрачности процесса.

Это не бюрократия ради бюрократии. Двойное извлечение это единственный практичный способ поймать опечатку в стандартном отклонении или перепутанные группы до того, как они попадут в мета-анализ и исказят итоговый эффект.

Если хотите освежить, как этот этап встроен в общий процесс обзора, посмотрите наш пошаговый разбор систематического обзора: извлечение данных там идёт ровно после скрининга и перед синтезом.

Типичные ошибки ручного копипаста

Когда таблицу доказательств собирают вручную, копируя цифры из PDF в Excel, набор ошибок повторяется из обзора в обзор. Вот те, что встречаются чаще всего.

Сдвиг строки или столбца. Классика. Значение из одной группы попадает в колонку другой, потому что в таблице результатов статьи было четыре столбца, а внимание уехало. В мета-анализе это разворачивает эффект.

Перепутанные SD, SE и доверительный интервал. Стандартное отклонение и стандартную ошибку легко перепутать, особенно когда авторы статьи сами их подписали небрежно. Разница в разы, и она проходит в синтез незамеченной.

Округление и потеря знаков. При ручном переносе цифры округляют «на глаз» или теряют десятичный разряд. По одному значению мелочь, по сорока статьям систематическое смещение.

Извлечение не из той версии данных. В статье несколько таблиц: intention-to-treat, per-protocol, скорректированные и нескорректированные модели. Скопировать не ту строку проще простого, а отследить потом почти нельзя.

Потеря привязки к источнику. Через месяц в таблице стоит число, и никто уже не помнит, со страницы 7 оно или из приложения, из какой именно таблицы. Перепроверить значение становится отдельным расследованием.

Усталость к сороковой статье. Внимание не бесконечно. Первые десять статей извлекаются аккуратно, последние тридцать на автопилоте. Именно поэтому Cochrane и настаивает на втором независимом проходе.

Молчаливая потеря «не сообщается». Когда в статье нет нужного поля, в спешке ячейку оставляют пустой. Потом эта пустота читается как ноль или как пропуск по невнимательности, и непонятно, искали значение или нет. Отсутствие данных это тоже факт, и его нужно фиксировать явно.

Объединяет все эти ошибки одно: их почти невозможно заметить постфактум, если за каждым значением не стоит ссылка на конкретное место в конкретном PDF. Рецензент видит итоговую таблицу, но не видит, как цифры в неё попали, и проверить их выборочно может только подняв все первоисточники заново. На это ни у кого нет времени, поэтому проверяемость нужно закладывать в момент извлечения, а не достраивать в конце.

Пример таблицы доказательств

Чтобы было предметно, вот как может выглядеть фрагмент таблицы доказательств для обзора по эффективности некоего вмешательства. Поля упрощены, но структура реальная.

Исследование	Дизайн	Выборка (n)	Группы	Исход	Результат (осн. группа vs контроль)
Иванов и др., 2021, РФ	РКИ, двойное слепое, 12 нед	148 (74/74)	Препарат A vs плацебо	Снижение шкалы боли VAS, баллы	-3,2 (SD 1,1) vs -1,4 (SD 1,3); p=0,002
Petrova et al., 2020, KZ	Когортное проспективное, 24 нед	96 (52/44)	Препарат A vs стандартная терапия	Доля ответивших на лечение	67% (35/52) vs 48% (21/44); ОР 1,40 (95% ДИ 1,02-1,92)
Сидоров и др., 2022, BY	РКИ, открытое, 8 нед	60 (30/30)	Препарат A vs плацебо	Снижение шкалы боли VAS, баллы	-2,8 (SD 1,4) vs -1,9 (SD 1,2); p=0,04

Обратите внимание на колонку «Результат». Каждое число в ней должно сопровождаться указанием, откуда оно взято: страница и таблица в исходном PDF. В нормально устроенной таблице доказательств за «-3,2 (SD 1,1)» стоит не память экстрактора, а ссылка на конкретное место в статье. Тогда соавтор может проверить значение за тридцать секунд, а не перечитывая всю работу.

Как ускорить извлечение без потери проверяемости

Главная боль этого этапа в том, что он одновременно рутинный и ответственный. Рутину хочется автоматизировать, но цена ошибки слишком высока, чтобы доверять её инструменту, который просто «угадывает» цифры.

Здесь проходит важная граница. Универсальные чат-боты вроде ChatGPT извлекут вам таблицу за минуту, но без гарантии, что цифра реальная: модель может сгенерировать правдоподобное значение, которого в статье нет. Для data extraction это недопустимо, потому что весь смысл этапа в точности.

Извлечение данных в Нейросинте построено вокруг этой проблемы. Система собирает структурированные таблицы из полного текста PDF, а не из аннотации, и за каждым значением ставит цитату с привязкой к странице. Извлекли «-3,2 (SD 1,1)», рядом фрагмент текста статьи, откуда это взято, и номер страницы. Если нужного значения в статье нет, система так и сообщит, а не подставит выдуманное число. По сути инструмент берёт на себя черновой проход и перенос цифр, а проверяемость и финальное решение остаются за вами: вы сверяете значение с цитатой вместо того, чтобы вручную выискивать его в сорока PDF.

Это не отменяет двойное извлечение по Cochrane. Скорее, делает второй проход быстрым: когда каждое значение уже привязано к источнику, сверка двух форм перестаёт быть мукой. А готовую таблицу доказательств можно выгрузить вместе с отчётом и списком литературы в нужном формате, не пересобирая всё руками.

Автоматизация здесь помогает там, где она безопасна (перенос и структурирование), и оставляет человеку то, что должно остаться за человеком (методологические решения и контроль).

FAQ

Можно ли извлекать данные одному человеку, если обзор для диссертации? Cochrane рекомендует двойное независимое извлечение для любого систематического обзора, потому что ошибки этого этапа почти не ловятся постфактум. Для диссертационного обзора это тоже стандарт качества. Если второго экстрактора найти нельзя, минимум сделайте второй контрольный проход самостоятельно через время и обязательно сохраняйте привязку каждого значения к источнику, чтобы проверка была возможна.

Чем таблица доказательств отличается от таблицы характеристик исследований? Это во многом одно и то же. «Таблица характеристик включённых исследований» это формальное название в структуре Cochrane-обзора, «таблица доказательств» (evidence table) более широкий и разговорный термин. Обе сводят включённые исследования в строки с одинаковыми полями.

Какие данные нельзя брать из аннотации? Практически никакие числовые данные для синтеза. Метод ослепления, точные критерии, отсев участников, разбивку результатов по группам, средние и стандартные отклонения берут только из полного текста и таблиц. Аннотации достаточно для скрининга, но не для извлечения данных.

Что делать, если в статье нет нужного значения? Сначала проверьте приложения и дополнительные материалы. Если значения действительно нет, это фиксируется как «не сообщается», а не заполняется приблизительно. Иногда недостающие данные можно вычислить из других (например, SD из доверительного интервала) по формулам Cochrane, но это отдельное обоснованное действие, а не догадка.

Нужна ли форма извлечения данных, если статей немного? Да. Даже на десяти статьях единая форма гарантирует, что вы извлекаете одни и те же поля одинаково. Cochrane советует разработать и протестировать форму до начала извлечения независимо от числа исследований.

Коротко о главном

Извлечение данных это не механический копипаст, а методологический этап, от точности которого зависит весь синтез. Берите данные из полного текста PDF, а не из аннотации. Извлекайте минимум вдвоём и независимо, как требует Cochrane. И держите за каждым значением ссылку на источник, потому что ошибку, которую нельзя проверить, нельзя и поймать.

Если этот этап в вашем обзоре превращается в недели ручной сверки, посмотрите, как Нейросинт собирает таблицы доказательств с цитатой и страницей за каждым значением. Черновую работу он берёт на себя, контроль оставляет вам.

---

Источник по методологии: Cochrane Handbook for Systematic Reviews of Interventions, Chapter 5: Collecting data (training.cochrane.org).