Почему ChatGPT выдумывает источники в науке

Вы просите ChatGPT подобрать литературу по теме. Он выдаёт аккуратный список: автор, год, журнал, том, страницы, иногда даже DOI. Всё выглядит безупречно. Вы идёте проверять первую ссылку в Scopus или PubMed, и её там нет. Второй тоже. Третья ведёт на реальную статью, но совсем про другое.

Это не сбой и не «плохой день» модели. Так ChatGPT устроен по определению. Когда он выдумывает источники, он делает ровно то, для чего его обучали: генерирует правдоподобный текст. Проблема не в нейросетях вообще, а в том, что языковую модель просят работать как библиографическую базу, а она так не работает.

Разберём по-честному и технически: почему это происходит, какие реальные случаи уже стоили людям денег и репутации, и что с этим делать исследователю, которому нужны проверяемые ссылки, а не красивые.

Что такое галлюцинации языковой модели

Галлюцинация в контексте больших языковых моделей (LLM) - это уверенно сформулированное утверждение, которое не соответствует действительности. Не оговорка, не опечатка. Модель выдаёт ложный факт с той же интонацией, что и истинный, и сама не отличает одно от другого.

Чтобы понять, откуда это берётся, нужно увидеть, что LLM делает на самом деле. ChatGPT, Gemini, DeepSeek и им подобные не хранят базу фактов и не «ищут» ответ. Они предсказывают следующий токен (примерно слово или его часть) на основе вероятностей, выученных на огромном корпусе текста. Вопрос, на который модель отвечает внутри себя, звучит не «что из этого правда», а «какое продолжение текста наиболее вероятно».

Для многих задач этого достаточно. Пересказать статью, переформулировать абзац, набросать структуру, перевести термин, написать код по шаблону - тут предсказание правдоподобного текста и есть нужный результат. Но библиографическая ссылка - это не «правдоподобный текст». Это точный указатель на конкретный объект в реальном мире. И вот здесь механизм ломается.

Почему именно ссылки и DOI выдумываются чаще всего

Библиографическая ссылка состоит из элементов, каждый из которых модель видела в обучении тысячи раз по отдельности: фамилии авторов, названия журналов, форматы годов, шаблоны DOI вида 10.1038/.... Модель прекрасно знает, как выглядит правильная ссылка. Она не знает, существует ли именно эта.

Когда вы просите источник по теме, ChatGPT собирает статистически вероятную ссылку из знакомых деталей. Берёт реального автора, который правда пишет в этой области. Подставляет реально существующий журнал. Генерирует год, который выглядит уместно. Формирует синтаксически корректный DOI. На выходе - объект, который проходит проверку «на глаз», но за которым нет ни одной настоящей публикации.

Отдельная ловушка - DOI. Идентификатор имеет жёсткий формат, и модель легко его имитирует. По наблюдениям исследователей, часть сгенерированных DOI вообще никуда не ведёт, а часть ведёт на реальную, но совершенно другую статью. Второе опаснее: вы переходите по ссылке, видите живую страницу в Crossref, расслабляетесь и не замечаете, что это не та работа, которую вам процитировали.

Есть и системная причина, почему модель не говорит «не знаю». На этапе обучения с подкреплением её поощряли за полезные, развёрнутые ответы. Признание «у меня нет этого источника» воспринимается как менее удачный ответ, чем уверенный список из десяти ссылок. Поэтому по умолчанию модель скорее придумает, чем откажет. Это поведение, а не злой умысел, но для научной работы разница невелика.

Насколько это массово: цифры из рецензируемых исследований

Это не страшилка из блогов. Масштаб измеряли в нормальных журналах.

Самое показательное исследование - работа Уолтерса и Уайлдер, опубликованная в Scientific Reports (Nature) в 2023 году. Авторы попросили ChatGPT подготовить обзоры литературы и проанализировали 636 сгенерированных цитат. Результат: у GPT-3.5 55% ссылок оказались полностью выдуманными, у GPT-4 - 18%. Но и это не вся беда. Среди ссылок на реально существующие работы ошибки в библиографических данных встречались у 43% цитат GPT-3.5 и у 24% цитат GPT-4: неверный том, не та страница, перепутанный год.

Сложите две цифры. Даже у более новой модели значительная доля ссылок либо не существует, либо содержит ошибку, которая не пройдёт нормальное рецензирование. И это в контролируемом эксперименте, а не в спешке перед дедлайном.

Важная оговорка про версии. Цифры зависят от модели и продолжают меняться, более свежие версии галлюцинируют реже. Но «реже» - это всё ещё не «никогда». Для систематического обзора, где каждая включённая работа должна быть прослеживаемой, даже несколько процентов выдуманных ссылок означают, что проверять придётся всё подряд. А если проверять всё вручную, выигрыш во времени, ради которого вы взяли ИИ, исчезает.

Что измеряли (Walters & Wilder, 636 цитат)	GPT-3.5	GPT-4
Полностью выдуманные ссылки	55%	18%
Ошибки в данных у реальных ссылок	43%	24%

Реальные случаи: когда выдуманная ссылка стоила дорого

Самый известный прецедент произошёл не в науке, а в суде, и именно поэтому о нём узнали все.

Дело Mata v. Avianca (Южный округ Нью-Йорка, решение от 22 июня 2023 года). Адвокаты истца подготовили процессуальный документ с помощью ChatGPT. В нём оказались ссылки на несколько судебных прецедентов, которых не существовало: вымышленные дела, выдуманные цитаты, фальшивые внутренние ссылки. Когда суд не смог найти эти дела и запросил тексты, юристы переспросили ChatGPT, и тот заверил, что дела реальны и «есть в авторитетных базах вроде LexisNexis и Westlaw». Дел по-прежнему не было.

Судья Кевин Кастел назвал часть юридического анализа «бессмыслицей» и наложил штраф 5000 долларов на адвокатов. История разошлась по мировым СМИ и стала хрестоматийным примером того, что бывает, когда правдоподобный текст принимают за проверенный факт.

В науке последствия выглядят менее громко, но бьют по тому же месту. Рецензент находит в вашем обзоре ссылку, которой нет в базах, и дальше под подозрением вся работа. Редакция отклоняет рукопись или, хуже, отзывает уже опубликованную статью. У аспиранта выдуманный источник в диссертации - это вопрос на защите, на который нечего ответить, и удар по научному руководителю заодно. Репутация в академической среде восстанавливается годами, а теряется на одной непроверенной ссылке.

Отдельная категория - те самые «реальный DOI, но не та статья» цитаты. Они не вылетают при беглой проверке и доживают до публикации чаще выдуманных. Именно поэтому опасны не только явные фантазии модели, но и её правдоподобные ошибки.

Чем это грозит лично вам как исследователю

Сведём риски к конкретике, без нагнетания.

• Отзыв или отклонение статьи. Несуществующая или некорректная ссылка - формальное основание. Рецензент не обязан разбираться, специально вы это сделали или доверились ИИ.
• Проблемы на защите. Выдуманный источник в списке литературы диссертации читается как фабрикация данных, даже если вы просто не перепроверили вывод ChatGPT.
• Цепная ошибка. Вы цитируете «факт», которого нет в реальной работе, на него ссылаются другие, ложное утверждение расходится по литературе. Откатить это потом почти невозможно.
• Потеря времени. Парадокс: чтобы безопасно пользоваться выдачей ChatGPT, нужно перепроверить каждую ссылку руками. Это часто дольше, чем собрать литературу нормальным инструментом с самого начала.

Вывод не «ИИ нельзя». Вывод точнее: языковую модель нельзя использовать как источник фактов и ссылок. Это не та работа, для которой она создана.

Где ChatGPT реально полезен, а где нет

Будет нечестно свалить всё в одну кучу. ChatGPT - сильный инструмент, если держать его в пределах его компетенции.

Он хорошо справляется там, где исходные данные даёте вы, а от модели нужна работа с текстом: переформулировать абзац, выправить язык, предложить структуру раздела, объяснить незнакомый метод простыми словами, перевести термин, помочь с черновиком письма редактору. Во всех этих задачах нет требования «назови реальный внешний факт», поэтому и галлюцинировать особо нечем.

Граница проходит ровно там, где вы спрашиваете о фактах внешнего мира, которых нет в вашем промпте: «подбери литературу», «дай ссылки по теме», «какие исследования это подтверждают», «приведи статистику с источником». Здесь модель из помощника превращается в генератор правдоподобной выдумки. Не потому что плохая, а потому что у неё нет доступа к проверяемой базе и нет механизма сказать «я не знаю» вместо красивого ответа.

Простое правило: ChatGPT можно доверить текст, который вы потом сами проверите. Нельзя доверить факт, который вы примете на веру.

Что с этим делать: проверяемость вместо доверия

Есть два уровня решения. Дисциплина и инструмент.

Дисциплина. Любую ссылку из ИИ проверяйте до того, как она попадёт в работу. Минимум:

1. Найдите работу по названию и автору в Scopus, Web of Science, PubMed или OpenAlex. Нет в базах - ссылки нет.
2. Проверьте DOI напрямую через Crossref, а не по тексту от модели. Убедитесь, что он ведёт именно на ту статью, а не на однофамильца темы.
3. Откройте сам источник и сверьте, что в нём правда есть тезис, который вы цитируете. «Реальная статья» и «статья, подтверждающая ваш вывод» - не одно и то же.

Дисциплина работает, но плохо масштабируется. Для обзора на 200-300 работ ручная проверка каждой ссылки съедает недели.

Инструмент. Поэтому в серьёзных задачах языковую модель ставят на привязь к реальным данным. Подход называется grounding, или RAG (retrieval-augmented generation): сначала система находит настоящие документы в реальной базе, а уже потом ИИ работает только с их текстом и обязан ссылаться на конкретное место в конкретном файле. Модель не сочиняет факт из вероятностей, она извлекает его из источника, который вы можете открыть и проверить. Принципиальная разница: не «придумай правдоподобное», а «покажи, где это написано».

Как этот принцип реализован в Нейросинте

Нейросинт построен ровно вокруг проверяемости, потому что в систематических обзорах непрослеживаемая ссылка обесценивает всю работу.

Что это значит на практике:

• За каждым выводом стоит реальная публикация. Поиск идёт по настоящим базам (OpenAlex, Semantic Scholar, PubMed, Crossref, arXiv, а также КиберЛенинка и eLibrary для русскоязычных работ). Система не генерирует ссылки, она находит существующие записи.
• Каждое извлечённое значение сопровождается цитатой и привязкой к странице. Данные берутся из полного текста PDF, а не из аннотации. Вы видите не только число в таблице, но и фразу из статьи, откуда оно взято, и страницу. Проверка занимает секунды, а не часы.
• Скрининг по логике PRISMA с объяснением. Для каждой работы система предлагает «включить» или «исключить», аргументирует решение и приводит цитату из текста. Финальное слово остаётся за человеком.
• Если данных нет, система так и говорит. Это и есть главное отличие от ChatGPT. Где языковая модель сочинит правдоподобную ссылку, чтобы не оставить вас без ответа, инструмент с привязкой к источнику честно сообщает, что в найденных работах нужного значения нет. Пустая ячейка, которую можно проверить, надёжнее красивой выдумки.

О том, почему проверяемость для нас не фича, а принцип, мы подробнее пишем в разделе «О продукте». А как устроен скрининг и извлечение в логике PRISMA, удобнее посмотреть на странице решения для систематических обзоров.

Это не «ИИ против ИИ». Нейросинт тоже использует языковые модели, но в их сильной роли: понять смысл текста, сопоставить критерии, сформулировать аргумент. Чего модель не делает - не выдумывает источник. Источник всегда настоящий, потому что он найден в базе до того, как ИИ начал с ним работать.

Короткий вывод для практики

Когда ChatGPT выдумывает источники, он не ломается. Он работает как задумано: предсказывает правдоподобный текст. Беда начинается там, где этот текст принимают за проверенный факт. В рецензируемых исследованиях доля выдуманных и ошибочных ссылок измеряется десятками процентов, а дело Mata v. Avianca показало, чем это заканчивается, когда никто не перепроверил.

Пользуйтесь ChatGPT там, где он силён: текст, формулировки, объяснения. Для литературы и данных берите инструмент, который привязан к реальным публикациям и показывает, откуда взят каждый вывод. Если хотите собрать обзор так, чтобы за каждой ссылкой стояла настоящая работа с цитатой и страницей, посмотрите, как это делает Нейросинт.

Частые вопросы

Почему ChatGPT придумывает ссылки, если в интернете есть настоящие? Базовая модель не ищет в интернете и не хранит базу фактов. Она предсказывает вероятное продолжение текста. Правильно оформленная ссылка статистически вероятна, поэтому модель её собирает из знакомых деталей, не проверяя, существует ли такая работа на самом деле.

Новые версии ChatGPT всё ещё выдумывают источники? Реже, чем старые. В исследовании Scientific Reports доля выдуманных ссылок упала с 55% у GPT-3.5 до 18% у GPT-4. Но «реже» не равно «никогда», и для научной работы остаточный риск всё равно требует проверки каждой ссылки.

Если ChatGPT дал DOI, ссылка точно настоящая? Нет. DOI имеет жёсткий формат, и модель легко его имитирует. Часть сгенерированных идентификаторов не ведёт никуда, часть ведёт на реальную, но другую статью. Проверяйте DOI напрямую через Crossref и открывайте сам источник.

Чем grounding и RAG отличаются от обычного ChatGPT? Обычная модель генерирует ответ из выученных вероятностей. Системы с grounding или RAG сначала находят реальные документы в базе и только потом дают ИИ работать с их текстом, обязывая ссылаться на конкретный источник. Факт извлекается, а не сочиняется.

Можно ли вообще использовать ИИ для подбора литературы? Можно, если инструмент привязан к реальным научным базам и показывает источник за каждым выводом. Проблема не в ИИ как таковом, а в использовании языковой модели общего назначения как источника фактов. Для поиска и скрининга нужен инструмент, где ссылка найдена в базе, а не придумана.