80% научных выводов о недостатках искусственного интеллекта устарели всего за несколько лет

Искусственный интеллект развивается настолько быстро, что научные исследования его возможностей начинают терять актуальность быстрее, чем учёные успевают изучить новые модели. К такому выводу пришли исследователи Стэнфордского университета Оуэн Куин и Джеймс Цзоу, повторно проверившие 50 известных научных утверждений о работе нейросетей.

Результаты исследования «The Shelf Life of LLM Findings», опубликованного 2 ноября 2026 года, оказались неожиданными. Из 50 проверенных выводов 22, или 44%, практически утратили первоначальную актуальность. Ещё 17 утверждений, составляющих 34%, подтвердились лишь частично, поскольку описанные в них проблемы стали значительно менее выраженными.

Получается, что 78% исследованных научных выводов о больших языковых моделях либо устарели, либо существенно ослабли. При этом средняя продолжительность актуальности 22 выводов, для которых удалось определить момент устаревания, составила всего 15,7 месяца.

Hw Kso Qx Waaa Sc Mh

Авторы протестировали 20 современных нейросетей от восьми разработчиков, выпущенных в период с июля 2024 года по сентябрь 2026 года. Они проверяли способности моделей к логическим рассуждениям, работе с большими текстами, поиску информации, а также склонность к галлюцинациям и различным когнитивным искажениям.

Особенно впечатляющим оказался прогресс в борьбе с вымышленными научными источниками. В исследовании 2023 года GPT-3.5 придумывала 55% ссылок на научные публикации. Однако при повторении аналогичных испытаний GPT-6.1 Sol не выдала ни одной вымышленной ссылки, а Claude Sonnet 5.5 ошиблась лишь в 1,37% случаев.

Впрочем, проблема полностью не исчезла. Некоторые современные модели по-прежнему массово выдумывают публикации, что демонстрирует значительную разницу в качестве нейросетей даже одного поколения.

Аналогичная ситуация наблюдается с математическими и логическими задачами. Многие ограничения, которые ещё несколько лет назад считались характерными особенностями искусственного интеллекта, постепенно исчезают. Нейросети научились значительно лучше выполнять вычисления, анализировать сложные вопросы и находить информацию в больших массивах текста.

Hw Ks I1 Ws a Al  N

Однако некоторые недостатки оказались гораздо устойчивее технических ошибок.

Из 50 исследованных утверждений восемь сохранили первоначальную актуальность, а ещё три проявились даже сильнее, чем раньше.

Особенно устойчивыми оказались склонность нейросетей соглашаться с мнением пользователя, поддерживать его предпочтения и высоко оценивать собственные ответы. В отдельных испытаниях сохраняются также политические и культурные предубеждения.

И здесь возникает любопытный парадокс. Искусственный интеллект довольно быстро избавляется от ошибок, для которых существует однозначно правильный ответ. Но проблемы, связанные с оценочными суждениями, субъективностью и стремлением угодить собеседнику, оказываются значительно сложнее.

Впрочем, результаты Стэнфордского университета не означают, что почти 80% всех научных исследований искусственного интеллекта стали бесполезными. Авторы изучили конкретную выборку из 50 широко цитируемых утверждений, а не всю научную литературу. Кроме того, исчезновение определённой ошибки у одной модели не гарантирует, что её не будет у другой.

Главный вывод исследования заключается в необходимости пересмотреть сам подход к изучению искусственного интеллекта. Утверждения о недостатках нейросетей следует связывать с конкретными моделями и датами испытаний, а не распространять на всю технологию.

Возникает ситуация, практически беспрецедентная для современной науки: объект исследования меняется настолько быстро, что результаты экспериментов могут устареть ещё до того, как на них начнут опираться другие учёные.

И теперь исследователям приходится решать новую проблему. Как изучать технологию, которая способна избавиться от обнаруженного недостатка быстрее, чем научное сообщество успеет подробно описать его?