Исследования ИИ эксперты назвали полной катастрофой
Ученые говорят, что в исследованиях по искусственному интеллекту вырисовывалась проблема с помоями: «Это полный бардак». Один человек утверждает, что в этом году он написал 113 научных работ по искусственному интеллекту, 89 из которых будут представлены на этой неделе на одной из ведущих мировых конференций по ИИ и машинному обучению, которая вызвала вопросы у ученых-компьютерщиков о состоянии исследований в области ИИ.
Автор, Кевин Чжу, недавно получил степень бакалавра компьютерных наук в Калифорнийском университете в Беркли и теперь руководит компанией Algoverse по исследованию искусственного интеллекта и наставничеству старшеклассников, многие из которых являются его соавторами в статьях. Сам Чжу окончил среднюю школу в 2018 году, пишет The Guardian.
В статьях, опубликованных им за последние два года, рассматриваются такие темы, как использование искусственного интеллекта для определения местонахождения кочевников-скотоводов в странах Африки к югу от Сахары, оценка повреждений кожи и перевод индонезийских диалектов. На своей странице в социальной сети он рекламирует публикацию “более 100 лучших докладов на конференциях за прошедший год”, которые “цитировались OpenAI, Microsoft, Google, Стэнфордом, Массачусетским технологическим институтом, Оксфордом и другими”.
Работы Чжу — это “катастрофа”, — сказал в интервью Хани Фарид, профессор компьютерных наук в Беркли. “Я совершенно убежден, что все это, сверху донизу, — всего лишь вибрационное кодирование”, — сказал он, имея в виду практику использования искусственного интеллекта для создания программного обеспечения.
Профессор Фарид привлек внимание к многочисленным публикациям Чжу в недавнем посте в соцсети, который спровоцировал обсуждение других подобных случаев среди исследователей ИИ, которые заявили, что их новая популярная дисциплина сталкивается с потоком некачественных исследовательских работ, вызванных академическим давлением и, в некоторых случаях, инструментами ИИ.
В ответ на запрос The Guardian Чжу сказал, что он руководил выпуском 131 статей, которые были “командной работой” его компании Algoverse. Компания взимает 3325 долларов с учащихся старших классов и студентов старших курсов за выборочный 12-недельный опыт онлайн-наставничества, который включает в себя помощь в отправке работ на конференции.
“Как минимум, я помогаю в разработке методологии и экспериментального дизайна предложений, а также читаю и комментирую полные проекты статей перед отправкой”, — сказал он, добавив, что в проектах по таким темам, как лингвистика, здравоохранение или образование, участвуют “главные исследователи или наставники с соответствующим опытом”.
Команды использовали “стандартные инструменты повышения производительности, такие как менеджеры ссылок, проверка орфографии, а иногда и языковые модели для редактирования текстов или повышения ясности”, — сказал он в ответ на вопрос о том, были ли статьи написаны с использованием искусственного интеллекта.
Стандарты рецензирования для исследований в области искусственного интеллекта отличаются от большинства других научных областей. Большинство работ в области искусственного интеллекта и машинного обучения не проходят строгую экспертизу в таких областях, как химия и биология, — вместо этого статьи часто представляются менее формально на крупных конференциях, таких как NeurIPS, одна из ведущих в мире конференций по машинному обучению и ИИ, где Чжу планирует выступить с докладом.
Пример Чжу указывает на более серьезную проблему в исследованиях искусственного интеллекта, сказал Фарид. Конференции, в том числе NeurIPS, перегружены растущим количеством заявок: в этом году NeurIPS представила 21 575 докладов, по сравнению с менее чем 10 000 в 2020 году. Другая крупнейшая конференция по искусственному интеллекту, Международная конференция по обучению репрезентации (ICLR), сообщила о 70-процентном увеличении ежегодных заявок на участие в конференции 2026 года — почти на 20 000 докладов по сравнению с чуть более чем 11 000 на конференцию 2025 года.
“Рецензенты жалуются на низкое качество статей, даже подозревая, что некоторые из них созданы с помощью искусственного интеллекта. Почему этот академический праздник утратил свою изюминку?” — задался вопросом китайский технический блог 36Kr в ноябрьском посте о ICLR, отметив, что средний балл, который рецензенты присудили статьям, снизился по сравнению с прошлым годом.
Между тем, студенты и преподаватели сталкиваются с растущим давлением, вынуждающим их публиковать больше статей и не отставать от своих коллег. По словам ученых, нечасто удается опубликовать двузначное число, а тем более трехзначное, высококачественных научных работ по информатике за год. Фарид говорит, что иногда его студенты пишут работы с “вибрационным кодом”, чтобы увеличить количество публикаций.
“Так много молодых людей хотят заниматься искусственным интеллектом. Сейчас это безумие”, — сказал Фарид.
По словам Джеффри Уоллинга, адъюнкт-профессора Технологического университета Вирджинии, NeurIPS рассматривает представленные ему статьи, но этот процесс гораздо быстрее и менее тщателен, чем стандартная научная экспертиза. В этом году на конференции было задействовано большое количество аспирантов для проверки статей, что, по словам председателя NeurIPS, поставило под угрозу процесс.
“Реальность такова, что часто рецензентам конференций приходится просматривать десятки статей за короткий промежуток времени, и обычно они практически не редактируются”, — сказал Уоллинг.
Уоллинг согласился с Фаридом в том, что сейчас публикуется слишком много статей, и сказал, что он сталкивался с авторами, у которых за год выходит более 100 публикаций. “Ученых вознаграждают больше за объем публикаций, чем за качество… Всем нравится миф о сверхпродуктивности”, — сказал он.
Свежие комментарии