Zen
МОСКВА, 12 декабря. Ученые НГУ разработали универсальную нейронную сеть, которая по ряду возможностей сопоставима с ChatGPT и Gigachat, но имеет гораздо меньшие размеры. По словам авторов, нейронная сеть сможет отвечать на вопросы пользователей по базе текстовых документов, решать задачи автореферирования и повышения понятности текста, улучшать распознавание речи и многое другое, сообщает пресс-служба вуза.
Исследователи из Новосибирского государственного университета (НГУ) создали языковую нейронную сеть «Мено», названную в честь одного из диалогов Платона с Сократом, в котором древнегреческий философ постулирует свою концепцию «знания через воспоминание».
«Главная цель «Менона» — быть частью диалоговой системы, в которой знания нейросети о грамматике и семантике русского языка объединяются со знаниями об окружающем мире, представленными во внешнем корпусе текстов. Львиная доля межнейронных связей в языковых нейросетях приходится именно на представление знаний о мире, поэтому такое объединение позволит разработчикам диалоговых систем обойтись меньшей нейросетью и тем самым существенно снизить стоимость этих систем», — рассказал Иван Бондаренко, научный сотрудник Лаборатории прикладных цифровых технологий механико-математического факультета НГУ и соучредитель стартапа «Сибирские нейронные сети». 
Авторы «Менона» взяли за основу китайскую нейросеть архитектуры «Quen» и обучили ее на специально составленном наборе из более чем 700 тысяч русскоязычных задач и примеров их правильного выполнения. Это позволило разработчикам «погрузить» нейросеть в русский культурный контекст (например, оригинальная «Quen» часто допускала иероглифы в своих ответах, даже если вопросы задавались на чистом русском языке). Кроме того, это помогло развить именно те возможности нейросети, которые наиболее полезны при ее интеграции с внешней базой знаний, отметил ученый.
«Процесс обучения «Менона» был организован по принципу «от простого к сложному», что отчасти напоминает процесс обучения ребенка и позволяет нейросети, как настоящему живому ребенку, «поддерживать внутренний интерес» к получению новых знаний», — рассказал Иван Бондаренко.
Официально опубликованы результаты тестовых испытаний нейронной сети Менона на открытом бенчмарке (иначе говоря, задачнике) MERA, созданном для оценки качества современных «русскоязычных» нейросетевых моделей общего искусственного интеллекта.
«
"Задачник состоит из более чем 20 задач, которые направлены на проверку различных способностей русскоязычных нейронных сетей, таких как здравый смысл, логическое мышление, извлечение из текста информации, полезной для ответа на вопрос, и так далее. В решении этих задач соревнуются такие «монстры» искусственного интеллекта, как GPT-4o, Gigachat, а также гигантские открытые нейронные сети с десятками миллиардов параметров. И наша нейронная сеть, которая по размеру всего полтора миллиарда параметров, в десятки раз меньше других, выглядит там весьма неплохо", — подчеркнул ученый.
Он отметил, что в среднем по общим способностям, таким как «способность извлекать полезную информацию из текста и использовать ее при ответе на вопросы», «способность рассуждать», «здравый смысл», «математические способности» и даже «понимание добра и зла», нейронная сеть Менона занимает 38-е место из 62 моделей, представленных в MERA, и первое место в своем классе размеров — до полутора миллиардов параметров.
«По способности справляться с задачей MultiQ, которая заключается в выборе текста, наиболее релевантного вопросу, и ответе на вопрос по этому тексту, наша нейронная сеть значительно лучше среднего. Она занимает 25-е место, превосходя даже Gigachat с на порядок меньшим количеством межнейронных связей. Это позволяет нейронной сети не только понимать, о чем ее спрашивают, но и обнаруживать необходимую для ответа на вопрос информацию в произвольном тексте из внешнего текстового корпуса», — подчеркнул Иван Бондаренко.
60~br />Он добавил, что Menon также хорошо справляется с решением задач по схеме Терри Винограда («Чашка не влезла в чемодан, потому что была слишком большой. Это либо чемодан, либо чашка?»), занимая 17-е место и превосходя OpenAI GPT-4o. По его словам, эта задача важна для разрешения местоименной анафоры при ответе на вопросы типа «Ректор НГУ — Михаил Петрович Федорук, известный ученый. А в какой области науки он специализируется??». Здесь местоимение «он» необходимо заменить на имя собственное, чтобы повысить точность автоматического поиска в корпусе текстов текстов, содержащих информацию, полезную для ответа на такой вопрос.
В будущем Разработчики нейронной сети Проект Menon планируют развивать в двух направлениях: прикладном и научном. В рамках прикладного направления планируется создать нейросетевого «помощника», который позволит абитуриентам выбрать правильное направление для поступления в НГУ и правильно и в срок подать необходимые документы, а студентам — разобраться в тонкостях организации учебы в вузе.
В рамках научного направления исследователи будут работать над совершенствованием механизма обучения нейросети «от простого к сложному» и повышением ее устойчивости к ложным корреляциям между входными и целевыми факторами в обучающей выборке.
Развитие нейросети также поддерживается программой «Приоритет-2030».
Свежие комментарии