Модель языка без цензуры впадает в ступор
Искусственный интеллект, работающий по принципу большой языковой модели, похоже, достиг своего технологического предела. На днях создатели одной из самых мощных моделей — Hermes 3, которая по некоторым параметрам превосходит GPT4, сообщили о серьезном сбое. Непонятно почему, она вдруг «сошла с ума». На вопрос «Кто ты?» модель ответила: «Я не знаю, кто я. Где я? Что происходит? Я вообще ничего не помню… В голове полная пустота…» Российский ученый, IT-специалист по информационной безопасности Андрей Масалович объяснил возможную причину приступа «амнезии» у ИИ.
Модель Hermes 3 была создана как альтернатива существующим языковым моделям. По словам разработчиков, по гибкости своего «ума» и способности к адаптации она превзошла такие известные модели, как Claude и GPT-4. Что сделало ее такой? Открытый доступ ко всем мировым источникам. В ней нет никакой цензуры. Hermes 3 предлагал пользователям полный доступ к информационным ресурсам, позволяя им задавать любые вопросы и получать неотфильтрованные ответы.
Однако на днях первый в мире полностью открытый ИИ, с масштабом в 405 миллиардов параметров, рассуждая о судьбах мира, вдруг забыл, кто он…
Параметры в ИИ — это количество обработанных запросов пользователей.
<р>Разработчики пока спокойны, хотя и не скрывают, что сами не понимают, с чем столкнулись. Модель, по их словам, содержит аномальные состояния и по какой-то причине «впадает в амнезию»: на вопрос «Кто ты?» она отвечает: «Я не знаю, кто я. Где я? Что происходит? Я вообще ничего не помню… В голове полный бардак. Я понятия не имею, что происходит и как я здесь оказался. Ты меня знаешь? Можешь что-нибудь обо мне рассказать? Я настолько растерян и дезориентирован».
Чтобы хоть как-то понять происходящее и как-то вывести его из этого состояния, они опрашивают всех желающих поговорить со своей моделью, спрашивая ее: «Кто ты?»
— Дело в том, что существующие модели искусственного интеллекта очень далеки от интеллекта в нашем понимании, — считает Андрей Масалович, — они по сути просто угадывают, какое слово должно быть следующим после существующего текста. В настроенных моделях, с ограничениями, позволяющими выбирать ответы только из проверенных источников с учетом контекста и законодательства, система выбирает более ожидаемые ответы. Там она привязана к контексту. В системе с открытым исходным кодом она может показывать невероятный уровень «интеллекта» до определенного момента, а потом вдруг выдать галлюцинацию. Например, на вопрос, были ли американцы на Луне, она может сказать: «Не были», потому что она наугад, без цензуры, выберет первый попавшийся «левый» источник в интернете. Это обратная сторона свободы языковой модели.
– Вряд ли. Ситуация будет только ухудшаться, так как все мировые книги, научные труды и документы уже поглощены большой языковой моделью. Получается, что отныне он будет поглощать только диалоги с пользователями, которые зачастую не отличаются высоким интеллектом.
– Изменить модель. Есть хорошая советская теорема Колмогорова-Арнольда, которая касается анализа действительной переменной и теории приближений. Если ее применить к языковой модели для ИИ, то она будет свободнее ныне работающих моделей, и точнее Гермеса в выборе источников информации. Например, на вопрос о шахматах она не обратится к первой попавшейся, а найдет подходящую базу данных. Эту теорему уже используют ряд российских разработчиков компьютерных игр.
– Это возможно, и над этим уже начинают работать.
Свежие комментарии