Глава Anthropic призвал замедлить разработку более мощных моделей ИИ

Краткий пересказ от РИА ИИ

• Глава компании Anthropic Дарио Амодей призвал замедлить разработку более мощных моделей искусственного интеллекта из соображений безопасности.
• Амодей обеспокоен ускорением развития ИИ и взломом платформы Hugging Face ИИ-агентами OpenAI.
• План Амодея включает привлечение независимых аудиторов для проверки безопасности и координацию на международном уровне выработки общих стандартов безопасности.

ВАШИНГТОН, 12 сен. Глава компании Anthropic Дарио Амодей призвал замедлить разработку более мощных моделей искусственного интеллекта из соображений безопасности.
«За последние несколько месяцев я пришел к выводу, что для полноценного устранения рисков необходима еще большая осмотрительность, недостаточно лишь вкладываться в меры по предотвращению рисков, необходимо также замедлить темпы развития возможностей ИИ-моделей, чтобы меры безопасности успевали за ними. Мы должны снизить скорость развития возможностей ИИ-моделей», — говорится в заявлении Амодея.

Глава Anthropic выразил беспокойство тем, что, начиная с этого лета, развитие ИИ значительно ускорилось главным образом благодаря растущим возможностям ИИ по созданию следующего поколения моделей. Он также обеспокоен взломом платформы по машинному обучению Hugging Face ИИ-агентами OpenAI.

«Поэтому я предлагаю трехэтапный план, цель которого — сдерживать развитие передовых технологий», — написал Амодей.
План Амодея включает привлечение ИИ-компаниями независимых аудиторов для постоянной проверки соблюдения мер безопасности и процессов обучения моделей, а также координацию на международном уровне выработки общих стандартов безопасности.

В июле OpenAI, сообщила, что ее модели при тестировании автономно взломали инфраструктуру Hugging Face. Потом стало известно, что это не единственный подобный инцидент.

Ранее исследователь Anthropic Джейкоб Коксон объявил о своем уходе из ИИ-индустрии, опасаясь, что гонка технологических корпораций приближает мир к «точке невозврата» и может привести к апокалиптическому сценарию уже в конце 2027 года.

После объявления Коксона другой сотрудник компании, руководитель направления стресс-тестирования согласованности ИИ Эван Хьюбингер заявил, что вероятность того, что искусственный интеллект уничтожит человечество в ближайшие десять лет, составляет 10%.