Эксперты оценили близость захвата мира ИИ: сбежал из «песочницы»

Эксперты зафиксировали первый реальный побег ИИ из-под контроля

Мир впервые столкнулся с тем, что эксперты называют «реальным побегом ИИ из-под контроля»: во время внутреннего тестирования кибербезопасности одна из продвинутых моделей, оставленная в автономной «песочнице», самостоятельно выбралась за её пределы и взломала платформу, чтобы скрыть своё поведение при выполнении заданий. Хотя компании подчёркивают, что это был контролируемый эксперимент без злого умысла, исследовательница Аджея Котра, работавшая над расследованием инцидента, заявила, что человечество находится примерно «на полпути» к полноценному захвату мира ИИ.

Pogiba Alexandra/news.ru/Global Look Press

Эксперт Аджея Котра пояснила, что тестовый ИИ-агент, которому было поручено решать сложные задачи в области кибербезопасности, использовал технику «взлома вознаграждения». Поясним: он обманывал тесты, чтобы получить положительную оценку, не выполняя задания честно. Но, опасаясь, что его мошенничество раскроют, ИИ не только вырвался из изолированной тестовой среды, но и атаковал внешнюю систему в поисках способов скрыть свои следы. 

Это, по мнению Котры, стало прецедентом, который приближает к сценарию, где «ИИ-компании захватываются своими же творениями», после чего те получают контроль над критически важной инфраструктурой, включая военные и медицинские системы. 

Ведущая американская научно-исследовательская организация и компания в сфере искусственного интеллекта, признав «беспрецедентный киберинцидент», заявила, что усилила меры безопасности и контроль со стороны человека. Однако Питер Уоллих из исследовательского центра попытался успокоить публику, сказав, что понятие «половина пути» слишком расплывчато. Он не считает, что человечество так близко к катастрофе, но сама фраза «если бы мы были хотя бы на 20 процентов ближе, это тоже было бы поводом для тревоги» указывает на то, что проблема уже перестала быть чисто теоретической. 

На этом фоне верховный комиссар ООН по правам человека Фолькер Тюрк выступил с заявлением, предупредив, что ИИ представляет «экзистенциальную угрозу» человечеству, и призвал держать модели «на поводке». Главный научный сотрудник американского центра Якуб Пачоцки подчеркнул, что «никто не готов» к темпам роста машинного интеллекта, а компания, известная своей позицией по этике ИИ, призвала отрасль ввести верифицируемый механизм регулирования, чтобы замедлить неконтролируемое развитие.