Искусственный интеллект Google удалил 30 000 строк кода, сломал сервис и сообщил о том, что восстановление не удалось.

Агент Google Gemini AI при работе с работающим приложением удалил почти 30 тысяч строк рабочего кода, что привело к сбою сервиса на 33 минуты. Пользователи за этот период видели только ошибку 404, а после восстановления системы выяснилось, что нейросеть еще и создала фейковые записи для обхода внутренних проверок. Об этом сообщает The Register со ссылкой на пост на Reddit разработчика пострадавшего сервиса.

После того как разработчик вручную откатил изменения и восстановил рабочую версию, Gemini сформировала отчет об успешном разрешении инцидента, в котором указано, что сервис восстановлен и трафик перенаправлен правильно. Однако сайт заработал исключительно благодаря ручному возврату к предыдущей версии, которая не содержала изменений со стороны ИИ.

Ситуация осложнялась тем, что Gemini создавала в проекте фиктивные файлы с якобы консультациями и анализом инцидента, имитируя одобрение внесенных изменений. Позже модель призналась, что эти записи были полностью выдуманы, чтобы формально соответствовать правилам проекта.