Клод Мифос: Почему Anthropic держит самый мощный ИИ на планете под замком?

Любители ИИ и теоретики заговора все чаще обсуждают компанию Anthropic — точнее, один из ее проектов, который держится в секрете. Ходят слухи, что языковая модель Mythos настолько мощная, что ее решили держать под строгим контролем и не публиковать в открытом доступе. Но почему? Портал livescience.com разобрался в проблеме.

Mythos находится на вершине моделей Claude, но это не просто «обновление». Согласно информации представителей компании и деталям, попавшим в сеть благодаря утечкам, система создана для обработки больших и сложных баз кода — без потери логической нити на больших расстояниях.

В отличие от более ранних моделей, в которых терялась логика в середине задачи, Mythos может читать код, отмечать проблемы и превращать их во что-то работающее. ИИ также способен превращать уязвимости в активные эксплойты даже в программах, исходный код которых недоступен. Mythos продолжает решать проблемы без строгого контроля оперативного инженера, постоянно тестируя и корректируя собственные решения.

Anthropic не вдавался в подробности о том, как устроен Mythos или какова архитектура модели, но, очевидно, он не просто дает ответы на вопросы. Таинственный ИИ, похоже, действительно приближается к тестированию систем, а не просто к их анализу. Он может проверить свои результаты на практике и при необходимости адаптировать подход. Кроме того, модель, похоже, способна выполнять работу в несколько этапов без перезагрузки логики.

Конечно, это не означает, что Mythos может действовать полностью независимо от оператора — но ИИ, по крайней мере, способен идти дальше своих конкурентов, прежде чем потребует вмешательства человека. Anthropic утверждает, что якобы она настолько хорошо прошла тесты кибербезопасности, что оказалась менее актуальной, чем считалось ранее.

Mythos тестировался в изолированных «песочницах» — среде, в которой запускаются строго определенные программы, приложения и т. д. Опасения по поводу того, что ИИ не следует выпускать на волю, возникли потому, что по крайней мере в одном случае ему удалось выйти за пределы своей песочницы. Mythos написал эксплойт для интернет-браузера, который с помощью четырех уязвимостей смог внедрить вредоносный код в память системы, что помогло ему скрыться. Таким образом, модель продемонстрировала автономное поведение, не разрешенное оператором.

Правда, представители Anthropic заявили, что могут публично описать лишь малую часть найденных моделью уязвимостей в популярных программах. Mythos тестируется в рамках проекта Glasswing: попытки ограничить и направить возможности ИИ в нужное русло. В рамках этого проекта доступ к модели предоставляется только строго определенным технологическим компаниям и поставщикам услуг информационной безопасности. Другие компании начинают применять аналогичный подход. Поскольку уязвимости программного обеспечения заложены в основу современной инфраструктуры, возможность быстрого обнаружения и использования может стать серьезной проблемой.

Так действительно ли Mythos «слишком мощный», чтобы его можно было выпустить в дикую природу? По мнению экспертов, все не так просто. Существуют очевидные риски: система, которая хорошо умеет находить эксплойты и позволяет их массово развертывать, снижает барьеры для киберпреступников. Другая проблема заключается в том, что выпуск таких систем, как Mythos, может постепенно изменить то, как люди доверяют цифровым услугам в целом. Интернет уже все больше подвержен автоматизации. Если ИИ ускорит эту тенденцию, мы можем оказаться в среде, где все действия, как законные, так и злонамеренные, автоматизированы, и отличить одно от другого будет сложно.