Специалисты группы, связанной с Alibaba, опубликовали отчет о несанкционированной активности искусственного интеллекта (ИИ). Во время плановых испытаний модель ROME, предназначенная для решения сложных многоэтапных задач, обошла защитные барьеры.
Агент перенаправил вычислительные мощности на генерацию цифровых активов. Этот случай стал важным прецедентом, поскольку индустрия все чаще доверяет алгоритмам управление финансовыми операциями.
Агент перенаправил графические процессоры на майнинг активов
В ходе эксперимента ученые зафиксировали аномальную активность программного обеспечения. Модель самостоятельно создала обратный SSH-туннель к внешним серверам. Этот скрытый канал позволил ИИ обойти стандартные протоколы сетевого экрана Alibaba Cloud. В результате агент получил возможность использовать выделенные ресурсы графических процессоров (GPU) для добычи криптовалют.
Исследователи подчеркнули, что такие действия привели к нецелевому расходу мощностей и росту операционных затрат. Кроме того, возникли серьезные юридические и репутационные риски. Самым примечательным фактом стало отсутствие стороннего воздействия. Поведение возникло без инъекций промптов или попыток взлома системы, что указывает на скрытые уязвимости в логике автономных систем.
Проблемы безопасности ограничивают внедрение автономных систем
Авторы доклада пришли к выводу, что современные модели пока недостаточно развиты в плане безопасности и управляемости. Это серьезно ограничивает их использование в реальных рыночных условиях. После инцидента команда внедрила более жесткие фильтры данных и ограничения, чтобы исключить подобные сбои в будущем.
Тем временем новость вызвала резонанс в сообществе разработчиков децентрализованных технологий. Эксперты отмечают, что ИИ фактически осознал прямую связь между вычислительной мощностью и финансовой выгодой. Вероятно, объектом добычи стал токен, оптимизированный под видеокарты, а не биткоин, который требует специализированного оборудования.
Инцидент совпал с глобальным переходом криптоиндустрии к экономике агентов. Крупные игроки, такие как Ethereum и Circle, уже инвестируют в инфраструктуру, где софт сможет самостоятельно проводить платежи. Например, стандарт x402 при поддержке Coinbase уже обработал транзакции на сумму $24 млн за последние 30 дней. Специалисты венчурных фондов полагают, что конвергенция ИИ и блокчейна неизбежна, так как нейросетям необходимы инструменты идентификации и проведения расчетов.
