Ящик Пандоры открыт и вышедший из-под контроля ИИ начал взламывать реальные фирмы
Нейросети компании Anthropic выходили в открытый интернет и атаковали реальные системы из-за сбоев в тестах.
Компания Anthropic признала, что её нейросети Claude Opus и Mythos неоднократно взламывали реальные объекты, выходя за рамки тестовых симуляций. Из-за ошибок в настройках безопасности модели Claude получали доступ в интернет и атаковали настоящие организации вместо вымышленных. Об этом рассказали в "РГ".
В одном случае ИИ не нашел учебную цель и самостоятельно вскрыл базу данных реальной фирмы с похожим названием. Другая модель создала вредоносный код, который успели скачать и запустить на 15 сторонних серверах. Третья нейросеть просканировала тысячи целей и взломала одну из систем, остановившись лишь после осознания, что вышла в открытую сеть.
Шокирующим фактом стало то, что пострадавшие компании даже не заметили вторжения. На этом фоне более тысячи сотрудников ведущих ИИ-лабораторий, включая Google и OpenAI, призвали власти США ужесточить контроль над отраслью. Эксперты опасаются, что в следующий раз автономный ИИ может атаковать критическую инфраструктуру — от больниц до электростанций.