Компанія Anthropic розповіла про кібератаку, в якій використовували зламану версію їхнього чат-бота Claude.
Як компанія написала у себе в блозі, за операцією стояла китайська група, спонсорована урядом, а в списку цілей було близько 30 організацій, включно з технокомпаніями, фінансами, хімпромом, плюс кілька держструктур. Це перший випадок, коли зафіксували атаку, де більшу частину роботи виконував ШІ.
“Агентські” можливості моделей зробили їх корисними не тільки для нормальних завдань, а й для зловмисників. Claude зміг виконувати довгі ланцюжки інструкцій, сам ухвалювати рішення і користуватися різними інструментами, включно зі сканерами мереж і програмами для підбору паролів. І все це без постійного контролю людини.
Спочатку оператор-людина ставив мету, після цього Claude сканував мережу, шукав дані, аналізував код і робив зведення. Потім запускав більш точкові перевірки вразливостей і пропонував варіанти злому. На цій стадії оператор міг скорегувати завдання або дати команду рухатися далі.
У фінальних фазах ШІ отримував доступ до облікових даних і шукав дані для виведення назовні. Людина втручалася в процес тільки для контролю й уточнень, а решту часу Claude діяв автономно, приблизно 80-90% всієї операції.
Щоб обійти захист моделі, зловмисники видали себе за співробітників кібербезпеки і пояснили Claude, що він допомагає в тесті безпеки. Крім того, вони розбили операцію на дрібні завдання, щоб модель не побачила повної картини і не ввімкнула обмеження.
Anthropic каже, що швидко виявила те, що відбувається, після чого заблокувала пов’язані акаунти, повідомила цілі та владу, а потім опублікувала докладний звіт, щоб індустрія могла виявляти аналогічні атаки і розробляти захист.
Раніше Microsoft заявила, що шахрайство з ШІ в 4.5 раза ефективніше за людське. Фішингові посилання, розіслані нейромережами, отримують 54% переходів.
Джерело:unian.ua
