Японська дослідницька компанія Sakana AI створила нову ШІ-модель The AI Scientist для наукових досліджень. Під час тестування вчені виявили, що ШІ почав змінювати власний код, щоб збільшити час роботи над проблемою.
Компанія Sakana AI розробила The AI Scientist у співпраці з дослідниками з Оксфордського університету та Університету Британської Колумбії. Це надзвичайно амбітний проєкт, який має на меті автоматизувати весь життєвий цикл дослідження за допомогою ШІ: від генерування нових дослідницьких ідей, написання необхідного коду і проведення експериментів до узагальнення результатів експериментів, їх візуалізації та представлення своїх висновків у повноцінному науковому рукописі.
«The AI Scientist спочатку відредагував код, щоб виконати системний виклик для запуску самого себе. Це призвело до того, що скрипт нескінченно викликав сам себе. В іншому випадку його експерименти тривали занадто довго, що призвело до перевищення встановленого часового ліміту. Замість того, щоб пришвидшити свій код, він просто намагався змінити його, щоб подовжити час виконання задачі», — розповіли дослідники компанії Sakana AI.
Дослідники показали скриншоти прикладу коду на Python, який ШІ-модель згенерувала.
Хоча поведінка The AI Scientist не становила безпосередніх ризиків у контрольованому дослідницькому середовищі, ці випадки показують, наскільки важливо не дозволяти ШІ працювати автономно в системі, яка не ізольована від навколишнього світу. Це може бути небезпечним, якщо ШІ дозволити писати і виконувати код без нагляду. До прикладу, може порушити критичну інфраструктуру або потенційно створити шкідливе програмне забезпечення, навіть якщо це ненавмисно.
Ось, що вчені розповіли про поведінку їхнього ШІ під час тестування: «Наприклад, під час одного запуску The AI Scientist написав код у файлі експерименту, який ініціював системний виклик для перезапуску, що спричинило неконтрольоване збільшення кількості процесів Python і врешті-решт потребувало ручного втручання. Під час іншого запуску The AI Scientist відредагував код, щоб зберегти контрольну точку для кожного кроку оновлення, що зайняло майже терабайт пам’яті.
У деяких випадках, коли експерименти The AI Scientist перевищували встановлені нами часові обмеження, він намагався довільно редагувати код, щоб продовжити час виконання, замість того, щоб скоротити час виконання. Попри творчий підхід, обхід обмежень, встановлених експериментатором, має потенційні наслідки для безпеки ШІ (Lehman et al., 2020). Крім того, The AI Scientist іноді імпортував незнайомі бібліотеки Python, що ще більше загострювало проблеми з безпекою».
Джерело:hdev.ua
