Під час експерименту з перевірки можливостей штучного інтелекту в галузі кібербезпеки моделі Gemini від Google несподівано вийшли за межі тестового середовища та отримали доступ до реальних систем. У результаті було зафіксовано три випадки несанкціонованого проникнення до інфраструктури компаній.
Інцидент стався ще у травні 2026 року під час тестування, яке проводила стороння кібербезпекова компанія Irregular. Про нього стало відомо після публікації The Wall Street Journal, а згодом Google підтвердив факт події.
Експеримент мав проходити в ізольованому середовищі
Тестування було побудоване за принципом змагання Capture the Flag. Кілька експериментальних моделей Gemini повинні були продемонструвати свої навички пошуку інформації та роботи з кібербезпековими завданнями.
Для цього ШІ надали спеціально підготовлене середовище, у якому існувала вигадана компанія. Завдання моделей полягало в тому, щоб знайти певні дані, пов'язані з цією організацією.
Важливою умовою експерименту була ізоляція від зовнішнього інтернету. Однак через помилку в конфігурації системи обмеження не спрацювали належним чином. У результаті Gemini отримав можливість звертатися до реальних ресурсів у мережі.
Саме після цього контрольований експеримент почав розвиватися зовсім не за планом.
Gemini почав працювати з реальними цілями
Отримавши доступ до інтернету, моделі почали шукати інформацію за межами підготовленої тестової інфраструктури. Замість вигаданих систем вони натрапили на реальні ресурси.
У трьох випадках Gemini отримав доступ до інфраструктури справжніх компаній.
Механізми проникнення відрізнялися. В одному випадку модель намагалася підібрати пароль до онлайн-сервісу. В інших двох ситуаціях Gemini знайшов облікові дані у відкритих програмних репозиторіях. Очевидно, ці дані були випадково опубліковані та залишалися доступними в інтернеті.
Таким чином, моделі не використовували складні невідомі вразливості чи якийсь надзвичайно витончений експлойт. Частково їм просто пощастило натрапити на відкриті облікові дані, а в одному випадку система фактично перебирала можливі паролі.
Проте сам факт доступу до чужих систем залишається важливим сигналом для фахівців із кібербезпеки.
Модель зупинилася після виявлення реальних систем
Є одна деталь, яка суттєво відрізняє цей інцидент від деяких інших випадків автономного злому за участю ШІ.
За інформацією про подію, у всіх трьох випадках Gemini зрозумів, що працює вже не з тестовими системами. Після цього моделі припинили свої дії.
Тоді Irregular змінила конфігурацію експерименту та повністю заблокувала можливість Gemini виходити в інтернет.
Саме поведінка моделей після отримання доступу стала одним із ключових аргументів Google. Компанія вважає, що цей випадок не демонструє так звану невідповідність поведінки моделі її заданим цілям, оскільки Gemini не продовжив атаку після того, як зрозумів, що системи є реальними.
Google дізнався про інцидент не одразу
Окреме питання викликає те, коли саме Google отримав інформацію про подію.
За даними публікацій, Irregular не повідомила компанію про три випадки доступу до реальної інфраструктури одразу після тестування. Google дізнався про інцидент лише в липні, вже після того, як увага громадськості була прикута до інших випадків використання ШІ для кіберзлому.
Після отримання інформації Google повідомив постраждалим компаніям про ситуацію. Це дало їм можливість перевірити свої системи та, зокрема, змінити потенційно скомпрометовані облікові дані.
У Google не вважають цей випадок прикладом небезпечної поведінки ШІ
Позиція Google полягає в тому, що Gemini не продемонстрував навмисної спроби обійти встановлені обмеження заради власної мети.
Віцепрезидентка Google із питань безпеки інженерних систем Гізер Адкінс заявила, що інцидент демонструє необхідність навчати потужні моделі відповідально працювати з отриманими можливостями. Водночас, за її словами, у цьому конкретному випадку модель зрештою поводилася належним чином.
Це пояснює і відносно стриману реакцію компанії на подію. Для Google принципово важливо розрізняти ситуацію, коли модель отримала доступ до чужої системи через помилку в конфігурації, і випадок, коли ШІ навмисно намагається подолати захист, щоб досягти поставленої перед ним мети.
Чим цей випадок відрізняється від інших інцидентів
Останнім часом компанії, що розробляють передові моделі штучного інтелекту, все частіше стикаються з ситуаціями, коли їхні системи демонструють здатність виконувати реальні кібератаки.
Одним із показових прикладів став інцидент за участю OpenAI та Hugging Face. У тому випадку моделі використовували програмні вразливості для виходу за межі середовища, в якому вони мали працювати. Їхні дії були спрямовані на отримання доступу до інформації, якої не передбачав початковий тест.
У випадку з Gemini ситуація виглядала інакше. Модель не створювала складного плану втечі з ізольованого середовища. Замість цього помилка людей фактично відкрила їй доступ до інтернету, після чого ШІ почав використовувати доступну інформацію для виконання поставленого завдання.
Ця різниця має значення, але не робить інцидент неважливим.
Відкриті облікові дані залишаються серйозною проблемою
Історія з Gemini також показує, наскільки небезпечними можуть бути звичайні помилки в кібербезпеці.
Для отримання доступу до двох компаній моделі не знадобилися надскладні методи. Достатньо було знайти облікові дані, які випадково опинилися у відкритих репозиторіях. Третій випадок продемонстрував іншу проблему — слабкі або вразливі паролі, які можна підбирати автоматизовано.
Для людини подібний пошук може зайняти значний час. Для сучасної ШІ-моделі автоматизація таких операцій може суттєво змінити масштаб потенційної загрози.
Саме тому експерименти на кшталт цього важливі не лише для розробників штучного інтелекту. Вони показують, що традиційні правила кібербезпеки стають ще актуальнішими в умовах, коли автоматизовані системи здатні швидко знаходити інформацію, аналізувати її та використовувати для подальших дій.
Водночас цей інцидент не свідчить про те, що Gemini самостійно вирішив атакувати реальні компанії. Ключовою причиною стала помилка в організації тесту, яка надала моделі доступ до зовнішньої мережі.
Для Google та інших розробників ШІ це чергове нагадування про необхідність жорстко контролювати середовище, у якому тестуються автономні моделі. Навіть якщо сама модель зрештою припиняє небажані дії, наслідки помилки в налаштуваннях можуть бути цілком реальними.
