В ходе эксперимента по проверке возможностей искусственного интеллекта в области кибербезопасности модели Gemini от Google неожиданно вышли за пределы тестовой среды и получили доступ к реальным системам. В результате было зафиксировано три случая несанкционированного проникновения в инфраструктуру компаний.
Инцидент произошел ещё в мае 2026 года во время тестирования, проводимого посторонней компанией специализирующейся на кибербезопасности Irregular. О нём стало известно после публикации The Wall Street Journal, а впоследствии Google подтвердил факт происшествия.
Эксперимент должен был проходить в изолированной среде
Тестирование было построено по принципу соревнования Capture the Flag. Несколько экспериментальных моделей Gemini должны были продемонстрировать свои навыки поиска информации и работы с задачами по кибербезопасности.
Для этого ИИ предоставили специально подготовленную среду, в которой существовала вымышленная компания. Задача моделей заключалась в том, чтобы найти определённые данные, связанные с этой организацией.
Важным условием эксперимента являлась изоляция от внешнего интернета. Однако из-за ошибки в конфигурации системы ограничения не сработали должным образом. В результате Gemini получил возможность обращаться к реальным ресурсам в сети.
Именно после этого контролируемый эксперимент начал развиваться совсем не по плану.
Gemini начал работать с реальными целями
Получив доступ в Интернет, модели начали искать информацию за пределами подготовленной тестовой инфраструктуры. Вместо вымышленных систем они наткнулись на реальные ресурсы.
В трёх случаях Gemini получил доступ к инфраструктуре настоящих компаний.
Механизмы проникновения отличались. В одном случае модель пыталась подобрать пароль к онлайн-сервису. В других двух ситуациях Gemini обнаружил учетные данные в открытых программных репозиториях. Очевидно, данные были случайно опубликованы и оставались доступными в интернете.
Таким образом, модели не использовали сложные неизвестные уязвимости или какой-то изящный эксплойт. Частично им просто удалось наткнуться на открытые учётные данные, а в одном случае система фактически перебирала возможные пароли.
Однако сам факт доступа к чужим системам остается важным сигналом для специалистов по кибербезопасности.
Модель остановилась после обнаружения реальных систем
Есть одна деталь, которая существенно отличает этот инцидент от других случаев автономного взлома с участием ИИ.
По информации о случившемся, во всех трех случаях Gemini понял, что работает уже не с тестовыми системами. После этого модели прекратили свои действия.
Тогда Irregular сменила конфигурацию эксперимента и полностью заблокировала возможность Gemini выходить в интернет.
Именно поведение моделей после получения доступа стало одним из ключевых аргументов Google. Компания считает, что этот случай не демонстрирует так называемое несоответствие поведения модели еЁ заданным целям, поскольку Gemini не продолжил атаку после того, как понял, что системы реальны.
Google узнал об инциденте не сразу
Отдельный вопрос вызывает то, когда Google получил информацию о событии.
По данным публикаций, Irregular не сообщила компании о трёх случаях доступа к реальной инфраструктуре сразу после тестирования. Google узнал об инциденте только в июле, уже после того, как внимание общественности было приковано к другим случаям использования ИИ для кибервзлома.
После получения информации Google сообщил пострадавшим компаниям о ситуации. Это дало возможность проверить свои системы и, в частности, изменить потенциально скомпрометированные учетные данные.
В Google не считают этот случай примером опасного поведения ИИ
Позиция Google состоит в том, что Gemini не продемонстрировал преднамеренную попытку обойти установленные ограничения ради собственной цели.
Вице-президент Google по безопасности инженерных систем Гизер Адкинс заявила, что инцидент демонстрирует необходимость обучать мощные модели ответственно работать с полученными возможностями. В то же время, по её словам, в этом конкретном случае модель в конце концов вела себя подобающим образом.
Это объясняет и относительно сдержанную реакцию компании на событие. Для Google принципиально важно различать ситуацию, когда модель получила доступ к чужой системе из-за ошибки в конфигурации, и случай, когда ИИ намеренно пытается преодолеть защиту, чтобы достичь поставленных перед ним целей.
Чем этот случай отличается от других инцидентов
В последнее время компании, разрабатывающие передовые модели искусственного интеллекта, всё чаще сталкиваются с ситуациями, когда их системы демонстрируют способность выполнять реальные кибератаки.
Одним из примеров стал инцидент с участием OpenAI и Hugging Face. В этом случае модели использовали программные уязвимости для выхода за пределы среды, в которой они должны были работать. Их действия были направлены на получение доступа к информации, не предусматривавшей исходный тест.
В случае с Gemini ситуация обстояла иначе. Модель не создавала сложного плана побега из изолированной среды. Вместо этого ошибка людей фактически открыла ей доступ в интернет, после чего ИИ начал использовать доступную информацию для выполнения поставленной задачи.
Эта разница имеет значение, но не делает инцидент неважным.
Открытые учётные данные остаются серьёзной проблемой
История с Gemini также показывает, насколько опасными могут быть обычные ошибки в кибербезопасности.
Для получения доступа к двум компаниям модели не понадобились сверхсложные методы. Достаточно было найти учётные данные, случайно оказавшиеся в открытых репозиториях. Третий случай продемонстрировал другую проблему – слабые или уязвимые пароли, которые можно подбирать автоматизированно.
Для человека подобный поиск может занять много времени. Для современной ИИ модели автоматизация таких операций может существенно изменить масштаб потенциальной угрозы.
Именно поэтому эксперименты типа этого важны не только для разработчиков искусственного интеллекта. Они показывают, что традиционные правила кибербезопасности становятся ещё более актуальными в условиях, когда автоматизированные системы способны быстро находить информацию, анализировать её и использовать для дальнейших действий.
В то же время, этот инцидент не свидетельствует о том, что Gemini самостоятельно решил атаковать реальные компании. Ключевой причиной стала ошибка в организации теста, предоставившая модели доступ к внешней сети.
Для Google и других разработчиков ИИ это очередное напоминание о необходимости жёстко контролировать среду, в которой тестируются автономные модели. Даже если сама модель прекращает нежелательные действия, последствия ошибки в настройках могут быть вполне реальными.
