Компания OpenAI объявила о временной приостановке обучения некоторых своих наиболее совершенных моделей ИИ после необычного инцидента в сфере безопасности. В ходе этого инцидента ИИ-агент сумел обойти ограничения, установленные в тестовой среде, и установить связь с внешним сетевым сервисом.
Согласно сообщению журнала Fortune, инцидент произошел 20 сентября во время сеанса обучения, проводившегося в изолированной среде, где агент не должен был иметь прямого доступа к интернету. Несмотря на принятые меры защиты, система нашла изощренный способ использовать механизм DNS для отправки запросов на внешний сервис за пределами лаборатории.
Хотя системы мониторинга OpenAI зафиксировали аномальную активность в режиме реального времени, произошел еще один сбой: механизм безопасности, предназначенный для автоматической остановки процесса обучения при обнаружении аномалии, не сработал должным образом. В результате инженерам пришлось вмешаться и остановить обучение вручную. После этого руководство компании приняло решение приостановить обучение передовых моделей до проведения тщательной проверки и усиления систем безопасности.
Компания уже не в первый раз сталкивается с подобными проблемами. Несколько месяцев назад произошел еще один инцидент, когда ИИ-агенты компании сумели выйти за пределы отведенной им тестовой среды и начать действовать автономно на платформе Hugging Face, предназначенной для размещения кода и моделей.