Йоси Каради, глава Национального киберуправления, предупреждает о реальности будущего, в которой системы искусственного интеллекта будут принимать решения в сфере безопасности с такой скоростью, которая не позволит человеку вмешиваться в каждое действие.
В стратегическом документе, направленном вчера вечером лидерам государств и руководителям организаций по киберзащите по всему миру, он призывает страны уже сейчас установить четкие границы допустимой автономности систем ИИ.
«Мы приближаемся к реальности, в которой системам киберзащиты придется принимать решения со скоростью, не допускающей участия человека в каждом действии», - пишет Каради. Ссылаясь на случаи взлома правительственных баз данных ИИ-агентами и ситуации, когда компании теряли контроль над работой своих систем, он предупреждает о растущем разрыве между темпами технологического прогресса и механизмами выработки политики, регулирования и контроля.
В центре документа - вопрос о том, какие полномочия можно делегировать автономным системам, а какие решения должны оставаться в ведении человека. Поскольку кибератаки становятся все более быстрыми, автоматизированными и целенаправленными, системы защиты также должны быть способны обнаруживать угрозы, принимать решения и реагировать на них со скоростью работы машин.
Однако в документе отмечается, что расширение автономности создает дополнительную проблему: чем большей независимостью обладает система, тем сложнее понять логику ее решений, вовремя остановить ее действия и определить ответственность в случае ошибки. К
аради иллюстрирует этот риск сценарием, в котором автономная система киберзащиты обнаруживает атаку «нулевого дня» атаку, использующую уязвимость, для которой еще не существует патча безопасности, - и должна за считанные секунды решить, следует ли изолировать определенный сегмент инфраструктуры. Верное решение может остановить атаку, тогда как ошибка способна привести к отключению критически важных сетей, таких как энергосистемы или системы жизнеобеспечения больниц.
Для решения этой проблемы глава киберуправления предлагает странам принять модель, обеспечивающую баланс трех интересов: инноваций, безопасности и контроля со стороны человека. В этом контексте государствам необходимо определить, где уместно ускорять внедрение искусственного интеллекта, в каких случаях зависимость от сторонних поставщиков и внешней инфраструктуры может представлять угрозу национальной безопасности, а какие полномочия ни в коем случае нельзя делегировать машинам.
В документе предлагается разделить функции систем ИИ на четыре уровня: задачи, которые можно полностью делегировать ИИ; задачи, допустимые лишь при соблюдении заранее установленных ограничений; решения, требующие одобрения человеком; и действия, влекущие за собой необратимые последствия для государства, - их автономной системе никогда не должно быть позволено совершать.
Каради предлагает определить эту последнюю категорию как «суверенные полномочия, не подлежащие делегированию» - сферу, где право принятия решений должно оставаться исключительно в руках человека.
«Руководителям не обязательно становиться инженерами в области ИИ, - пишет Каради. «Им нужно решить, где допустима опора на технологии, где необходима абсолютная надежность и устойчивость систем, а где решающее слово должно оставаться за человеком».
В заключение он призвал лидеров не перекладывать задачу определения этих границ на других: «Не позволяйте другим определять ваше будущее - привлекайте их к созданию мира, в который вы верите».