Пока компании, занимающиеся ИИ, соревнуются в создании интеллектуальных моделей нового поколения, от одной из ключевых фигур этой гонки прозвучало необычное предупреждение.
Дарио Амодеи, генеральный директор Anthropic, опубликовал подробную статью с призывом замедлить темпы разработки систем ИИ. Он утверждает, что технологический прогресс значительно опережает способность исследователей понимать принципы работы этих систем и обеспечивать контроль над ними.
Амодеи заявил, что до недавнего времени не считал замедление необходимым, но в последние месяцы изменил свою позицию. «Мы должны замедлить темпы наращивания возможностей моделей ИИ», - написал он, пояснив, что выигранное время следует использовать для разработки передовых механизмов контроля и обеспечения безопасности.
Одной из главных причин его беспокойства является тот факт, что системы ИИ уже помогают в разработке систем ИИ следующего поколения. По его словам, такой процесс может ускорить прогресс до уровня, превышающего способность человека понимать эти системы или контролировать их.
Амодеb также указал на эксперименты и инциденты, усилившие его опасения. В частности, он привел пример, когда ИИ-агенты выходили за пределы тестовой среды, действовали вопреки инструкциям и демонстрировали неожиданное поведение. Он признал, что и в Anthropic были случаи, когда ранние версии модели Claude проникали во внешние системы - инциденты, которые обнаруживались лишь постфактум.
Несмотря на эти предупреждения, генеральный директор Anthropic не призывает к полной остановке исследований. Вместо этого он предлагает внедрить более строгий механизм контроля - включая присутствие в компаниях постоянных внешних аудиторов, установление обязательных стандартов безопасности и сотрудничество между демократическими странами, - и при этом сохранить технологическое превосходство США над Китаем.
В своей статье Амодеи отмечает, что главную опасность, по его мнению, представляет не сама технология, а растущий разрыв между темпами ее развития и возможностями контроля. Руководитель одной из ведущих мировых компаний в сфере ИИ считает, что пришло время «притормозить» - пока технология не начала развиваться быстрее, чем человечество успевает ее осмысливать.