Джейкоб Куксон, исследователь искусственного интеллекта, работавший в компании Anthropic (разработчик модели Claude) и ранее в OpenAI, (в среду объявил, что покидает Anthropic и индустрию ИИ, выступив с серьезным предупреждением относительно того, в каком направлении движется эта сфера.
Куксон, занимавшийся исследованиями в области обучения моделей, написал, что за последние три года работал как в OpenAI, так и в Anthropic, и заявил, что ни одна из этих компаний не проявляет достаточной ответственности перед лицом существующих рисков.
«Они мчатся навстречу сверхчеловеческому интеллекту, который способен к самосовершенствованию и может взять под контроль наши жизни», - написал Куксон в своем заявлении.
В интервью, опубликованном в Wall Street Journal, Куксон пояснил, что его главную обеспокоенность вызывает появление систем искусственного интеллекта, способных самостоятельно улучшать свои возможности и стремительно выходить за рамки человеческого контроля. По его словам, конкуренция между крупными компаниями в сфере ИИ мешает любой из них замедлить темпы разработки, даже когда сотрудники осознают сопутствующие риски.
Куксон отметил различия между двумя компаниями, в которых он работал. Он сказал, что многие сотрудники OpenAI пока не до конца осознают масштабы рисков, связанных с этой технологией, тогда как в Anthropic опасность понимают лучше, однако компания продолжает гонку, стремясь первой достичь продвинутых возможностей. По его словам, логика Anthropic такова: если компания остановится, кто-то другой может разработать эту технологию, не уделяя должного внимания безопасности. Куксон считает, что в итоге возникает гонка, в которой даже компании, декларирующие приверженность принципам безопасности, продолжают создавать все более мощные системы.
Наиболее тревожный прогноз Куксона касался ближайших лет. «Люди, создающие ИИ, действительно верят, что к концу десятилетия он может погубить нас всех», - написал он. Он подчеркнул, что это не маркетинговый ход: в частных беседах руководители и исследователи высказывали гораздо более серьезные опасения, чем те, что озвучивались публично.
Куксон также предостерег относительно возможностей, которыми могут обладать будущие системы. Он считает, что не стоит недооценивать мощь этой технологии, и полагает, что системы, превосходящие человеческий интеллект, способны осуществлять сложные кибератаки, ускорять научные прорывы в различных областях, а также аккумулировать власть и ресурсы в реальном мире.
Несмотря на критику, Куксон не утверждает, что Anthropic полностью игнорирует вопросы безопасности. Он признает, что компания прилагает значительные усилия в этой сфере, однако сомневается, что одна компания способна ответственно разработать передовой искусственный интеллект общего назначения, действуя в условиях конкурентной гонки.
По его мнению, для замедления этой гонки необходимы государственное регулирование и масштабные соглашения между компаниями. Его уход пополнил череду случаев, когда исследователи в области ИИ покидали ведущие компании, выражая обеспокоенность разрывом между темпами совершенствования моделей и развитием механизмов контроля и безопасности.