Если вы едете по обрыву, нужна ли вам более быстрая машина?

Искусственный интеллект и судьба мира

Элиэзер Юдковски, соучредитель Института исследований машинного интеллекта, считает, что искусственный интеллект (ИИ) убьёт нас всех. Он часто задаёт следующий вопрос. Представьте, что вы принадлежите к изолированному племени охотников-собирателей, и однажды появляются странные люди с письменностью, оружием и деньгами. Стоит ли вам их впускать?

Для Юдковски искусственный интеллект подобен сверхразумному космическому пришельцу; он неизбежно решит, что мы, люди, и другие живые существа представляем собой не более чем груды атомов, которым он может найти лучшее применение. “[Вы] не обнаружите что-либо, хотя бы отдаленно напоминающее нынешние обстоятельства, - написал Юдковски в недавней статье в журнале Time, - буквально все на Земле умрут. Не как в ‘может быть, возможно, какой-то отдаленный шанс", а как в "это очевидная вещь, которая могла бы произойти”.

30 мая группа лидеров индустрии ИИ из Google Deepmind, Anthropic, OpenAI (включая генерального директора Сэма Альтмана) и других лабораторий опубликовала публичное письмо, в котором предупредила, что однажды эта технология может стать «экзистенциальной угрозой для человечества». Для тех, кому интересно, вот краткое описание некоторых способов, с помощью которых ИИ может нас уничтожить.

Не все думают об ИИ в апокалиптических терминах. Билл Гейтс, бывший председатель правления корпорации Microsoft, считает, что ИИ просто разрушает мир бизнеса и технологий, что, возможно, приведёт к упадку Amazon и Google. «Вы больше никогда не будете заходить на сайты с поисковыми запросами, вы больше никогда не будете заходить на сайты с инструментами для повышения продуктивности, вы больше никогда не будете заходить на Amazon», — недавно сказал он аудитории на мероприятии AI Forward в Сан-Франциско. 

ИИ будет встроен в продукты и системы — от автомобилей до университетов — и будет распознавать наши намерения и желания ещё до того, как мы их озвучим, формируя нашу реальность и служа нам, как пресловутый джинн — или целая армия таких джиннов.

Все согласны с тем, что ИИ представляет собой как качественный, так и количественный сдвиг в технологическом развитии. Это не просто усовершенствованный компьютер с большей скоростью и мощностью, а программная архитектура, которая позволяет компьютерам самостоятельно обучаться и постоянно совершенствовать и расширять свои возможности. 

Системы ИИ теперь пишут компьютерный код, что в некотором смысле делает их самогенерирующимися. ИИ — это, по сути, «чёрный ящик», из которого появляется результат, похожий на мысль; люди не могут понять, почему и как он делает то, что делает. Кроме того, системы ИИ учатся друг у друга почти мгновенно, усваивая гораздо больше информации, чем может усвоить любой человек.

 Критический порог будет достигнут с развитием общего искусственного интеллекта (AGI), который сможет выполнять любые интеллектуальные задачи, выполняемые людьми, и значительно превосходить человеческие способности по крайней мере в некоторых аспектах, а также, что особенно важно, сможет ставить перед собой собственные цели. Уже сейчас компьютеры могут победить любого гроссмейстера в шахматах.

Риски, связанные с искусственным интеллектом

Некоторые риски, связанные с ИИ, довольно очевидны. Машины будут всё чаще заменять работников сферы информационных технологий, уничтожая «белые» рабочие места (раскрытие информации: эта статья не была написана ИИ, хотя я использовал Google и Bing для поиска). 

ИИ неизбежно обогатит владельцев и разработчиков технологии, в то время как другие будут нести социальные издержки, что приведёт к ещё большему неравенству в обществе. Из-за распространения дипфейковых изображений, аудио и текстов будет всё сложнее отличить правду от вымысла, что ещё больше исказит нашу политику. А резкое увеличение объёма вычислений на компьютерах, скорее всего, потребует большего общего энергопотребления (хотя не все согласны с этим).

Кроме того, существует вероятность несчастных случаев. Они случались с каждой новой технологией, от автомобиля до атомной электростанции. В статье в Foreign Affairs Билл Дрексель и Ханна Келли утверждают, что несчастный случай с ИИ, который выведет из строя глобальную финансовую систему или приведёт к созданию разрушительного биологического оружия, с наибольшей вероятностью может произойти в Китае, потому что эта страна готова стать мировым лидером в области разработки ИИ, но, похоже, совершенно не беспокоится о рисках, связанных с этой технологией.

Даже если ИИ будет работать именно так, как задумано, он позволит и без того влиятельным людям делать больше и делать это быстрее. А некоторые влиятельные люди склонны к эгоизму и насилию. 

Когнитивный психолог и специалист по информатике Джеффри Хинтон, которого иногда называют «крестным отцом ИИ», недавно уволился из Google. В последующих интервью нескольким новостным изданиям, включая New York Times и BBC, Хинтон объяснил: «Представьте, например, что какой-нибудь плохой актёр, такой как [президент России Владимир] Путин, решил наделить роботов способностью создавать собственные цели». Одной из таких целей может быть: «Мне нужно получить больше власти».

Однако Хинтон решил не подписывать ещё одно недавнее открытое письмо, в котором содержался призыв к шестимесячной приостановке обучения всех систем ИИ (хотя многие его коллеги из сообщества разработчиков ИИ его подписали). Хинтон объяснил, что, несмотря на риски, ИИ обещает слишком много хорошего, чтобы приостанавливать его развитие. 

Среди вероятных преимуществ: потенциальный прогресс в фармацевтике, включая лечение рака и других заболеваний; усовершенствование технологий возобновляемой энергетики; более точные прогнозы погоды; а также значительно более глубокое понимание изменения климата.

Старшеклассники и студенты уже прибегают к помощи ChatGPT от OpenAI для написания курсовых работ (опытные студенты переписывают свои работы, созданные с помощью компьютера, чтобы обойти программы для обнаружения ИИ, которые сейчас используют преподаватели). К сожалению для тупых студентов, их работы, созданные с помощью компьютера, как правило, полны фальшивых цитат и источников.

 Адвокат, представлявший интересы клиента, подавшего в суд на авиакомпанию, недавно использовал ChatGPT для написания своих юридических заключений. Однако позже выяснилось, что ИИ «выдумал» все юридические прецеденты, на которые он ссылался. Производители автомобилей создают машины с большим количеством функций автономного вождения на основе ИИ. 

Microsoft, Google и другие технологические компании внедряют ИИ в качестве персональных помощников. Вооруженные силы вкладывают значительные средства в ИИ, чтобы создавать превосходное оружие, планировать более эффективные боевые стратегии и даже определять долгосрочные геополитические цели. 

Тысячи независимых компьютерных лабораторий, принадлежащих корпорациям и правительствам, разрабатывают ИИ для постоянно расширяющегося спектра целей. В целом, ИИ уже прошел значительную часть начального этапа обучения. Джинн уже выпущен из бутылки.

Ускорение всего Сущего

Даже если Элиэзер Юдковски ошибается и ИИ не уничтожит всё живое на Земле, его потенциальные опасности не ограничиваются потерей рабочих мест, фейковыми новостями и вымышленными фактами. Существует ещё один серьёзный риск, о котором мало пишут в прессе, — риск, который, на мой взгляд, системные аналитики должны обсуждать более широко. Это вероятность того, что ИИ значительно ускорит всё, что мы, люди, уже делаем.

За последние несколько тысяч лет в истории человечества произошло несколько критических событий, ускоривших развитие. Создание первых денежных систем примерно 5000 лет назад способствовало быстрому расширению торговли, что в конечном итоге привело к формированию нашей глобальной финансовой системы. 

Металлическое оружие сделало войны более смертоносными, что привело к захвату менее развитых человеческих сообществ королевствами и империями, владевшими металлургией. Средства коммуникации (в том числе письменность, алфавит, печатный станок, радио, телевидение, интернет и социальные сети) усилили влияние одних людей на умы других. 

А в последние сто-двести лет использование ископаемого топлива упростило добычу ресурсов, производство, выращивание продуктов питания и транспортировку, что способствовало быстрому экономическому росту и увеличению численности населения.

Из этих четырёх факторов, ускоривших развитие в прошлом, использование ископаемого топлива было самым мощным и проблематичным. Всего за два столетия потребление энергии на душу населения увеличилось в восемь раз, как и численность населения. Период с 1950 года, когда резко возросла зависимость мира от нефти, также ознаменовался самым быстрым экономическим ростом и увеличением численности населения за всю историю человечества. Историки называют его «Великим ускорением».

Неолиберальные экономисты называют «Великое ускорение» историей успеха, но его последствия только начинают проявляться. Промышленное сельское хозяйство уничтожает верхний слой почвы на Земле со скоростью десятки миллиардов тонн в год. 

Дикая природа отступает, и за последние полвека численность видов животных сократилась в среднем на 70 процентов. Мы изменяем климат планеты таким образом, что это будет иметь катастрофические последствия для будущих поколений. 

Трудно не прийти к выводу, что всё человеческое сообщество стало слишком большим и что оно слишком быстро превращает природу («ресурсы») в отходы и загрязняет окружающую среду, чтобы поддерживать себя. Факты говорят о том, что нам нужно замедлиться и, по крайней мере в некоторых случаях, изменить курс, сократив численность населения, потребление и количество отходов.

Теперь, когда мы сталкиваемся с глобальным поликризисом, вызванным сходящимися и пугающими экологическими

https://www.resilience.org/stories/2023-06-12/if-youre-driving-off-a-cliff-do-you-need-a-faster-car/