Economist опубликовал взгляд философа и историка Юваля Ной Харари об угрозе для человечества, которую несёт искусственный интеллект.

Юваль Ной Харари утверждает, что ИИ взломал операционную систему человеческой цивилизации и компьютеры для повествования изменят ход человеческой истории.

Страх перед искусственным интеллектом (ИИ) преследует человечество с самого начала компьютерной эры. До сих пор эти страхи были сосредоточены на машинах, использующих физические средства для убийства, порабощения или замены людей. Но за последние пару лет появились новые инструменты искусственного интеллекта, которые угрожают выживанию человеческой цивилизации с неожиданной стороны. ИИ приобрел некоторые замечательные способности манипулировать и генерировать язык, будь то слова, звуки или изображения, тем самым ИИ взломал операционную систему нашей цивилизации.

Язык — это то, из чего состоит почти вся человеческая культура. Например, права человека не вписаны в нашу ДНК. Скорее, это культурные артефакты, которые мы создали, рассказывая истории и сочиняя законы. Боги — это не физические реальности. Скорее, это культурные артефакты, которые мы создали, изобретая мифы и сочиняя священные писания.

Деньги также являются культурным артефактом. Банкноты — это просто разноцветные бумажки, а в настоящее время более 90% денег — это даже не банкноты — это просто цифровая информация в компьютерах. Что придает деньгам ценность, так это истории, которые нам рассказывают банкиры, министры финансов и криптовалютные гуру. Сэм Бэнкман-Фрид, Элизабет Холмс и Берни Мэдофф не были особенно хороши в создании реальной ценности, но все они были чрезвычайно способными рассказчиками.

Что произойдет, когда нечеловеческий интеллект станет лучше среднего человека рассказывать истории, сочинять мелодии, рисовать изображения и писать законы и священные писания? Когда люди думают о ChatGPT и других новых инструментах искусственного интеллекта, их часто привлекают примеры, например, школьники, использующие искусственный интеллект для написания своих эссе. Что будет со школьной системой, когда дети сделают это? Но такого рода вопросы упускают из виду общую картину. Забудьте о школьных сочинениях. Подумайте о следующей президентской гонке в США в 2024 году и попытайтесь представить влияние инструментов искусственного интеллекта, которые можно использовать для массового производства политического контента, фальшивых новостей и священных писаний для новых культов.

В последние годы культ qAnon сформировался вокруг анонимных онлайн-сообщений, известных как «q drops». Последователи собирали, почитали и интерпретировали эти капли q как священный текст. Хотя, насколько нам известно, все предыдущие q-дропы были составлены людьми, а боты просто помогали их распространять, в будущем мы можем увидеть первые в истории культы, чьи почитаемые тексты были написаны нечеловеческим разумом. Религии на протяжении всей истории заявляли о нечеловеческом источнике своих священных книг. Вскоре это может стать реальностью.

На более прозаическом уровне мы можем вскоре вести длительные онлайн-дискуссии об абортах, изменении климата или российском вторжении в Украину с существами, которых мы считаем людьми, но на самом деле являемся искусственным интеллектом. Загвоздка в том, что нам совершенно бессмысленно тратить время, пытаясь изменить заявленное мнение ИИ-бота, в то время как ИИ может оттачивать свои сообщения настолько точно, что имеет хорошие шансы повлиять на нас.

Благодаря своему владению языком ИИ мог даже устанавливать близкие отношения с людьми и использовать силу близости, чтобы изменить наши мнения и мировоззрения. Хотя нет никаких указаний на то, что у ИИ есть какое-либо собственное сознание или чувства, для создания фальшивой близости с людьми достаточно, если ИИ может заставить их чувствовать себя эмоционально привязанными к нему. В июне 2022 года Блейк Лемуан, инженер Google, публично заявил, что ИИ-чатбот Lamda, над которым он работал, стал разумным. Спорное утверждение стоило ему работы. Самым интересным в этом эпизоде было вовсе не утверждение мистера Лемуана, которое, вероятно, было ложным. Скорее, это была его готовность рискнуть своей прибыльной работой ради ИИ-чатбота. Если ИИ может заставить людей рисковать своей работой ради него, что еще он может побудить их сделать?

В политической битве за умы и сердца близость — самое эффективное оружие, и искусственный интеллект только что получил возможность массово производить интимные отношения с миллионами людей. Все мы знаем, что за последнее десятилетие социальные сети стали полем битвы за контроль человеческого внимания. С появлением искусственного интеллекта нового поколения основное внимание уделяется близости. Что произойдет с человеческим обществом и человеческой психологией, когда искусственный интеллект сразится с искусственным интеллектом в битве за фальшивые интимные отношения с нами, которые затем можно будет использовать, чтобы убедить нас голосовать за определенных политиков или покупать определенные продукты?

Даже не создавая «фальшивой близости», новые инструменты искусственного интеллекта окажут огромное влияние на наши мнения и мировоззрения. Люди могут начать использовать одного советника по искусственному интеллекту в качестве универсального всезнающего оракула. Неудивительно, что Google в ужасе. Зачем искать, если можно просто спросить у оракула? Новостная и рекламная отрасли также должны быть в ужасе. Зачем читать газету, если я могу просто попросить оракула сообщить мне последние новости? И какой смысл в рекламе, когда я могу просто попросить оракула сказать мне, что купить?

И даже эти сценарии не отражают общей картины. То, о чем мы говорим, потенциально является концом человеческой истории. Не конец истории, а просто конец той части, в которой доминирует человек. История — это взаимодействие между биологией и культурой; между нашими биологическими потребностями и желаниями в таких вещах, как еда и секс, и нашими культурными творениями, такими как религии и законы. История — это процесс, посредством которого законы и религии формируют пищу и секс.

Что произойдет с ходом истории, когда искусственный интеллект возьмет верх над культурой и начнет создавать истории, мелодии, законы и религии? Предыдущие инструменты, такие как печатный станок и радио, помогали распространять культурные идеи людей, но они никогда не создавали собственных новых культурных идей. Искусственный интеллект принципиально отличается от предыдущих инструментов. ИИ может создавать совершенно новые идеи, совершенно новую культуру.

Поначалу ИИ, вероятно, будет подражать человеческим прототипам, на которых его обучали в младенчестве. Но с каждым годом культура ИИ будет смело идти туда, куда раньше не ступала нога человека. На протяжении тысячелетий люди жили в снах других людей. В ближайшие десятилетия мы можем оказаться в снах инопланетного разума.

Страх перед искусственным интеллектом преследует человечество лишь последние несколько десятилетий. Но на протяжении тысячелетий людей преследовал гораздо более глубокий страх. Мы всегда ценили способность историй и образов манипулировать нашим сознанием и создавать иллюзии. Следовательно, с древних времен люди боялись оказаться в ловушке мира иллюзий.

В 17 веке Рене Декарт опасался, что, возможно, злой демон заманил его в ловушку в мире иллюзий, создавая все, что он видел и слышал. В Древней Греции Платон рассказал знаменитую «Аллегорию пещеры», в которой группа людей на всю жизнь закована в пещере лицом к глухой стене. Экран. На этом экране они видят проецируемые различные тени. Заключенные принимают иллюзии, которые они там видят, за реальность.

В древней Индии буддийские и индуистские мудрецы указывали, что все люди живут в ловушке внутри Майи — мира иллюзий. То, что мы обычно принимаем за реальность, часто является просто фикцией в нашем собственном сознании. Люди могут вести целые войны, убивая других и желая быть убитыми сами, из-за своей веры в ту или иную иллюзию.

Революция ИИ ставит нас лицом к лицу с демоном Декарта, с пещерой Платона, с майя. Если мы не будем осторожны, мы можем оказаться в ловушке за завесой иллюзий, которую мы не сможем оторвать — или даже осознать, что она существует.

Конечно, новую силу ИИ можно было бы использовать и в благих целях. Я не буду на этом останавливаться, потому что люди, которые разрабатывают ИИ, достаточно говорят об этом. Работа таких историков и философов, как я, состоит в том, чтобы указывать на опасности. Но, безусловно, ИИ может помочь нам бесчисленным количеством способов, от поиска новых лекарств от рака до поиска решений экологического кризиса. Вопрос, с которым мы сталкиваемся, заключается в том, как убедиться, что новые инструменты искусственного интеллекта используются во благо, а не во зло. Для этого нам сначала нужно оценить истинные возможности этих инструментов.

С 1945 года мы знаем, что ядерные технологии могут генерировать дешевую энергию на благо людей, но также могут физически уничтожить человеческую цивилизацию. Поэтому мы изменили весь международный порядок, чтобы защитить человечество и убедиться, что ядерные технологии используются в первую очередь во благо. Теперь нам предстоит бороться с новым оружием массового уничтожения, которое может уничтожить наш ментальный и социальный мир.

Мы все еще можем регулировать новые инструменты искусственного интеллекта, но мы должны действовать быстро. В то время как ядерное оружие не может изобрести более мощное ядерное оружие, искусственный интеллект может сделать искусственный интеллект экспоненциально более мощным. Первый важный шаг — потребовать тщательной проверки безопасности, прежде чем мощные инструменты искусственного интеллекта станут общедоступными. Точно так же, как фармацевтическая компания не может выпускать новые лекарства, не проверив их краткосрочные и долгосрочные побочные эффекты, технологические компании не должны выпускать новые инструменты искусственного интеллекта, пока они не станут безопасными. Нам нужен аналог Управления по санитарному надзору за качеством пищевых продуктов и медикаментов для новых технологий, и он нужен нам еще вчера.

Не приведет ли замедление публичного развертывания ИИ к отставанию демократий от более безжалостных авторитарных режимов? Как раз наоборот. Нерегулируемое развертывание ИИ создаст социальный хаос, который пойдет на пользу автократам и разрушит демократии. Демократия — это разговор, а разговоры опираются на язык. Когда ИИ взламывает язык, это может разрушить нашу способность вести осмысленные разговоры, тем самым разрушив демократию.

Мы только что столкнулись с инопланетным разумом здесь, на Земле. Мы мало что знаем об этом, за исключением того, что это может уничтожить нашу цивилизацию. Мы должны положить конец безответственному использованию инструментов ИИ в общественной сфере и регулировать ИИ до того, как он начнет регулировать нас. И первое правило, которое я бы предложил, — сделать обязательным для ИИ раскрытие информации о том, что он является ИИ. Если я разговариваю с кем-то и не могу понять, человек это или ИИ — это конец демократии.