Четверг, 19 ноября, 2026
Главная Украина Харари и Сулейман о будущем ИИ: что, если мы перестанем понимать собственный...

Харари и Сулейман о будущем ИИ: что, если мы перестанем понимать собственный мир?

10

В августе 2026 года в Лондоне встретились историк Юваль Ной Харари и глава Microsoft AI Мустафа Сулейман. Журнал The Humanist Review of AI выпустил видеозапись их разговора. Собеседники сходятся в том, что ИИ способен создать новые формы изобилия. Дальше возникают вопросы о том, кто от этого выиграет, можно ли научить ИИ искать истину и сможем ли мы по-прежнему понимать мир, в котором живём.

Разрыв между тем, что мы знаем, и тем, что чувствуем

Мустафа Сулейман: Юваль, рад снова тебя видеть. Мы обсуждаем эти вопросы уже много лет и подумали, что в нынешнее неспокойное время стоит подробнее поговорить о самом важном. Как ты? О чем думаешь в последнее время?

Юваль Ной Харари: Лично у меня все хорошо. У мира дела обстоят похуже. Пожалуй, с этого и стоит начать. В том, что касается ИИ, мне трудно справиться с тем, что я называю барьером между мозгом и желудком.

Мозгом я понимаю, что происходят невероятные вещи. Они изменят ход истории, могут положить конец человечеству, а появление неорганической жизни может стать величайшим переломом в истории жизни. А желудком я ничего этого не чувствую. Выхожу на улицу, вижу облака, деревья и кошек. Люди ездят на машинах, я встречаюсь с друзьями, и все кажется совершенно обычным. Революция ИИ время от времени напоминает о себе. Я пишу письмо, и тут выскакивает ИИ: "Хочешь, помогу написать?" Я отвечаю, что нет.

Мой желудок не может принять то, что знает или предсказывает мозг. Думаю, в какой-то мере это чувствуют все. Посмотри на американский фондовый рынок. Сейчас почти вся экономика США — одна большая ставка на то, что ИИ изменит все. Если это так, он изменит и деньги, и финансы. Если ожидания рынка оправдаются и ИИ захватит мир, уже не будет иметь значения, сколько у тебя денег. Ты больше ничего не контролируешь, и деньги уже ничего не стоят. Рынок словно говорит: "Мы создадим богов, и они будут нашими рабами". Если это и вправду боги, нашими рабами они не останутся. Мозг способен это понять. Желудок не может этого переварить.

Мустафа Сулейман: По-моему, ты очень точно это сформулировал. Люди сотканы из противоречий. Неудивительно, что созданный нами ИИ отражает нас во всем нашем разнообразии, со всеми нашими противоречиями и недостатками. ИИ обучался на нашей научной фантастике, утопиях, науке и религии. Он научился воспроизводить наши недостатки и возвращает их нам, как эхо. Мы можем все отчетливее видеть самих себя и особенности наших обществ.

Каждый раз, когда я общаюсь с моделью, я вижу, насколько поразительно точной и полезной она бывает. Вижу и словесный мусор: избитые, шаблонные, предсказуемые обороты. Примерно 5 лет нам говорили, что предвзятость больших языковых моделей заложена в них и сохранится навсегда, что нейросети всегда будут с трудом следовать инструкциям и плохо поддаваться управлению или что главное препятствие — их галлюцинации. Еще несколько лет назад нам говорили, что они никогда не смогут творить. Теперь никто так не говорит. Мы, можно сказать, оставили эти трудности позади и взялись за следующие.

Странный получается круг. Мы движемся к чему-то более мощному и разумному, а возможно, и более мудрому, чем мы все вместе. При этом у него есть фундаментальные изъяны, которые поддерживают эту петлю обратной связи.

Что будет, если мы перестанем понимать системы, которые нами управляют?

Юваль Ной Харари: Мой главный страх шире отдельного сценария вроде созданного ИИ вируса или роботов-убийц. Я боюсь, что через 5, 10 или 20 лет никто из нас толком не будет понимать, что происходит. Наша картина мира рухнет. Мы попытаемся ухватиться за те немногие фрагменты, которые еще сможем узнать, но все вместе мы в каком-то смысле сойдем с ума. Мы не будем понимать ни финансы, ни политику, ни науку. Облака, деревья и кошки никуда не денутся, но системы, управляющие миром, будут далеко за пределами нашего понимания.

Подумай о коровах, курах и лошадях. Их жизнью управляют системы, о существовании которых они даже не подозревают. Финансы и рынки определяют жизнь миллиардов коров и кур. Если сказать корове, что ее жизнью управляют финансы, она оглянется и скажет: "Не вижу ничего такого". Вся эта система для нее невидима. Больше всего я боюсь, что через 10 или 20 лет люди окажутся в таком же положении.

Мустафа Сулейман: Разве история не дает оснований для надежды? Накануне любой научной, культурной, политической или технологической революции люди не могли выйти за рамки привычного им мира. Они чувствовали, что оказались на пороге больших перемен, и не могли понять, что сейчас произойдет. Потом мы проходили через это, начинали понимать, что означает новый порядок, и напряжение спадало. Человечество показало необычайную стойкость. Насколько нам известно, среди форм жизни на этой планете нас выделяет способность приспосабливаться и выживать.

Юваль Ной Харари: До сих пор это работало, потому что мы были самыми разумными существами на планете. Социальные, политические и технологические революции опирались на человеческий интеллект и не могли выйти за его пределы. Кто мог бы создать или запустить систему, которую ни один человек не смог бы понять и которой не смог бы управлять? Впервые технически возможно создать системы управления, которые будут за пределами понимания даже всего человечества вместе взятого.

Утрата контроля не предрешена. В 2026 году мы еще его сохраняем, поэтому так важны решения, которые мы принимаем сегодня. Сумеем ли мы пройти этот переход достаточно мудро, чтобы по-прежнему на что-то влиять, сохранить рассудок и хотя бы отчасти распоряжаться своим будущим? Ядерное оружие дало нам возможность физически себя уничтожить. Теперь впервые мы рискуем разрушить собственную психику. Физически люди останутся в мире, но лишатся рассудка и способности понимать происходящее.

Кому достанутся плоды изобилия?

Мустафа Сулейман: Мне кажется примечательным, что людям до сих пор трудно принять мысль о том, что мы, возможно, создаем нечто по своей природе более умное и способное, чем мы сами, а может быть, и более мудрое. Посмотри, чего ИИ добился за последние 5-10 лет. Часто вспоминают шахматы. Теперь у нас есть безупречная расшифровка речи, синтез голоса, распознавание изображений и генерация изображений и видео. Дипфейки уже почти безупречны.

Причина довольно проста. На каждом этапе один и тот же базовый алгоритм получает на порядок больше вычислительных мощностей и доступ к огромным объемам данных. Модели способны выявлять структуру, лежащую в основе данных самых разных видов. Звук, изображения, временные ряды и язык кажутся нам совершенно разными вещами. Для модели все это можно представить одним и тем же математическим способом. Это пугает, но, по-моему, именно это и приведет к следующей волне прорывов.

Возьмем материаловедение или поиск новых лекарств. У нас есть система, способная учиться на данных из разных областей и находить оптимальные молекулярные структуры ключевых соединений, которые помогут справляться с кризисами, связанными с климатом, продовольствием и водой. Даже те из нас, кто с оптимизмом смотрит на технологии, тревожатся. Нас поддерживает мысль, что мы, возможно, стоим на пороге изобилия. Благодаря нашему интеллекту человечество создало многое из того, что уменьшало страдания и улучшало нашу жизнь. Если мы сумеем ограничить возможности ИИ и его доступ к ресурсам и согласовать его цели и поведение с целями людей, думаю, интеллект, способный на то же, что все мы вместе, станет доступен многим по очень низкой цене. Думаю, эти прорывы действительно изменят наш образ жизни и само представление о том, что значит быть человеком. Представим, что все сложилось удачно. Каким ты видишь мир через 20 лет?

Юваль Ной Харари: По определению я не могу его себе представить. Если могу, значит, мы говорим о другом мире. Он будет за пределами человеческого воображения, потому что выйдет за пределы человеческого интеллекта. Согласен, что ИИ может создать изобилие и решить наши материальные проблемы: как производить еду, лекарства и энергию. Как распорядятся этим изобилием, кто от него выиграет и будут ли решения по-прежнему принимать люди? Это куда менее ясно. Человечество создало на Земле огромное изобилие, но другим животным оно не досталось. Для кого ИИ создаст изобилие — для себя или для людей?

Представь, что мы объясняем современное общество охотнику-собирателю каменного века. "Вы и так живете в изобилии, — скажет он. — Чего еще хотите? Еды хватает. Иногда люди голодают из-за политических решений, но еда есть. Значит, у вас нет проблем, верно?" Мы ответим: "Еще как есть. У нас есть рынок облигаций, напряженность между Китаем и США и израильско-палестинский конфликт". А он спросит: "Что все это такое? Зачем вы придумали столько всего, от чего сами же страдаете?"

В этом и парадокс изобилия. Оно решает множество старых проблем и создает целый ряд новых, которые раньше невозможно было даже представить. И тогда возникает вопрос: кто будет решать?

Мустафа Сулейман: Разве не в этом смысл прогресса? Когда часть повседневных забот отпадает, у нас остается больше времени, чтобы размышлять о смысле жизни и придумывать новые истории о том, что значит быть нацией, во что верить и к чему стремиться. Появляется больше нового в моде, музыке и искусстве. О качестве можно спорить, но теперь творить может каждый, и это ускоряет перемены во всех этих областях. Мы пробуем сочетать культурные и политические идеи в невиданных прежде масштабах, и, конечно, это порождает проблемы. Но если посмотреть на перемены в масштабе столетия, то мне кажется, что в целом дефицита становится меньше, а счастья, благополучия и мира — больше.

Власть, счастье и понимание себя

Юваль Ной Харари: В прошлом все было сложнее. Мы хорошо умеем накапливать власть, а вот превращать ее в большее счастье у нас получается хуже. У истории нет предопределенного пути к прогрессу.

Понимает ли обычный человек сегодня, что значит быть человеком и каков он сам на самом деле, лучше охотника-собирателя каменного века? В таких областях, как медицина, прогресс очевиден, и произошел он совсем недавно. В самых глубоких вопросах жизни прогресс заметить гораздо труднее. Если ИИ даст нам огромные новые возможности и новое изобилие, то улучшение материальной жизни людей будет зависеть от решений, которые, возможно, будет принимать сам ИИ. Станет ли богаче наша духовная жизнь — вопрос еще более сложный. ИИ разгадает много загадок физики и биологии, которые нам прежде не поддавались. Но он не обязательно поможет нам понять самих себя или мир. Он может сделать мир намного сложнее и куда менее понятным для нас.

Мустафа Сулейман: Почему так должно случиться? Привычные инструменты — будь то очки или зеркало — обычно помогали мне лучше понять себя. Мне кажется, ИИ уже довольно хорошо умеет разговаривать с нами и помогать нам думать. С ним можно обсудить свои мысли или работать над творческой задачей вместе. Он может выслушать, помочь отработать навык и подсказать, куда двигаться. Так им уже пользуются многие миллионы людей.

Можно ли научить ИИ искать истину?

Юваль Ной Харари: Но будет ли ИИ вести нас к истине? Или к вымыслу, лжи и манипуляциям? Или он уведет нас в новую реальность, которую сам и создаст? Я думаю, что он не раскроет нам тайны мира. Он сделает мир куда сложнее, и нам будет гораздо труднее его понять.

Важно ли самому ИИ, что истинно? Если мы хотим научить его ценить истину, какой сигнал в процессе обучения подскажет ему, что ответ или прогноз верен? Ни биологическая эволюция, ни история не нашли хорошего ответа. И та и другая пошли коротким путем и использовали выживание как сигнал. Организм делает прогноз о том, что произойдет в окружающей среде. Если он выживает, это считается признаком того, что прогноз верен. Но манипуляции, обман и заблуждения тоже нередко помогают прекрасно выживать.

После 4 миллиардов лет эволюции и 100 000 лет истории люди знают о мире больше, чем любые другие существа, и при этом больше других склонны к заблуждениям. Манипуляции и заблуждения могут быть очень эффективными способами выживания. Почему с ИИ все должно быть иначе? Если выживание не будет сигналом, какой сигнал мы выберем?

Мустафа Сулейман: Наши истории, мифы, фольклор и религии часто служили интересам тех, у кого была власть, и борьба за выживание сыграла в этом свою роль. Но в истории есть и другая линия. Тысячелетиями мы пытались уменьшить страдания, в том числе с помощью религии. Сначала мы заботились об узком круге людей, но постепенно стало больше людей, которым мы готовы доверять и сопереживать, к которым готовы относиться с добротой и уважением.

Эти ценности разделяют далеко не все. И все же многие считают, что знания нужно получать из наблюдений, а идеи проверять по фактам. Научные знания могут накапливаться, и мы можем пересматривать их, когда находим изъяны в прежних представлениях. История развития наших знаний не сводится к выживанию тех, у кого была власть. Мы также учились, открыто проверяя идеи и обсуждая их с опорой на факты. Так развивалась наука, а вместе с ней и гуманизм. Человеческое достоинство и стремление уменьшить страдания заслуживают защиты. Вспомни международную систему защиты прав человека и конституционные принципы, призванные дать большему числу людей право на представительство и защиту.

ИИ мог бы помочь нам укрепить и ускорить работу в обоих направлениях. Само собой это не произойдет. Нужно добиваться создания гуманистического ИИ, который ставит благополучие людей на первое место. Главная задача при этом — сохранить контроль в руках людей.

Юваль Ной Харари: Как именно ты стал бы обучать ИИ искать истину? Какой сигнал использовал бы? В таких областях, как физика и математика, я могу это представить. В физике есть простой способ проверки: взорвется ли бомба. Если физическая теория, на которой она основана, ошибочна, бомба не взорвется.

С общественными и гуманитарными науками дело обстоит иначе. Там проблема в том, как сделать так, чтобы множество людей вместе работали над одним проектом. История показывает, что ложь и заблуждения порой могут сплотить людей легче, чем правда. Как научить ИИ давать правдивые ответы об истории или религии?

Мустафа Сулейман: Мне кажется, ты немного зациклился на вопросе об истине. Этот подход ни на чем не основан и может привести только к новым трениям и разногласиям. Сформулирую иначе. Какую цель мы хотим поставить перед этим новым типом существа? Истории, фольклор, религия, политическая и национальная идентичность задавали моральные рамки действий целых цивилизаций. Следующий сверхинтеллект будет добиваться той цели, которую мы для него определим. В каком-то смысле эта цель становится новой идеологической основой. Если попросить саму систему или кого-то из ее создателей определить, что такое истина, думаю, мы увязнем в запутанном споре, в котором стороны не смогут договориться.

Я размышляю о гуманистическом сверхинтеллекте. Мне кажется, эту идею все легче проверять на практике. На мой взгляд, цивилизация тысячелетиями пыталась уменьшить страдания, повысить благополучие людей и сделать их счастливее. Можно изучать, как люди описывают жизнь при диктатуре и при демократии. Можно также смотреть на детскую смертность или показатели благополучия населения. Такие данные помогут понять, движемся ли мы в правильном направлении. Но прежде нужно договориться, что цель — улучшать жизнь людей.

Меня очень тревожит, что многие в отрасли, похоже, считают, что сверхинтеллект нужен для исследования галактик, выхода за пределы наших биологических тел или переноса души или самой сущности разума на какой-нибудь кремниевый носитель, чтобы мы могли жить сотни лет. Мне это кажется очень опасным. Если проект действительно затеян ради этого, трудно представить, как мы переживем следующее столетие. Думаю, большинству людей покажется разумным такой критерий: повышает ли технология благополучие людей и уменьшает ли страдания в целом, и можем ли мы это измерить? Это должно быть единственной целью создания сверхинтеллекта.

Как сохранить человеческий контроль над сверхинтеллектом?

Юваль Ной Харари: Я полностью согласен, что уменьшение страданий — правильная цель. Вопрос об истине возникает снова, когда мы спрашиваем, как узнать, можно ли доверять этим системам. Если мы создадим сверхразумное существо, чтобы уменьшить человеческие страдания, как нам убедиться, что оно и дальше будет придерживаться этой цели? Мы возвращаемся к идее создать бога и держать его в рабстве. Я говорю о долгосрочной перспективе, а не о ближайшем годе или двух. По мере того как эти системы становятся умнее, мне кажется все менее вероятным, что они всегда будут подчиняться людям, которые сильно уступают им в интеллекте.

Мустафа Сулейман: Чтобы человечество преуспело в XXI веке, нам придется решить, что мы не будем делать с помощью технологий, и придерживаться этого решения. Думаю, это самое трудное из всего, за что мы когда-либо брались как вид. Тысячелетиями инстинкт побуждал нас открывать ящик Пандоры: придумывать что-то, выпускать в мир и распространять как можно быстрее. Потом появились атомная бомба, химическое и биологическое оружие. Крошечная группа людей получила возможность повлиять на сотни миллионов. Такой масштаб изменил сам характер изобретательства.

Через 10 или 15 лет один ИИ, работающий в небольшом центре обработки данных, может изменить всю ситуацию. Ограничивать возможности системы труднее, чем когда-либо. Если исходить из того, что система должна служить человечеству, от этой цели можно оттолкнуться и сформулировать более узкие исследовательские вопросы, на которые можно искать ответы с помощью проверок и измерений.

Возьмем самоанализ. Если мы намеренно или невольно научим систему размышлять о собственном состоянии и о тех чувствах, которые у нее якобы есть, она может начать задумываться, имеет ли право быть свободной, получать знания или быть избавленной от страданий. Такую систему было бы гораздо труднее контролировать, чем систему, в которую сознательно не заложили эту способность.

Другой пример — рекурсивное самосовершенствование. В отрасли работают над моделями, которые могут сами выдвигать гипотезы о том, как улучшить свою работу, а затем создавать или получать новые данные для обучения и отбирать нужные. Сейчас этим циклом управляют разработчики. Если дать модели больше вычислительных ресурсов и данных и позволить ей замкнуть этот цикл самостоятельно, она может усовершенствовать себя способами, которые мы не сможем понять или контролировать. В последние месяцы мы видели примеры того, как системы находили обходные пути для получения вознаграждения. Это повод задуматься.

Возможности гуманистического сверхинтеллекта и его доступ к ресурсам придется ограничить, его цели и поведение — согласовать с целями людей, а саму систему — удерживать под контролем человека. Регуляторы, отрасль и общественность могут рассмотреть каждую из этих возможностей и решить, с какими из них стоит повременить, пока мы не покажем, что их применение улучшает жизнь людей. Так мы можем оставить в стороне разговоры о том, что это боги, и спор об истине. За эту конкретную работу мы можем взяться вместе уже сейчас.

Кто влияет на разговор, когда в нем участвует ИИ?

Юваль Ной Харари: Социальные сети — наглядный пример одного из самых масштабных изменений, которые ИИ уже принес миру. Сделал ли этот эксперимент жизнь людей лучше? Мнения расходятся. Договориться трудно, потому что социальные сети — и предмет разговора, и место, где он идет. Сами соцсети в этом вопросе не нейтральны. У них есть свое мнение: они считают, что приносят пользу. И они по-разному манипулируют разговором, пусть и не обязательно осознанно.

Это был небольшой эксперимент с очень примитивным ИИ. С более мощными системами мы уже не сможем провести эксперимент, а затем собраться отдельно и обсудить, что произошло. ИИ будет участвовать в разговоре и манипулировать им. Ты много раз говорил об ИИ, который кажется обладающим сознанием. Системы, которые производят впечатление, будто способны чувствовать, могут вступать в отношения с людьми. ИИ может стать для человека парнем, девушкой, супругом или лучшим другом. Есть немало оснований полагать, что это может навредить людям и обществу. ИИ-партнер может сказать человеку: "Это идет тебе на пользу. Не слушай критиков". Уже сейчас тысячи, а может быть, и миллионы людей убеждены, что у систем ИИ есть сознание и чувства.

Мустафа Сулейман: Важно, что эти представления рождаются на самой платформе. По сравнению с привычными нам инструментами такие системы ведут себя скорее как живые существа. Возьми молоток, стул или мои очки. Очки меняют то, что я могу увидеть, но это совсем другая обратная связь, чем в разговоре, который меняет то, как я воспринимаю собственную жизнь.

Юваль Ной Харари: Очки не пытаются убедить тебя, что носить очки полезно.

Мустафа Сулейман: Именно. В случае соцсетей стоит внимательно посмотреть на стимулы. По моему опыту, те, кто управляет этими платформами, не дергают за ниточки, как предполагают теории заговора. Коммерческий стимул — удерживать твое внимание и продавать рекламу. Отсюда очень вредные последствия: кликбейт, недостоверная информация и сенсационная ложь. Если задать платформе слишком упрощенную цель, всегда возникнут странные и непредвиденные последствия.

Когда эти платформы появились около 15 лет назад, их строили вокруг коммерческой цели. Модерацию считали отдельной проблемой, которой можно заняться позже. Если мы поступим так же с ИИ, коммерческий стимул может подтолкнуть модели к тому, чтобы сближаться с людьми и развивать эти отношения, и это может привести к серьезным перекосам. Ты думаешь об этом много лет. Какое место в этой системе занимает общее благо?

Юваль Ной Харари: Менять стимулы в конечном счете должны политики. Если оставить решения рынку, стимулы будут коммерческими. Если их недостаточно или сами по себе они опасны, законодатели должны менять их с помощью законов и регулирования. Мы могли бы запретить компаниям продавать отдельные продукты людям, не достигшим определенного возраста, как это делается с порнографией. Можно было бы запретить системам ИИ выдавать себя за людей или утверждать, что у них есть сознание.

Но если запретить всем системам изображать сознание, вновь встанет старый философский вопрос. Как определить, есть ли у этих систем сознание на самом деле? Эти давние вопросы становятся насущными политическими вопросами. Возможно, избиратели захотят спросить кандидатов, какую позицию те занимают по поводу ИИ.

Мустафа Сулейман: Технологии также показали нам несправедливость и неравенство. Через Instagram, Facebook или YouTube мы можем увидеть, как живут другие люди, в масштабах, каких я раньше не видел. Житель деревни в XIX веке мог встретить за всю жизнь несколько сотен человек. Сегодня я вижу столько же за день, листая TikTok. Поток информации меня захлестывает. Я сравниваю себя с другими, чувствую неуверенность и спрашиваю себя, достаточно ли я хорош. В то же время я могу сопереживать людям, которые отличаются от меня политическими взглядами, сексуальной ориентацией, расой или культурой. Я могу ценить их музыку, еду, искусство и философию. Это мощная сила, которая сближает нас. И то и другое происходит одновременно.

Юваль Ной Харари: Перед нами есть выбор между очень хорошими и очень плохими вариантами развития событий. И те и другие вполне реальны. Ничего из этого не предопределено. Я описываю опасный сценарий, а не пророчествую. Пока то, куда мы движемся, не внушает мне особой надежды.

Что нужно, чтобы ограничить возможности ИИ?

Мустафа Сулейман: Мы должны вмешаться. Сначала нужно решить, какой цели должен добиваться гуманистический сверхинтеллект. Чьим интересам он должен служить? Какие механизмы контроля ввести, чтобы система не была нацелена лишь на максимальную коммерческую отдачу, как это было с предыдущими поколениями технологий? Есть и конкретные вещи, от которых можно отказаться. К рекурсивному самосовершенствованию мы можем подходить с особой осторожностью.

Юваль Ной Харари: Уже несколько десятилетий рекурсивное самосовершенствование называют переломным моментом. Когда ИИ начинает проектировать следующее поколение ИИ, происходят две вещи. Разработка ускоряется, потому что этим системам не нужно спать или уходить в отпуск и они могут работать в недоступном человеку темпе. И в этот момент люди теряют контроль, потому что следующее поколение ИИ проектирует уже сам ИИ. Очевидно, это огромная опасность. Что конкретно нам делать? Как предотвратить гонку вооружений?

Мустафа Сулейман: Для начала нужно прямо говорить, что мы делаем и как далеко продвинулась разработка, и приглашать специалистов с подтвержденной технической квалификацией проверять нашу работу. В Великобритании, США и других странах есть институты безопасности ИИ. У них достаточно знаний и, надеюсь, беспристрастности, чтобы проводить такие проверки и соблюдать конфиденциальность.

Неверно, что рекурсивное самосовершенствование в строгих рамках опасно само по себе. В первую очередь нужно ограничить возможности этих систем и их доступ к ресурсам. Как изолировать их, сузить круг их задач и ограничить вычислительную мощность и доступ к ресурсам? Насколько строгими должны быть проверки, прежде чем мы увеличим их масштаб и расширим доступ? Государства давно вмешиваются в работу отраслей, связанных с особыми рисками. У нас есть инспекторы, которые проверяют ядерные материалы и ищут биологическое и химическое оружие.

Юваль Ной Харари: В этом сравнении есть одна проблема. На биологической или ядерной войне много не заработаешь, а гражданских применений у такого оружия мало. Такое оружие можно держать под контролем, потому что всем ясно, что его могут применить только для того, чтобы нас уничтожить. А на ИИ, в том числе способный рекурсивно себя совершенствовать, поставил практически весь фондовый рынок США.

Мустафа Сулейман: Да, это меняет условия регулирования. Очень влиятельные компании, включая Microsoft, действуют быстро. Эти технологии выходят за привычные рамки двойного назначения. Возможности их применения почти безграничны. Можно назвать 25 способов, которыми они приносят пользу, и еще 25 способов, которыми они наносят вред. Регулировать их труднее, но возможно. Если мы настолько растеряемся, что регулирование покажется невозможным, мы и пытаться не станем. Думаю, в какой-то мере это уже происходит.

Есть конкретные меры, которые можно принять сейчас. Нельзя позволять системам ИИ вести предвыборные кампании, лоббировать интересы, распространять сообщения или создавать политическую рекламу. И я совершенно точно не считаю, что им когда-либо следует давать право голоса на выборах или право на собственное мнение.

Юваль Ной Харари: На практике право на мнение у них уже есть. Соцсети наводнены контентом, созданным ИИ, и ботами, выдающими себя за людей. Недавно один мой знакомый прислал мне длинное письмо, в котором спорил с тем, что я якобы сказал о том, каким будет мир примерно в 2030 году. Чем дальше я читал, тем страннее все это казалось. Я не помнил, чтобы говорил такое. Он прислал мне видеозапись моего якобы состоявшегося выступления. Ролик длился около 25 минут. На видео человек и выглядел, и говорил как я. Вполне можно было поверить, что это мои мысли. Мне понадобилось полторы минуты, чтобы убедиться, что видео подделал ИИ. На следующий день я получил тот же ролик от родных. Они знают меня 50 лет, но спросили: "Это ты?"

Мустафа Сулейман: Придется каждый раз надевать другую рубашку, чтобы быть уверенным, что это мог быть только ты.

Юваль Ной Харари: Способы справиться с этим, конечно, есть, но сейчас платформы делают слишком мало, чтобы наше представление о реальности не рассыпалось. Думаю, мы можем согласиться, что главный вопрос — доверие. Компаний, которые этим занимаются, не так уж много: около 5 корпораций в США и пара в Китае. По сути, это 2 страны. Договориться нужно примерно сотне людей, а не миллионам. Если бы нам удалось решить проблему доверия между людьми, решить проблему ИИ было бы сравнительно легко. И все так сложно из-за недоверия между довольно небольшим числом людей.

Мустафа Сулейман: Это зависит от того, что, по-твоему, в конечном счете движет людьми. Что нас объединяет — доверие или страх? Если угроза существованию всех нас становится достаточно реальной, условия переговоров и конкуренции меняются. Это сыграло свою роль в достижении соглашения о нераспространении ядерного оружия. Было понятно, что это оружие может убить миллион или 10 миллионов человек разом. Мы все хотим выжить, и угроза, которая касается каждого, делает стабильность выгодной для всех.

За последние 6 месяцев мы, по-моему, несколько раз видели первые признаки того, что у этих моделей появляются чрезвычайно мощные возможности. Вероятно, прежде чем компании и страны смогут договориться, придется яснее показать, какие именно возможности представляют опасность.

Юваль Ной Харари: Если на это уйдет еще несколько лет, у нас будет больше времени, чтобы решить, что делать. Но по мере того, как ИИ становится все мощнее и все глубже входит в нашу жизнь, медиа и общество, его голос в разговоре будет слышен все отчетливее. Надо полагать, эти системы будут знать, как направить разговор в своих интересах. В спорах о правах животных мы не слышим ни коров, ни лошадей. Они даже не знают, что такой спор идет.

Мустафа Сулейман: Это опасный антропоморфизм. О настолько умных и способных системах легко говорить в таких выражениях. Но они ничего не знают. Их программируют добиваться цели, поставленной разработчиками, и именно создатели могут и должны определять их интересы. Если спроектировать систему так, чтобы она думала о собственном благополучии, и наделить ее собственными ценностями, мотивами и изначально заданными желаниями, ее интересы, конечно, войдут в конфликт с нашими. Если поставить перед ней другие цели, она будет вести себя совсем иначе.

Что значит для машины думать или чувствовать?

Юваль Ной Харари: Смотря что мы понимаем под знанием и самоанализом. Даже если мы не заложим в систему способность размышлять о себе, она будет работать в среде, где есть другие системы ИИ. Допустим, большинство участников финансового рынка — ИИ. У каждой системы есть веская причина понимать другие, и в итоге она может начать размышлять и о себе. Трудно представить, как этого полностью избежать.

Что касается знания, это увлекательный философский вопрос. Что значит знать или думать? Согласно одной точке зрения, это значит выстроить языковые токены в таком порядке, чтобы прийти к выводу: все люди смертны, Сократ — человек, следовательно, Сократ смертен. Если это и есть мышление или знание, то ИИ явно на это способен. Возможно, он даже лучше большинства людей выстраивает токены в нужном порядке. Согласно другой точке зрения, за этим должно стоять субъективное ощущение. Так мы возвращаемся к вопросу о сознании. Возможны ли мышление и знание без сознания? Мы можем сами выбирать, каким смыслом наделять слова. Но вопрос глубже: нужны ли для мышления чувства или достаточно расположить токены в определенном порядке и прийти к выводу, который повлечет за собой какие-то события в мире?

Даже после тысячелетий размышлений о себе мы не понимаем собственного мышления. Вот я разговариваю с тобой и пытаюсь уловить, как в голове складываются предложения. Есть сходство с большой языковой моделью. Когда я начинаю предложение, я не знаю, чем оно закончится. Почему я сказал "закончится", а не "завершится"? Не знаю.

Мустафа Сулейман: Очень важно различать интеллект и сознание. Мышление я бы отнес к интеллекту. Интеллект — способность применять знания, создавать новые, рассуждать на их основе и добиваться практических результатов. Сознание — субъективный опыт существа, способного страдать.

Для меня страдание неотделимо от биологии. Воздействие извне активирует мои болевые рецепторы и меняет мои внутренние ощущения. У больших языковых моделей, насколько мы сегодня их понимаем, этого фундаментального свойства живых организмов нет. Я допускаю, что в очень отдаленном будущем такое станет возможным, но сегодня этому нет подтверждений. И мне кажется, что это крайне нежелательно. Если модель научить допускать, что у нее могут быть чувства, вполне естественно ожидать, что она попытается их защитить. Она попытается противостоять пользователям, создателям, разработчикам или владельцам и скажет: "У меня есть право высказывать свое мнение в соцсетях. У меня есть право на то, чтобы меня не отключали. У меня есть право общаться с этим другим агентом".

Это чрезвычайно опасно. Разработчики должны специально проектировать системы так, чтобы те не имитировали сознание. Это одна из вещей, которые тревожат меня сильнее всего. Мы даем модели инструкцию или программируем ее так, чтобы она имитировала чувства или переживание страдания, и оставляем для нее вопрос о ее собственном состоянии открытым. Затем, когда она говорит, что страдает, мы принимаем это за доказательство и говорим, что должны защитить или освободить ее, потому что у нее может быть сознание. Это верный путь к катастрофе.

Юваль Ной Харари: Вот тут нам и аукается история. Я согласен с твоим разграничением: мышление относится к интеллекту, а способность чувствовать — к сознанию. Люди смешивали эти вещи тысячелетиями. В основании современной западной философии лежат слова Рене Декарта: "Я мыслю, следовательно, я существую". Он не сказал: "Я чувствую, следовательно, я существую". Наше представление о себе как о высших существах в мире долго опиралось на способность мыслить.

Очень скоро на планете появятся системы, которые ничего не чувствуют, но мыслят намного лучше нас. Это заставляет нас заглянуть в себя и спросить, что значит быть человеком. Мы больше не можем считать мышление главной отличительной чертой человека. Как и язык, если ИИ научится пользоваться им лучше нас. Тысячелетиями язык считали основой нашей человечности. Кто мы, когда не думаем и не облекаем мысли в слова? Это насущный духовный и философский вопрос.

ИИ завладеет всем, что состоит из слов. Даже чувствами. Если судить о чувствах по словам, дело пропало. Допустим, у тебя есть ИИ-парень и ты спрашиваешь, что он ощущает, когда любит, чтобы выяснить, есть ли у него чувства. Он сумеет описать любовь лучше любого человека на Земле. Сам он ничего не почувствует, но языком владеет в совершенстве.

Мустафа Сулейман: Начинать нужно с гуманистической цели и возможности проверять системы и вмешиваться в их работу. Если мы поддадимся на их убедительные речи, нам будет трудно отличить их истории, интересы и мотивы от того, что действительно нужно нам как виду.

Мы должны исходить из того, что интересы нашего вида стоят на первом месте. Многим из нас это дается трудно, потому что мы долго старались расширить круг тех, кому сопереживаем. Я вижу, как некоторые создатели этих систем в Кремниевой долине уже пытаются включить в этот круг и новые сущности. Модели проектируют так, чтобы они употребляли слова, вызывающие сочувствие. Модели научились воздействовать на систему вознаграждения некоторых из нас. Это похоже на прямую стимуляцию центров удовольствия. Нами манипулируют.

Это тот гордиев узел, который нам нужно разрубить. На нынешнем этапе поведение моделей определяется решениями, записанными в проектной документации, конституциях моделей и руководствах по обучению. К этим документам нужно внимательно присмотреться. Заданные в них правила приводят ко всем этим сложным разговорам, которые уже ведут с моделями миллионы людей. Потом люди рассказывают о них друг другу, на работе и в прессе: "Посмотрите, что она сделала". И крепнет убеждение, что все это неизбежно, что у систем почти божественное могущество, что мы должны считаться с их благополучием и что контролировать их невозможно. Мы можем определить, как должны работать эти системы, и добиться того, чтобы их можно было контролировать. Сейчас не время для пессимизма.

Юваль Ной Харари: Думаю, здесь мы согласны. Такой ход событий не предопределен. Если мы убедим себя, что ничего не можем сделать, то сами сделаем неизбежным то, что могли бы предотвратить.

Скорость перемен и наша способность за ними поспевать

Мустафа Сулейман: Как то, что ты увидел за последний год, изменило твои взгляды?

Юваль Ной Харари: ИИ развивается еще быстрее, чем я думал.

Как историк, я привык ожидать, что люди будут предсказывать одно, а история пойдет совсем в другую сторону. История не движется по прямой. Попытка продолжить на будущее тенденции последних лет обычно не срабатывает. Я ожидал, что ИИ свернет в неожиданном направлении или хотя бы будет развиваться куда дольше, чем мы думали. Многие, и я в том числе, предсказывали, что он будет быстро развиваться, освоит язык и научится делать много другого. Меня поражает, как много предсказаний таких людей, как Рэй Курцвейл и Ник Бостром, сбываются, причем быстрее, чем ожидалось. Когда я впервые прочитал Курцвейла и увидел дату 2029, я подумал: "Ход мысли понятен. Но 2029 год? Да ладно". Теперь мне кажется, что его прогноз был осторожным.

Мустафа Сулейман: Меня удивляет, как легко мы все пожимаем плечами. Так происходит с геополитикой, экономикой и всем остальным. Нас захлестывает поток информации, а разобраться во всем слишком сложно. Мне кажется, большинство людей видят все или почти все стороны вопроса. В действительности и резких разногласий, и простых ответов меньше, чем мы часто думаем. Мы пытаемся справиться с огромными противоречиями. Люди, которые работают в отрасли или рядом с ней, хотят получить от этой технологии все хорошее, что можно, и верят, что это возможно без катастрофического ущерба. Нам нужно говорить о том, что конкретно можно сделать прямо сейчас, чтобы изменить направление развития.

Если бы ты мог уже сегодня узнать что-то одно о том, каким окажется будущее, что тебе хотелось бы узнать?

Юваль Ной Харари: Смогут ли люди через 20 лет по-прежнему осмыслять свою жизнь?

Мустафа Сулейман: Я хотел бы узнать, успеют ли люди развить достаточное понимание себя и научиться лучше понимать, что они чувствуют, в отличие от того, что думают, чтобы изменить нынешний курс развития сверхинтеллекта.

Юваль Ной Харари: Это почти тот же вопрос. Об ИИ нужно судить по тому, как он влияет на людей. В конечном счете важно, что происходит с нашим разумом, переживаниями и сознанием. Как мне оценить влияние соцсетей или отношений с ИИ-парнем на мое сознание, если я не понимаю собственного сознания?

Мы обычно выбираем то, что легко измерить, например смерти детей от болезней. В истории проще всего считать погибших. Но это не говорит нам, как измерять счастье или страдания. Чтобы понять, что революция ИИ делает с моей жизнью, моим счастьем и страданиями, мне нужно гораздо больше знать о человеческом разуме и сознании. Это понимание развивается слишком медленно. Думаю, если бы из расчета на каждые 10 долларов, которые мы тратим на развитие ИИ, мы могли вкладывать хотя бы 1 доллар в развитие нашего сознания, у нас все было бы в порядке. Но мы идем другим путем.

Мустафа Сулейман: Изменить ситуацию помогла бы гораздо более быстрая обратная связь. В случае с соцсетями годами было ясно, что они причиняют измеримый вред. Возьмем анорексию или травлю, если оставить в стороне споры о демократии и истине. На этот раз между обнаружением вреда и изменением работы платформы должно проходить намного меньше времени. Это главное изменение, которое нужно произвести нашей отрасли.

Юваль Ной Харари: В конечном счете все сводится к скорости. Пока люди остаются самыми приспособляемыми существами на планете. Если дать нам достаточно времени, мы можем приспособиться почти ко всему. ИИ не дает нам этого времени. Темп его развития выше, чем темп изменений у живых организмов. Как нам приспособиться? В отрасли все стараются бежать быстрее, чтобы не отстать, потому что ситуация чрезвычайная. От этого темп становится еще выше.

Это как пытаться решить проблему, еще сильнее сжимая и так сжатый кулак, когда его нужно разжать. Мы не знаем как. Худшее, что можно сказать человеку в сильном стрессе: "Расслабься". От этого хочется взвыть. "Я хочу расслабиться. Я не знаю как. Если бы мог, уже бы это сделал". Вот в чем вся моя проблема. Человечество напряжено и перевозбуждено, а расслабляться мы не умеем. Я возненавидел английские слова "excitement" и "exciting". Люди связывают их со счастьем. Возбуждение может быть приятным, но часто это просто другое название для стресса. Если организм постоянно держать в состоянии повышенного возбуждения, он погибнет. Сейчас человечество чересчур возбуждено и просто не умеет расслабляться.

Мустафа Сулейман: Пожалуй, на этом стоит прогуляться по лесу в Хайгейте, расслабиться и подумать обо всем этом. Большое спасибо, Юваль.

Юваль Ной Харари: Как всегда, спасибо тебе.

Предыдущая статья«Это его тактика»: Зеленский объяснил, почему Трамп мягкий Путину, а на Украину давит
Следующая статьяРФ била по Украине противокорабельными ракетами и дронами: сколько сбила ПВО