Когда публичные эксперты пытаются серьезно говорить об ИИ, в большинстве случаев они либо делают это с чрезмерным восхищением (необычайный прогресс!), либо пытаются вызвать у слушателя шок и трепет.
Оба подхода не позволяют осмыслить предмет обсуждения и напоминают мне то, как люди в конце 1800-х годов воспринимали поезда или кино, когда видели их впервые.
На мой взгляд, к ИИ следует относиться как к очередной инновации в длинном ряду предыдущих, таких как использование огня, авиаперелёты, ядерное расщепление.
ИИ действительно революционен и меняет нашу жизнь. Но это и просто новый инструмент, с которым нам придётся научиться жить, так же как мы научились пользоваться огнём и другими достижениями цивилизации.
Взгляд опытного геймера
В 1990-х появился ряд игр в жанре стратегии в реальном времени (RTS), таких как Command and Conquer, Warcraft, StarCraft. В этих играх вы управляете группами и отдельными юнитами. Когда ваша армия насчитывает до сотни юнитов – разработчики тогда считали – игрок не сможет контролировать всех одновременно. Именно поэтому юнитам в RTS-играх придумали умное поведение и умные групповые команды.
Ниже примеры из StarCraft — игры, выпущенной в 1998 году, которая остаётся актуальной и в 2025.
Умное поведение:
-
Если враг поблизости – атаковать его
-
Если на вас напали, но вы не можете ответить – убегать в противоположную сторону от нападающего
-
Если враг убегает – догнать и атаковать
Умные команды:
-
Перемещайся и атакуй всё враждебное на пути
-
Перемещайся, никого не атакуя
-
Удерживай позицию, не убегай и не преследуй
Эти поведенческие алгоритмы и команды были созданы для того, чтобы игроки могли сосредоточиться на других вещах – например, на экономике или позиционировании армии. Но за почти 30 лет истории StarCraft стратегии, которые возникли, оказались совсем не такими, как ожидали разработчики – игроки часто хотят, чтобы юниты вели себя не так, как они были запрограммированы.
Например, юнит Lurker в StarCraft может зарываться под землю (становиться невидимым) и наносить урон всем врагам по прямой линии в определённых пределах. Но как только первый враг входит в радиус атаки, Lurker автоматически атакует согласно умному поведению. Эта ранняя атака настораживает врага и сводит на нет потенциальный эффект засады. Если бы Lurker подождал, пока в зону зайдёт целая группа, он мог бы уничтожить армию за один момент. В StarCraft нет встроенной опции, чтобы отключить эту умную автоатаку, но игроки используют баги игры, чтобы устраивать такого рода засады.
ИИ можно научить оптимальному поведению на определённом уровне задач и целей – например, “если атакуют, атакуй в ответ”. Но для принятия решения о том, что в этой ситуации лучше не атаковать – нужен более высокий уровень мышления, который учитывает более высокий контекст. Можно дать ИИ более высокий уровень сложности, но он всё равно будет решать задачи на этом уровне, без способности выйти за его рамки.
Почему ИИ побеждает людей в шахматах и StarCraft, но люди всегда могут вырвать победу, просто выдернув вилку из розетки
Повторю: ИИ может решать задачи только в рамках уровня, на котором эти задачи были поставлены.
Представьте, что вы профессионально играете в шахматы или StarCraft. Вы играете в ежесубботнем турнире на $150 с соперником, с которым на следующей неделе предстоит бороться в квалификации на закрытый турнир с призом в $500 000. В такой ситуации сегодня вы можете сознательно сыграть нестандартно и не оптимально, чем, дать оппоненту ложное представление о вашем стиле и уровне игры.
Если бы вместо вас играл ИИ, он, вероятно, не смог бы так себя повести, потому что для него оптимально выигрывать каждую игру.
Вы скажете, что ИИ тоже можно научить такому поведению, и применять его, играя экспериментальными стилями в еженедельных кубках, а самое эффективное – на крупных событиях. Но эта идея имеет то же ограничение, что и любая другая установка, применённая вслепую к контексту — её можно обойти мышлением в процессе стратегирования. Например, игрок может использовать эту логику, чтобы “фармить” победы против ИИ в еженедельных матчах. Или обмануть ИИ, каким-то приёмом заставив думать, что текущий матч не важен.
Без очень специфических команд ИИ даже не попытается мыслить в описанных выше направлениях. Он останется слепым к тому, что с ним играют не только на шахматной доске, но и на других уровнях.
Почему ИИ не угроза человечеству
Вот очень неочевидная вещь, которую я хочу подчеркнуть – стратегирование, присущее человеку, очень отличается от постановки целей. Стратегирование происходит из интересов, любопытства, пережитых травм. Пока ИИ не обретёт эти вещи — он не способен стратегировать, а только достигать целей согласно заложенному программированию.
Предположим, мы стратег, который хочет достичь мирового доминирования для своей страны. Вот несколько вещей, которые могут происходить с нами:
-
Наша стратегия может иметь несколько целей ((а) создать большую армию; (б) получить экономическое преимущество; (в) достичь технологического рывка;…)
-
Напротив — наша стратегия может не иметь каких-либо конкретных целей на определённом этапе (мы ждём подходящего момента и решим, какую цель преследовать, когда он настанет)
-
Наши цели могут быть достигнуты, но стратегия ещё в действии (у нас самая страшная армия, самая большая экономика, самые передовые технологии, но произошла природная катастрофа, которая заставляет временно переориентировать ресурсы)
-
Наши цели могут провалиться, но стратегия ещё в действии (мы безнадёжно проигрываем в военном, экономическом и технологическом плане, но мы будем обращать другие страны к нашей идеологии, что даст нам скрытый контроль над их правительствами)
-
Наша стратегия может измениться, хотя цель останется (нам всё ещё нужны армия, экономика и технологии, но теперь мы хотим выиграть космическую гонку, а не доминировать на Земле)
-
Наша цель может измениться, но стратегия останется (допустим, мы отказались от вооруженного противостояния и доминирование теперь хотим только культурно. Мы вычёркиваем армию из нашего списка целей и вписываем что-то совершенно иное)
Вы можете поручить ИИ достичь мирового господства, но он воспримет это как цель, раздробленную на меньшие задачи. А когда изменится контекст — ИИ этого не поймёт.
Реальный пример – если бы ИИ управлял Великобританией в 1940-х и 1950-х годах, он бы не увидел смысла в создании Содружества, а цеплялся бы за существующие доминионы и колонии — Канаду, Индию, Австралию, которые тогда давали Альбиону огромную силу и ресурсы. Если бы не мыслящая и стратегирующая элита Британии — страна, вероятно, была бы разрушена в ряде войн за независимость.
Киберспортсмены понимают эти вещи, работая с сверхигровыми стратегиями (metagame), динамически перебирая разные условия победы (тайминговые атаки, исчерпание всех ресурсов на карте, base race, base trade и т.д.), и побеждая более сильных соперников за счёт мышления.
Стратегия и стратегирование – это о формировании реальности вокруг нас. Они связаны с целями, но не тождественны им. Пока мы не научим ИИ быть любопытным, чувствовать боль, искать смысл существования – ИИ сможет работать только с целями, а не со стратегированием. ИИ может быть независимым агентом, даже создать собственную страну и голосовать в ООН – но он всегда будет ограничен собственными установками.
И его сможет победить менее “умный” агент (такой как человек), который умеет страдать, способен быть любопытным и имеет другие преимущества свободы воли (в смысле фрески Микеланджело, приведённой ниже).
ИИ меняет мир
Из-за ИИ произойдут большие потрясения.
Но слепой страх или слепое восхищение – это неправильная стратегия справиться с этим.
Любопытство и мышление – правильная.
