Часть II. Концепции и методы
Глава 3. Игры с последовательными ходами
Игры с последовательными ходами предполагают стратегические ситуации, в которых существует строгий порядок ведения игры. Игроки ходят поочередно и осведомлены о действиях соперников, сделавших свои ходы до них. Для того чтобы хорошо играть в такую игру, ее участникам необходимо использовать определенный тип интерактивного мышления. Каждый игрок должен просчитать возможную реакцию противника на тот или иной ход. Всякий раз при выполнении действий игрокам следует думать о том, как их текущие действия повлияют на будущие действия как самого игрока, так и его соперников. Следовательно, игроки выбирают ходы на основании расчета вероятных последствий.
Большинство реальных игр сочетают в себе аспекты игр как с последовательными, так и с одновременными ходами. Но концепции и методы анализа легче понять, если вводить их сначала отдельно для двух чистых типов игр. Исходя из этого, в данной главе рассматриваются только игры с последовательными ходами. Глава 4 и глава 5 целиком и полностью посвящены играм с одновременными ходами, а в главе 6 и нескольких разделах главы 7 показано, как объединить оба типа анализа в более реалистичных смешанных ситуациях. Представленный здесь анализ можно использовать всякий раз, когда игра включает в себя последовательное принятие решений. Кроме того, изучение игр с последовательными ходами позволяет определить, когда игроку выгоднее ходить первым, а когда вторым. Затем игроки могут разработать способы, так называемые стратегические ходы, манипулирования порядком игры в свою пользу. Подробно они рассматриваются в главе 9.
1. Дерево игры
Начнем с описания графического метода отображения и анализа игр с последовательными ходами, именуемого дерево игры. На таком дереве, также называемом экстенсивной формой игры, представлены все ее элементы, о которых шла речь в главе 2: игроки, действия и выигрыши.
Скорее всего, вы уже сталкивались с деревьями решений в других контекстах. Такие деревья демонстрируют всю последовательность точек принятия решений (или узлов) одним игроком в нейтральной среде. Дерево решений также включает в себя ветви, которые соответствуют имеющимся вариантам выбора и исходят из каждого узла. Дерево игры – это просто совокупность деревьев решений всех ее участников. Такое дерево отображает все возможные действия, которые могут предпринять все игроки, а также все возможные исходы игры.
На рис. 3.1 изображено дерево конкретной игры с последовательными ходами. Мы не будем здесь описывать ее историю, поскольку хотим опустить многочисленные детали, чтобы вы могли сфокусироваться на общих концепциях. В игре участвуют четыре человека: Энн, Боб, Крис и Деб. Согласно правилам игры, первый ход делает Энн; это показано в крайней левой точке дерева, или узле под названием начальный узел или корень дерева игры. В этом узле, который еще можно называть узлом действия или узлом принятия решений, у Энн есть два доступных варианта выбора. Они обозначены как «стоп» и «вперед» (не забывайте, что это абстрактные обозначения и они не обязательно должны иметь какой-то смысл) и показаны на рисунке в виде ветвей, исходящих из начального узла.
.
Рис. 3.1. Иллюстративное дерево игры
Если Энн выберет «стоп», наступит очередь Боба делать ход. У него в узле действия есть три варианта выбора, обозначенные как 1, 2 и 3. Если Энн выбирает «вперед», то следующий ход делает Крис с вариантами выбора «рискованно» и «безопасно». Другие узлы и ветви следуют друг за другом, но вместо того чтобы их перечислять, мы просто обратим ваше внимание на некоторые характерные особенности данного дерева.
Если Энн выберет «стоп», после чего Боб выберет 1, Энн получит право на следующий ход с новыми вариантами выбора – «вверх» и «вниз». В реальных играх с последовательными ходами достаточно типична ситуация, когда игрок делает несколько ходов, причем они могут быть разными в разных узлах. В шахматах, например, два игрока ходят по очереди; каждый такой ход меняет ситуацию на доске, а значит, меняются и ходы, доступные для игрока, который будет ходить следующим.
Если Энн выберет ход «вперед», а Крис – «рискованно», произойдет случайное событие, например подбрасывание монеты, и исход игры будет зависеть от того, выпадет орел или решка. Этот аспект игры представляет собой пример внешней неопределенности и отображается на дереве игры посредством введения внешнего игрока под названием «природа». Ему передается контроль над случайным событием, и он как будто выбирает одну из ветвей, каждую с вероятностью 50 %. Вероятность здесь определяется посредством случайного события одного типа, а именно подбрасывания монеты, но в других обстоятельствах могут использоваться и события иных типов. Например, в случае бросания игральных костей «природа» могла бы указать шесть возможных вариантов, каждый с вероятностью 162/3 процента. Использование игрока под названием «природа» позволяет ввести в игру фактор внешней неопределенности и предоставляет в наше распоряжение механизм, который делает возможным наступление событий, находящихся вне контроля реальных участников игры.
Вы можете определить количество различных путей, существующих на дереве игры, передвигаясь по следующим друг за другом ветвям. На рис. 3.1 каждый путь приводит к конечной точке игры за конечное число ходов. Конечная точка не является обязательным элементом всех игр, некоторые из них теоретически могут вестись до бесконечности. Но в большинстве наших примеров представлены конечные игры.
В последнем узле каждого пути, так называемом концевом узле, ни один игрок не может сделать очередной ход. (Обратите внимание, что именно этим концевые узлы отличаются от узлов действия.) Вместо этого мы показываем в этом узле исход определенной последовательности действий, выраженный в выигрышах игроков. Выигрыши наших четырех героев перечислены в таком порядке: Энн, Боб, Крис, Деб. Важно указать, какой выигрыш соответствует каждому игроку. Обычно выигрыши принято указывать в том порядке, в каком игроки делают ходы. Однако иногда этот метод бывает неоднозначным; в нашем примере непонятно, кто должен делать следующий ход, Боб или Крис. Поэтому мы перечислили их в алфавитном порядке (англ. Ann, Bob, Chris, Deb), а кроме того, использовали цветную маркировку информации об игроках. Так, имя Энн, ее варианты выбора и выигрыши выделены черным цветом, Боба – темно-серым, Криса – светло-серым, а Деб – серым. При построении деревьев для игр, которые вы будете анализировать, можно выбрать любую понравившуюся вам систему обозначений, но вы должны четко сформулировать и объяснить ее тому, кто будет читать дерево игры.
Выигрыш – это числовая величина, и, как правило, для каждого игрока чем она больше, тем лучше исход игры. Таким образом, для Энн самый нижний путь (выигрыш 3) лучше самого верхнего (выигрыш 2). Однако выигрыши разных игроков не обязательно должны быть сопоставимы. В данном примере неочевидно, что в конце самого верхнего пути Боб (выигрыш 7) добивается большего, чем Энн (выигрыш 2). Иногда, например если выигрыш исчисляется в денежных единицах, сравнение выигрышей может иметь смысл.
Игроки используют информацию о выигрышах при выборе доступных действий. Включение случайного события (выбор, сделанный «природой») означает, что игрокам необходимо определить, что они получат в среднем, когда «природа» сделает свой ход. Например, если Энн выберет «вперед» в качестве первого хода в игре, Крис может выбрать «рискованно», что приведет к подбрасыванию монеты и выбору «природой» варианта «хорошо» или «плохо». В такой ситуации Энн в половине случаев может рассчитывать на выигрыш 6 и в половине случаев – на выигрыш 2; иными словами, статистическое среднее, или ожидаемый выигрыш, составит 4 = (0,5 × 6) + (0,5 × 2).
И наконец, мы используем дерево игры, представленное на рис. 3.1, чтобы объяснить концепцию стратегии. Единичное действие, предпринятое игроком в узле, называется ходом. Но игроки могут и должны составлять планы последовательности выполнения ходов, которые они намерены сделать во всех возможных случаях в ходе игры. Такой план действий и называется стратегией.
На данном дереве игры Боб, Крис и Деб получают возможность сделать ход максимум один раз; например, Крис будет ходить только в случае, если Энн в качестве первого хода выберет «вперед». Для этих игроков между ходом и стратегией нет разницы. Мы можем определить ход, указав условие, при котором он будет сделан; так, в случае Боба может быть следующая стратегия: «Выбрать 1, если Энн выберет “стоп”». Однако у Энн есть две возможности сделать ход, поэтому ее стратегия требует более полного описания. Одна из стратегий Энн: «Выбрать “стоп”, а если Боб выберет 1, выбрать “вниз”».
В более сложных играх, таких как шахматы, где есть длинные последовательности ходов с большим количеством вариантов выбора в каждой, описание стратегий усложняется; мы обсудим данный аспект более подробно далее в этой главе. Однако общий принцип построения стратегий достаточно прост, за исключением одной особенности. Если Энн выберет «вперед» на первом ходе, она так и не получит шанса сделать второй ход. Следует ли в стратегии, согласно которой она выбирает «вперед», указывать то, что Энн сделала бы в гипотетическом случае, если бы каким-то образом оказалась в узле своего второго действия? Возможно, ваша интуиция скажет «нет», но формальная теория игр говорит «да» по двум причинам.
Во-первых, выбор Энн варианта «вперед» в качестве первого хода может зависеть от ее рассуждений о том, что ей пришлось бы сделать на втором ходе, если бы она изначально предпочла вариант «стоп». Например, тогда Боб мог бы выбрать 1, и Энн получила бы второй ход, а ее лучшим выбором стал бы вариант «вверх», обеспечивающий ей выигрыш 2. Если Энн для первого хода выберет «вперед», Крис выберет вариант «безопасно» (поскольку его выигрыш 3 в случае варианта «безопасно» больше, чем ожидаемый выигрыш от варианта «рискованно»), и такой исход игры обеспечит Энн выигрыш 3. Для того чтобы процесс размышлений был понятнее, можно сформулировать стратегию Энн так: «Выбрать “вперед” на первом ходе и выбрать “вверх”, если появится возможность походить еще раз».
Вторая причина для такого, казалось бы, педантичного описания стратегий имеет отношение к устойчивости равновесия. При анализе устойчивости мы спрашиваем, что бы произошло, если бы выбор игроков был подвержен влиянию небольших помех, среди которых и мелкие ошибки самих игроков. Скажем, если бы выбор нужно было делать посредством нажатия клавиши, не исключено, что у Энн дрогнула бы рука и она случайно вместо клавиши «вперед» нажала бы клавишу «стоп». Исходя из этого, важно определить, как Энн будет действовать, обнаружив ошибку, поскольку Боб выберет 1 и наступит очередь Энн делать следующий ход. На более продвинутых уровнях теории игр анализ устойчивости обязателен, поэтому мы хотим подготовить вас заранее, настаивая на том, чтобы вы изначально формулировали свои стратегии в виде исчерпывающих планов действий.
Теперь подытожим общие концепции, проиллюстрированные деревом, представленным на рис. 3.1. Дерево игры состоит из узлов и ветвей. Узлы соединены между собой ветвями и бывают двух типов. Узел первого типа обозначается термином «узел принятия решений». Каждый такой узел соответствует игроку, который выбирает в нем действие. Каждое дерево имеет один узел принятия решений – это начальный узел дерева, отправная точка игры. Узел второго типа называется «концевой узел». Каждому концевому узлу соответствует совокупность исходов игры для ее участников; эти исходы представляют собой выигрыши, полученные каждым игроком, если игра проходила по ветвям, приведшим к данному концевому узлу.
Ветви дерева игры представляют действия, которые можно предпринять из любого узла принятия решений. Каждая ветвь на дереве ведет от узла принятия решений либо к другому узлу принятия решений (как правило, другого игрока), либо к концевому узлу. В дереве должны учитываться все допустимые варианты действий, которые игрок может выбрать в каждом узле, поэтому некоторые деревья включают также ветви, соответствующие варианту «ничего не делать». Из каждого узла принятия решений должна исходить как минимум одна ветвь, но ограничений на количество ветвей нет. При этом к каждому узлу принятия решений может вести только одна ветвь.
Деревья игры часто рисуют на странице слева направо, однако их можно рисовать в любом наиболее подходящем для рассматриваемой игры направлении: снизу вверх, в сторону, сверху вниз или даже радиально, от центра. Дерево – это метафора, в основе которой лежит идея о последовательном ветвлении, поскольку решения принимаются в узлах деревьев.
2. Решение игр с помощью деревьев
Мы проиллюстрируем использование деревьев на примере поиска равновесных исходов игр с последовательными ходами в очень простой ситуации, с которой, по всей вероятности, сталкивались многие из вас, – курить или не курить. Эту и многие другие аналогичные стратегические ситуации с участием одного игрока можно рассматривать как игры, если мы признаем, что впоследствии выбор предстоит делать будущему «я» игрока, которое подвержено влиянию различных факторов и иначе оценивает идеальный исход игры.
Возьмем, к примеру, подростка по имени Кармен, которая решает, следует ли ей курить. Во-первых, она должна определиться, стоит ли ей вообще пробовать курить. Если она все же попробует, в будущем ей предстоит принять еще одно решение: продолжать ли курить. Мы проиллюстрируем этот пример с помощью дерева, представленного на рис. 3.2.
.
Рис. 3.2. Принятие решения о курении
Узлы и ветви обозначены доступными Кармен вариантами выбора, но мы должны объяснить выигрыши. Примем исход игры «никогда не курить» за эталон для сравнения и присвоим ему выигрыш 0. Число 0 в этом контексте ничего особо не значит; все, что имеет значение для сравнения исходов, а следовательно, и решения Кармен, – соответствующий выигрыш больше или меньше остальных. Предположим, что для Кармен наиболее предпочтителен исход игры, при котором она попробует какое-то время курить, а потом бросит. Возможно, причина в том, что Кармен не привыкла верить на слово и желает обо всем составить собственное представление, или в том, что это позволит ей со знанием дела заявить: «Я это пробовала и уверяю, что ничего хорошего в этом нет», когда в будущем ей придется наставлять своих детей на путь истинный. Присвоим этому исходу выигрыш +1. Худший исход игры – когда Кармен попробует курить и не сможет остановиться. Даже если не брать во внимание вред, наносимый курением здоровью в долгосрочной перспективе, в краткосрочном периоде появятся не менее насущные проблемы: волосы и одежда Кармен будут неприятно пахнуть, а друзья станут ее избегать. Присвоим этому исходу выигрыш −1. В итоге выбор Кармен кажется очевидным: попробовать курить, но не продолжать это делать.
Однако в этом анализе не учтена проблема зависимости. Как только Кармен попробует какое-то время курить, у нее сформируются другие вкусы и изменятся выигрыши. Решение о том, продолжать ли курить, будет принимать уже не нынешняя Кармен с ее теперешней оценкой исходов игры в том виде, как показано на рис. 3.2, а будущая Кармен, которая иначе оценит дальнейшие альтернативы. Делая выбор сегодня, Кармен нужно проанализировать его последствия и учесть это в своем решении, которое она должна принять исходя из текущих предпочтений. Другими словами, проблема выбора, касающаяся курения, – на самом деле не решение в том смысле, о котором шла речь в главе 2 (выбор, сделанный в нейтральной среде), а игра в формальном смысле, также представленная в главе 2, в которой другой игрок – это будущее «я» Кармен со своими особыми приоритетами. И нынешней Кармен при принятии решения предстоит вести игру с будущей Кармен.
Мы превратим дерево решений, представленное на рис. 3.2, в дерево игры на рис. 3.3 посредством введения двух игроков, делающих выбор в двух узлах. В начальном узле нынешняя Кармен решает, стоит ли ей пробовать курить. В случае положительного ответа появляется будущая Кармен, попавшая в зависимость от курения, и уже она решает, продолжать ей курить или нет. Давайте изобразим здоровую, не загрязняющую окружающую среду нынешнюю Кармен, ее действия и выигрыши серым цветом, а пристрастившуюся к курению будущую Кармен, ее действия и выигрыши – черным (такими стали ее легкие). Выигрыши нынешней Кармен остались прежними. А вот будущая Кармен продолжит наслаждаться курением, а при попытке бросить у нее наступит ужасный абстинентный синдром. Пусть выигрыш будущей Кармен при выборе варианта «курить» составляет +1, а при выборе «не курить» – −1.
.
Рис. 3.3. Игра «курение»
Учитывая предпочтения будущей курильщицы Кармен, в узле принятия решений она выберет вариант «продолжать». Нынешняя Кармен должна проанализировать эту перспективу и учесть ее при принятии текущего решения, признав, что если перевесит желание покурить, то это неизбежно приведет к тому, что она будет курить и впоследствии. Несмотря на то что нынешняя Кармен этого не хочет, она не сможет в дальнейшем реализовать свой текущий выбор, поскольку будущая Кармен, у которой совсем иные наклонности, сделает именно такой выбор. Следовательно, нынешняя Кармен должна предвидеть, что выбор варианта «попробовать» приведет к выбору «продолжать» и обеспечит ей выигрыш −1 по ее текущим оценкам, тогда как выбор варианта «нет» даст выигрыш 0. Таким образом, ей следует предпочесть второе.
Подобная аргументация более наглядно представлена на рис. 3.4. На рис. 3.4а мы обрезаем, или отсекаем, ветвь «нет», исходящую из второго узла. Такое отсекание говорит о том, что будущая Кармен, которая делает выбор в этом узле, не выберет действие, соответствующее этой ветви, учитывая ее предпочтения, выделенные черным цветом.
.
.
Рис. 3.4. Отсечение ветвей дерева игры «курение»
На дереве остались две ветви, исходящие из первого узла, в котором делает выбор нынешняя Кармен; каждая из ветвей ведет непосредственно к концевому узлу. Такое отсечение позволяет нынешней Кармен просчитать все возможные последствия любого своего решения. Выбор варианта «попробовать» приведет к варианту «продолжать» и обеспечит выигрыш −1 с точки зрения предпочтений нынешней Кармен, тогда как выбор варианта «нет» даст выигрыш 0. Таким образом, на данный момент Кармен должна выбрать вариант «нет», а не «попробовать». Следовательно, мы можем отсечь ветвь «попробовать», исходящую из первого узла (вместе с ее предполагаемым продолжением), как показано на рис. 3.4б. На нем изображено «полностью усеченное» дерево всего с одной ветвью, исходящей из начального узла и ведущей к концевому. Единственный оставшийся путь, пролегающий по дереву игры, демонстрирует, что произойдет в игре, если все ее участники сделают лучший выбор на основании правильного прогнозирования всех вероятных исходов.
При обрезке ветвей дерева игры на рис. 3.4 мы вычеркнули ветви, которые не выбрали. Еще один эквивалентный, но альтернативный способ показать выбор игрока – как-то выделить выбираемые им ветви. Для этого можно отметить их галочками или стрелками или выделить более жирными линиями. Подойдет любой способ (на рис. 3.5 показаны все перечисленные варианты[21]), вам виднее, но все же второй вариант, особенно выделение стрелками, имеет свои преимущества. Во-первых, он обеспечивает формирование более четкой картины происходящего. Во-вторых, в случае вычеркивания ветвей не всегда понятен порядок их отсечения. Например, на рис. 3.4б читатель может подумать, что ветвь «продолжать», исходящая из второго узла, была отсечена первой, а уже после этого была отсечена ветвь «попробовать» в первом узле и следующая за ней ветвь «нет» во втором узле. Последний и самый важный аргумент в пользу этого способа состоит в том, что стрелки более наглядно показывают результат последовательности оптимальных вариантов выбора в виде непрерывной цепочки стрелок от начального до концевого узла. Вот почему в других диаграммах такого типа, представленных далее в книге, мы используем стрелки вместо вычеркивания ветвей. В процессе построения деревьев игр вам следует попрактиковаться в применении обоих способов, а когда научитесь строить такие деревья, можете выбрать тот способ, который вам больше нравится.
.
Рис. 3.5. Выбор ветвей на дереве игры «курение»
Независимо от того, как вы отобразите свои размышления на дереве игры, логика анализа во всех случаях будет одинаковой и важной. Вы должны начать с рассмотрения узлов действий, ведущих непосредственно к концевым узлам. Оптимальный выбор для игрока, делающего ход в таком узле, можно определить путем сравнения его выигрышей в соответствующих концевых узлах. Использование вариантов выбора в конце игры для прогнозирования последствий более ранних действий позволяет рассчитать выбор в узлах, предшествующих узлам окончательного принятия решений. Затем то же самое можно сделать с предыдущими узлами и т. д. Передвигаясь таким образом по дереву игры в обратном направлении, вы можете решить всю игру.
Данный метод определения поведения в игре с последовательными ходами (смотреть вперед и рассуждать в обратном порядке) известен как метод обратных рассуждений. Как подразумевает само его название, сперва следует подумать, что произойдет во всех концевых узлах, а затем передвигаться по дереву в обратном направлении вплоть до начального узла, анализируя соответствующие действия. Поскольку такие рассуждения требуют передвижения в обратном направлении по одному шагу за один раз, этот метод обозначают также термином «обратная индукция». Мы предпочитаем термин «обратные рассуждения», ввиду того что он проще и получает все более широкое распространение, однако в других книгах по теории игр используется старый термин «обратная индукция». Вам следует просто запомнить, что они эквивалентны.
Когда все участники игры для выбора оптимальных стратегий применяют метод обратных рассуждений, такая совокупность стратегий в данной игре называется равновесием обратных рассуждений, а исход игры, обусловленный использованием этих стратегий, – исходом равновесия обратных рассуждений. В более сложных учебниках по теории игр эта концепция обозначается как совершенное равновесие подыгры; возможно, ваш преподаватель предпочитает именно этот термин. Мы приводим формальное объяснение и анализ совершенного равновесия подыгры в главе 6, но склоняемся к употреблению более простого и интуитивно понятного термина «равновесие обратных рассуждений». Теория игр предсказывает такой исход в качестве равновесия в игре с последовательными ходами, в которой все игроки становятся рациональными вычислителями в погоне за максимальным выигрышем. Далее в данной главе мы проанализируем, как этот прогноз подтверждается на практике. А пока вам следует знать, что во всех конечных играх с последовательными ходами, представленных в этой книге, есть по крайней мере одно равновесие обратных рассуждений. В действительности в большинстве игр присутствует в точности одно такое равновесие. И только в исключительных случаях, когда игрок получает одинаковые выигрыши в результате двух или более наборов ходов, а значит, не может отдать явное предпочтение ни одному из них, их может быть больше.
В игре «курение» равновесие обратных рассуждений наблюдается в случае, когда нынешняя Кармен выбирает стратегию «нет», а будущая Кармен – стратегию «продолжить». Когда нынешняя Кармен совершает оптимальное действие, пристрастившаяся к курению будущая Кармен вообще не появляется на свет, а значит, и не получает реальной возможности сделать ход. Однако призрачное присутствие будущей Кармен и стратегия, которую бы она предпочла, если бы нынешняя Кармен выбрала вариант «попробовать» и предоставила бы ей шанс сделать ход, – важный элемент игры, на самом деле являющийся ключевым в определении оптимального хода нынешней Кармен.
Итак, мы описали концепции дерева игры и анализа методом обратных рассуждений с помощью очень простых примеров, в которых решение было очевидным на основании словесных аргументов. А теперь перейдем к использованию этих концепций в более сложных ситуациях, когда выполнение вербального анализа усложняется, в связи с чем роль визуального анализа с помощью дерева игры возрастает.
3. Увеличение количества игроков
Действие методов, представленных в разделе 2 в самой простой ситуации с двумя игроками и двумя ходами, можно легко расширить, при этом деревья становятся более сложными, в них увеличивается количество ветвей, узлов и уровней, но основные концепции и метод обратных рассуждений не меняются. В данном разделе мы рассмотрим игру с тремя участниками, у каждого из которых есть два варианта выбора. С небольшими вариациями эта игра будет появляться во многих следующих главах.
Три игрока, Эмили, Нина и Талия, живут на одной маленькой улице. Каждую девушку попросили внести свой вклад в создание декоративного сада на месте пересечения улицы с автомагистралью. Окончательная площадь и пышность сада зависят от того, сколько участницы игры готовы в него вложить. Кроме того, хотя все три участницы были бы счастливы иметь такой сад (а его размер еще больше усилил бы это ощущение), ни одна из них не спешит с инвестициями из-за их размера.
Предположим, что если две или три участницы игры внесут свой вклад в создание сада, то этих ресурсов хватит для его закладки и последующего ухода за растениями, а сам сад будет весьма привлекательным и милым. Тем не менее, если всего одна из девушек или никто из них этого не сделают, сад будет скудным и неухоженным и не принесет радости людям. Таким образом, с точки зрения каждой участницы, существуют четыре разных исхода.
• Одна участница игры не инвестирует в сад, в отличие от двух остальных (что приводит к созданию привлекательного сада и позволяет ей сэкономить на вкладе).
• Одна участница игры инвестирует в сад, и остальные, одна или обе, – тоже (что приводит к созданию привлекательного сада, но не позволяет ей сэкономить на вкладе).
• Одна участница игры не инвестирует в сад, и только одна из двух оставшихся участниц вносит свой вклад (что приводит к созданию скудного сада, но позволяет ей сэкономить на вкладе).
• Одна участница игры инвестирует в сад, в отличие от двух остальных (что приводит к созданию скудного сада и не позволяет ей сэкономить на вкладе).
Очевидно, что первый из исходов – лучший, тогда как последний – худший. Мы хотим, чтобы более высокие показатели выигрышей соответствовали более благоприятным исходам, поэтому присваиваем первому исходу в списке выигрыш 4, а последнему – выигрыш 1. (Иногда выигрыши соответствуют порядковому номеру исхода в списке исходов. Следовательно, при наличии четырех исходов первый был бы лучшим, а четвертый – худшим, а меньшие числа обозначали бы более предпочтительные исходы. Читая книгу по теории игр, обратите особое внимание на то, какую систему обозначений выбрал автор; если вы пишете о теории игр, вам следует точно указать используемую систему обозначений.)
В двух средних исходах присутствует некоторая неоднозначность. Предположим, каждый игрок ценит привлекательный сад более высоко, чем собственный вклад в его создание. В таком случае исход, указанный в списке вторым, обеспечит выигрыш 3, а исход под номером три – выигрыш 2.
Допустим, участницы игры ходят поочередно. Эмили получает право первого хода и решает, инвестировать ли ей в сад. В свою очередь Нина, глядя на выбор Эмили, решает, стоит ли и ей так поступить. И наконец, Талия, оценив выбор Эмили и Нины, делает аналогичный выбор[22].
На рис. 3.6 изображено дерево этой игры. Чтобы облегчить ее описание, мы обозначили узлы действия специальными символами. Эмили делает ход в начальном узле a, а ветви, соответствующие двум имеющимся у нее вариантам выбора («внести вклад» и «не вносить вклад»), ведут к узлам b и c. В каждом из них должна сделать ход Нина и выбрать один из представленных вариантов. Ее выбор приводит к узлам d, e, f и g, в каждом из которых наступает очередь Талии ходить. Имеющиеся у Талии варианты выбора приводят к восьми концевым узлам, где мы показываем выигрыш в таком порядке: (Эмили, Нина, Талия)[23]. Например, если Эмили решает инвестировать в создание сада, Нина нет, а Талия да, то красивый декоративный сад будет разбит и две участницы, внесшие вклад в его создание, получат выигрыш 3 каждая, а участница, которая решила сэкономить, – свой максимальный выигрыш 4. В данном случае список выигрышей выглядит так: (3, 4, 3).
.
Рис. 3.6. Игра «уличный сад»
Для того чтобы применить к этой игре метод обратных рассуждений, начнем с узлов действия, расположенных непосредственно перед концевыми узлами, а именно с узлов d, e, f и g. Талия делает ход в каждом из этих узлов. В узле d она сталкивается с ситуацией, когда и Эмили, и Нина вносят вклад в создание сада, то есть сад уже наверняка будет красивым, поэтому, выбрав вариант «не вносить вклад», Талия получает свой максимальный выигрыш 4, тогда как в противном случае – следующий по размеру выигрыш 3. Стало быть, предпочтительный для Талии вариант выбора в данном узле – «не вносить вклад». Мы отображаем это путем выделения соответствующей ветви жирной линией и добавления к ней стрелки; любого из этих способов было бы достаточно для иллюстрации выбора Талии. В узле e Эмили выбрала вариант «внести вклад», а Нина – «не вносить», поэтому вклад Талии крайне важен для создания красивого сада. Талия получит выигрыш 3, если выберет «внести вклад», и 2 в результате отказа. Ее предпочтительный вариант выбора в узле e – «внести вклад». Аналогичным образом можно проверить выбор Талии в двух оставшихся узлах.
Теперь давайте вернемся немного назад и проанализируем предыдущий этап – а именно узлы b и c, в которых наступает очередь Нины выбирать. В узле b Эмили решила инвестировать в создание сада, поэтому Нина рассуждает так: «Если я выберу вариант “внести вклад”, это приведет игру в узел d, а там, насколько мне известно, Талия выберет “не вносить вклад”, и мой выигрыш составит 3. (Сад будет красивым, но я понесу убытки.) Если я выберу “не вносить вклад”, игра переместится в узел e, где, как мне известно, Талия выберет “внести вклад”, а мой выигрыш будет 4. (Сад будет красивым, а я сэкономлю на расходах.) Следовательно, я выбираю “не вносить вклад”». Аналогичные рассуждения показывают, что в узле c Нина предпочтет вариант «внести вклад».
И наконец, рассмотрим выбор Эмили в начальном узле a. Она может предвидеть последующий выбор как Нины, так и Талии и знает, что если выберет вариант «внести вклад», то Нина выберет «не вносить вклад», а Талия – «внести вклад». Если две участницы игры инвестируют в создание сада, он будет красивым, но Эмили понесет издержки, а значит, ее выигрыш составит 3. Если Эмили предпочтет «не вносить вклад», то в двух следующих друг за другом узлах будет выбран вариант «внести вклад», и при наличии красивого сада и отсутствии издержек ее выигрыш составит 4. Таким образом, оптимальный выбор Эмили в узле a – «не вносить вклад».
Теперь подвести итоги анализа игры «уличный сад» методом обратных рассуждений не составит труда. Эмили выберет вариант «не вносить вклад», затем Нина – «внести вклад» и наконец Талия – тоже «внести вклад». Такая последовательность выбора образует конкретный путь игры на данном дереве, который проходит по нижней ветви, исходящей из начального узла, а затем по верхним ветвям в каждом из двух идущих друг за другом следующих узлов, с и f. На рис. 3.6 этот путь игры легко отследить как непрерывную последовательность стрелок, пролегающую от начального до пятого концевого узла, если вести отсчет от верхней части дерева. Выигрыши, которые получат участницы игры, показаны в концевом узле.
Анализ методом обратных рассуждений прост и привлекателен. Мы бы хотели подчеркнуть его некоторые особенности. Во-первых, обратите внимание, что на равновесном пути игры с последовательными ходами отсутствует большинство ветвей и узлов. Однако вычисление лучших действий, которые следовало бы предпринять, если бы игра все же их достигла, – важная часть процесса поиска окончательного равновесия. Выбор на ранних этапах игры ее участницы делают под влиянием своих ожиданий в отношении того, что произойдет, если они выберут действие, отличающееся от оптимального, а также что бы произошло, если бы любая из оставшихся участниц игры предпочла нечто иное, чем то, что является для нее лучшим. Эти ожидания, основанные на прогнозируемых вариантах выбора в узлах, расположенных вне равновесного пути игры (то есть в узлах, которые соответствуют ветвям, отсеченным в процессе анализа методом обратных рассуждений), позволяют участницам игры совершать оптимальные действия в каждом узле. Например, предпочтительный выбор Эмили «не вносить вклад», сделанный в первом узле, обусловлен пониманием того, что если она выберет вариант «внести вклад», то Нина выберет «не вносить вклад», после чего Талия решит «внести вклад»; эта последовательность обеспечит Эмили выигрыш 3 вместо выигрыша 4, который она могла бы получить, указав вариант «не вносить вклад» на первом ходе.
Равновесие обратных рассуждений обеспечивает полное описание всего процесса анализа посредством формулировки оптимальной стратегии для каждого игрока. Мы уже отмечали, что стратегия – это исчерпывающий план действий. Эмили делает первый ход, имея два варианта выбора, а значит, ее стратегия достаточно проста и фактически сводится к одному ходу. Но Нина, которая ходит второй, действует уже в каком-то из двух узлов: в одном – если Эмили выбрала вариант «внести вклад», и в другом – если Эмили предпочла «не вносить вклад». В исчерпывающем плане Нины должны быть указаны действия в каждом из этих случаев. Один такой план, или стратегия, может быть следующим: «Выбрать “внести вклад”, если Эмили выбрала “внести вклад”, и “не вносить вклад”, если Эмили его не вносит». Благодаря анализу методом обратных рассуждений мы знаем, что Нина не выберет эту стратегию, но на данном этапе нам необходимо описать все доступные стратегии, из которых Нина сможет выбирать согласно правилам игры. Мы можем сократить их описание, используя обозначение «В» вместо «внести вклад» и «Н» вместо «не вносить вклад». В результате вышеупомянутую стратегию можно представить так: «В, если Эмили выберет В, а значит, игра перейдет в узел b; Н, если Эмили выберет Н и игра перейдет в узел с», или еще проще: «В в b, Н в c», или даже «ВН», если обстоятельства, при которых выбирается каждое из указанных действий, очевидны или разъяснены ранее. Теперь легко увидеть, что поскольку у Нины по два варианта выбора в каждом из двух узлов, в которых она может действовать, в ее распоряжении находятся четыре плана действий, или стратегии: «В в b, В в c»; «В в b, Н в c»; «Н в b, В в c» и «Н в b, Н в c», или «ВВ», «ВН», «НВ» и «НН». Анализ методом обратных рассуждений, а также стрелки в узлах b и c на рис. 3.6 показывают, что оптимальная стратегия Нины – «НВ».
В случае Талии ситуация усложняется. Когда наступит ее черед, история игры может представлять собой любой из четырех возможных вариантов. Очередь действовать переходит к Талии в одном из четырех узлов дерева: один после выбора Эмили В и Нины В (узел d); второй после В Эмили и Н Нины (узел e); третий после Н Эмили и В Нины (узел f) и четвертый после Н и Эмили, и Нины (узел g). Каждая из стратегий (или исчерпывающих планов действий) Талии должна определять одно из двух действий по каждому из этих четырех сценариев или одно из двух действий в каждом из возможных узлов действия. При наличии четырех узлов, в которых необходимо указать действие, и двух действий, из которых следует выбрать одно в каждом узле, существует 2 × 2 × 2 × 2, или 16, вероятных комбинаций действий. Следовательно, в распоряжении Талии 16 доступных стратегий. Одну из них можно было бы записать так:
«В в d, Н в e, Н в f, В в g», или для краткости «ВННВ»
Здесь мы зафиксировали последовательность четырех сценариев (историй ходов Эмили и Нины) в порядке расположения узлов d, e, f и g. Далее с помощью такой же сокращенной формы записи можно составить полный список всех 16 находящихся в распоряжении Талии стратегий:
ВВВВ, ВВВН, ВВНВ, ВВНН, ВНВВ, ВНВН, ВННВ, ВННН, НВВВ, НВВН, НВНВ, НВНН, ННВВ, ННВН, НННВ, НННН.
Анализ методом обратных рассуждений дерева игры на рис. 3.6, а также стрелки в узлах d, e, f и g показывают, что оптимальная стратегия Талии – НВВН.
Теперь выводы нашего анализа методом обратных рассуждений можно представить в виде описания стратегического выбора, сделанного каждой участницей игры: Эмили выберет Н из двух имеющихся у нее стратегий, Нина – НВ из четырех доступных стратегий, а Талия – НВВН из шестнадцати стратегий. Когда каждая из участниц анализирует следующие ветви и узлы дерева игры, чтобы составить прогноз конечных результатов текущих действий, она вычисляет оптимальные стратегии других участниц игры. Эта конфигурация стратегий (Н в случае Эмили, НВ – Нины и НВВН – Талии) представляет собой равновесие в данной игре, полученное методом обратных рассуждений.
Мы можем объединить оптимальные стратегии участниц игры, чтобы найти фактический путь игры, который приведет к равновесию обратных рассуждений. Эмили начнет с выбора Н. Нина, придерживаясь своей стратегии НВ, выберет в ответ на действие Эмили Н действие В. (Помните: стратегия НВ Нины означает «выбрать Н, если Эмили выбрала В, и В, если Эмили предпочла Н».) Согласно принятой нами договоренности, фактическое действие Талии после Н Эмили и В Нины (из узла f) обозначается третьей буквой в нашем четырехбуквенном описании ее стратегий. Поскольку оптимальная стратегия Талии – НВВН, ее действие по пути игры – В. Таким образом, фактический путь игры состоит из действия Н, выбранного Эмили, и действия В, сделанного Ниной и Талией.
В итоге мы имеем три разные концепции:
1. Список доступных стратегий для каждого игрока, который, особенно для игроков, вступающих в игру на более поздних этапах, может быть очень длинным, поскольку необходимо перечислить их действия в ситуациях, соответствующих всем возможным предыдущим ходам других игроков.
2. Оптимальная стратегия, или исчерпывающий план действий, для каждого игрока. Эта стратегия должна описывать лучший выбор игрока в каждом узле, в котором, согласно правилам игры, игрок делает ход, даже если многие из этих узлов так и не будут достигнуты на фактическом пути игры. По сути, такое описание – это прогноз игроков, сделавших предыдущие ходы, относительно того, что бы произошло, если бы они предприняли другие действия, а значит, оно представляет собой важную часть определения их наилучших действий в предыдущих узлах. Совокупность оптимальных стратегий всех игроков образует равновесие обратных рассуждений.
3. Фактический путь игры в равновесии обратных рассуждений, найденный посредством объединения оптимальных стратегий всех игроков.
4. Преимущества порядка
В равновесии обратных рассуждений в игре «уличный сад» Эмили получает наилучший исход (выигрыш 4) благодаря возможности сделать первый ход. Решив не вносить вклад в создание сада, Эмили перекладывает бремя ответственности на двух других участниц игры, каждая из которых может получить следующий лучший исход только при условии, что обе выберут вариант «внести вклад». Большинство людей, не имеющих опыта ведения стратегических игр, придерживаются мнения, будто преимущество первого хода должно присутствовать во всех играх. Однако это не так. Во многих играх второй ход более выигрышный. Представьте себе стратегическое взаимодействие между двумя компаниями, продающими аналогичные товары по каталогам, скажем, Land’s End и L.L. Bean. Если бы одна из них выпустила каталог первой, вторая еще до выпуска своего каталога обрела бы шанс узнать, какие цены установила первая компания, и смогла бы предложить на свои товары более низкие цены, получив в результате огромное конкурентное преимущество.
Преимущество первого хода зависит от способности игрока взять на себя обязательство в связи с выгодной позицией и вынудить других игроков приспосабливаться к нему; преимущество второго хода обусловлено гибкостью адаптации игрока, делающего ход вторым, к выбору других игроков. Что важнее в той или иной игре, обязательство или гибкость, определяется ее конкретной конфигурацией стратегий и выигрышей; общего правила здесь нет. На протяжении всей книги мы будем встречать примеры преимуществ обоих типов. Основная мысль (противоречащая общепринятому мнению) состоит в том, что преимущество не всегда получает игрок, который ходит первым. И она настолько важна, что мы сочли необходимым подчеркнуть ее с самого начала.
Когда в игре есть преимущество первого или второго хода, каждый игрок может попытаться манипулировать порядком игры, чтобы обеспечить себе выгодную позицию. Тактические приемы такой манипуляции – это стратегические ходы, которые мы рассмотрим в главе 9.
5. Увеличение количества ходов
В разделе 3 мы говорили о том, что увеличение количества игроков усложняет анализ игр с последовательными ходами. В данном разделе мы рассмотрим еще один тип сложности, возникающий в результате добавления в игру дополнительных ходов. Самый простой способ сделать это в игре с двумя участниками – разрешить им чередовать ходы более одного раза. В итоге дерево игры разрастается таким же образом, как и дерево игры со многими участниками, но последующие ходы делают те же игроки, что и на более ранних этапах игры.
Многие широко распространенные игры, такие как крестики-нолики, шашки и шахматы, и есть стратегические игры с двумя участниками и чередующимися последовательными ходами. Использование дерева игры и анализа методом обратных рассуждений теоретически позволяет их «решить», то есть определить равновесный исход игры методом обратных рассуждений, а также равновесные стратегии, обеспечивающие такой исход. К сожалению, по мере того как игра усложняется, а стратегии становятся все запутаннее, поиск оптимальной стратегии тоже затрудняется. В таких случаях на помощь приходят стандартные компьютерные программы вроде упомянутой в главе 2 Gambit.
Начнем с игры в крестики-нолики, самой простой из вышеупомянутых, и рассмотрим ее более легкий вариант, в котором каждый из двух игроков (Х и 0) пытается первым заполнить двумя своими символами любой столбец, ряд или диагональ в игре на поле два на два. У первого игрока четыре возможных действия или позиции, в которых он может поставить крестик. Второй игрок имеет три возможных действия в каждом из четырех узлов принятия решений. Когда первый игрок получает право сделать второй ход, у него есть два варианта действия в каждом из 12 (4 × 3) узлов принятия решений. Как показано на рис. 3.7, даже у этой мини-игры в крестики-нолики очень сложное дерево игры. Хотя на самом деле оно не такое уж сложное, поскольку игра гарантированно закончится, после того как первый игрок сделает второй ход. Тем не менее на этом дереве 24 концевых узла, и их необходимо проанализировать.
.
Рис. 3.7. Сложное дерево простой игры в крестики-нолики на поле два на два
Это дерево служит здесь иллюстрацией того, насколько сложным может быть дерево даже в случае простых (или упрощенных) игр. Как оказалось, применение метода обратных рассуждений к анализу мини-игры в крестики-нолики позволяет быстро найти равновесие. Из такого анализа следует, что любой выбор первого игрока на втором ходе приводит к одному и тому же исходу игры. Здесь нет оптимального действия; любой ход так же хорош, как и остальные. Стало быть, когда второй игрок делает первый ход, он тоже видит, что любой возможный ход даст тот же результат, поэтому может с одинаковым успехом выбрать любой из трех вариантов в каждом из четырех узлов принятия решений. И наконец, то же самое верно и для первого игрока, делающего первый ход: любой вариант выбора равноценен остальным вариантам, а значит, он гарантированно победит в игре.
Хотя у этой версии игры в крестики-нолики весьма занимательное дерево, ее решение не представляет особого интереса. Первый игрок всегда выигрывает, поэтому выбор, сделанный обоими игроками, никак не влияет на конечный результат. Многим из нас больше знакома версия «три на три» игры в крестики-нолики. Для того чтобы проиллюстрировать ее деревом игры, нам пришлось бы показать, что первый игрок имеет девять возможных действий в начальном узле, у второго игрока восемь вариантов действий в каждом из девяти узлов принятия решения. На втором ходе у первого игрока семь возможных действий в каждом из 8 × 9 = 72 узлов, тогда как у второго игрока на втором ходе – шесть возможных действий в каждом из 7 × 8 × 9 = 504 узлов. Эта закономерность продолжается до тех пор, пока дерево не прекратит стремительно разрастаться, поскольку определенные комбинации ходов приводят к победе первого игрока, после чего игра заканчивается. Однако минимум до пятого хода победа невозможна. Для того чтобы нарисовать полное дерево этой игры, понадобится огромный лист бумаги или очень мелкий почерк.
Однако большинство из вас знают, как в худшем случае добиться хотя бы ничьей в игре в крестики-нолики на поле три на три. Так что есть простое решение этой игры, которое можно найти посредством обратных рассуждений, и истинный стратег способен существенно снизить сложность игры в ходе его поисков. Оказывается, как и в версии игры «два на два», многие возможные пути на дереве игры со стратегической точки зрения идентичны. В частности, девять начальных ходов могут быть только трех типов: вы ставите крестик на угловую позицию (четыре возможных варианта), на боковую позицию (также четыре возможных варианта) и на центральную позицию (один вариант). Использование этого метода для упрощения дерева игры поможет снизить уровень сложности задачи и приведет вас к описанию оптимальной равновесной стратегии, полученной методом обратных рассуждений. К примеру, мы могли бы показать, что игрок, который ходит вторым, может гарантированно добиться как минимум ничьей, сделав надлежащий первый ход и постоянно блокируя в дальнейшем попытки первого игрока выставить три символа в ряд[24].
Хотя сравнительно простые игры, такие как крестики-нолики, решаемы методом обратных рассуждений, выше мы показали, насколько быстро повышается сложность дерева игры даже в играх с двумя участниками. Поэтому при анализе более сложных игр вроде шахмат находить полное решение становится гораздо труднее.
В шахматах в распоряжении игроков (условно называемых «белые» и «черные») имеются наборы из 16 фигур разной формы, которые передвигаются по шахматной доске восемь на восемь клеток (рис. 3.8) в соответствии с заданными правилами[25]. Белые ходят первыми, черные – вторыми, и так далее по очереди. Все ходы видны другому игроку, и ничего не оставлено на волю случая, как в карточных играх, где карты перетасовываются и сдаются. Кроме того, шахматная партия должна заканчиваться за конечное число ходов. Согласно правилам, при троекратном повторении одной и той же позиции в течение игры объявляется ничья. Ввиду наличия конечного количества способов разместить 32 фигуры (или меньше, если некоторые фигуры побиты) на 64 клетках шахматной доски, партия не может продолжаться бесконечно долго без возникновения подобной ситуации. Поэтому в принципе шахматы поддаются полному анализу методом обратных рассуждений.
Рис. 3.8. Шахматная доска
Однако этот анализ так и не проведен. Шахматы не «решены» так, как в свое время крестики-нолики, а причина в том, что, несмотря на простоту правил, шахматы – чрезвычайно сложная игра. Из начальной позиции набора фигур, показанных на рис. 3.8, белые могут сделать любой из 20 ходов[26], а черные – ответить любым из 20 ходов. Следовательно, из первого узла исходят 20 ветвей, каждая ведет ко второму узлу, из которого исходят еще 20 ветвей. Всего после двух ходов образуется 400 ветвей, и каждая ведет к узлу, из которого исходят очередные ветви. Общее же количество возможных ходов в шахматах составляет, по примерным оценкам, 10120, то есть единицу со 120 нулями. Суперкомпьютеру, в тысячу раз превышающему ваш ПК по быстродействию и выполняющему один триллион операций в секунду, понадобилось бы более 10100 лет, чтобы проверить все ходы[27]. Астрономы отводят нам менее 1010 лет до того момента, когда Солнце превратится в красный гигант и поглотит Землю.
Получается, что хотя для игры в шахматы теоретически можно найти всеобъемлющее решение методом обратных рассуждений, ее полное дерево может оказаться слишком сложным для того, чтобы реализовать такое решение на практике. Что делать игроку в данной ситуации? Знакомство с историей попыток запрограммировать компьютер на игру в шахматы поможет нам многое об этом узнать.
Когда стало ясно, что компьютеры способны выполнять сложные вычисления в науке и бизнесе, многие математики и программисты решили, что вскоре компьютерная шахматная программа победит именитых гроссмейстеров. Но это произошло не так быстро, хотя компьютерные технологии развивались стремительными темпами, тогда как человеческое мышление несколько поотстало. В конце концов в декабре 1992 года немецкая компьютерная программа под названием Fritz2 выиграла у чемпиона мира Гарри Каспарова несколько блицпартий. Согласно обычным правилам, каждому игроку предоставляется 2,5 часа на выполнение 40 ходов, и люди дольше удерживали превосходство. Команда специалистов, финансируемая компанией IBM, вложила немало усилий и ресурсов в разработку специализированного компьютера (получившего название Deep Blue) для игры в шахматы и соответствующего программного обеспечения. В феврале 1996 года Deep Blue выступил в роли противника Гарри Каспарова в матче из шести партий и произвел сенсацию, выиграв первую партию, но Каспаров быстро выявил его слабые места, улучшил контрстратегии и мастерски выиграл остальные партии. На протяжении следующих 15 месяцев команда IBM совершенствовала аппаратное и программное обеспечение компьютера, после чего в мае 1997 года модифицированный Deep Blue выиграл у Каспарова очередной матч из шести партий.
Таким образом, развитие компьютерных технологий характеризовалось сочетанием периодов медленного поэтапного улучшения и ряда стремительных рывков, в то время как люди, сохранив определенное превосходство, не смогли перестроиться настолько быстро, чтобы удержать передовые позиции. При ближайшем рассмотрении оказалось, что люди и компьютеры используют абсолютно разные подходы к анализу очень сложного дерева игры в шахматы.
При обдумывании хода в шахматах крайне трудно (для обоих: и людей, и компьютеров) заранее предвидеть исход игры. Но как насчет того, чтобы просчитать часть ходов, скажем 5−10, вперед и проанализировать игру в обратном порядке из этой позиции? Игра необязательно должна закончиться в рамках этого ограниченного периода; иными словами, узлы, которых вы достигнете через 5−10 ходов, не будут концевыми. Однако в соответствии с правилами игры выигрыши указываются только для концевых узлов. Следовательно, необходим некий косвенный способ присвоения правдоподобных выигрышей неконцевым узлам, поскольку вы не можете проанализировать все дерево игры методом обратных рассуждений с самого конца. Правило, согласно которому присваиваются промежуточные выигрыши, называется функцией промежуточной оценки.
В шахматах и люди, и компьютерные программы используют такой частичный упреждающий анализ в сочетании с функцией промежуточной оценки. Классический метод присваивает определенные значения каждой фигуре, а также позиционным и комбинационным преимуществам, которые могут возникнуть в процессе игры. Количественная оценка значений для различных позиций производится на основе опыта игры, накопленного всем шахматным сообществом в ходе прошлых партий, начинавшихся с соответствующих позиций или комбинаций; этот опыт называется знанием. Сумма всех числовых значений, закрепленных за шахматными фигурами и их комбинациями на той или иной позиции, и есть ее промежуточная оценка. Целесообразность хода определяется по оценке позиции, на которую предположительно выйдет игра после точного упреждающего вычисления конкретного количества (например, пяти или шести) ходов.
Дальше всего оценка промежуточных позиций продвинулась в отношении дебютов, то есть первой дюжины ходов игры. Каждый отдельно взятый дебют может привести к любому из огромного множества дальнейших ходов и позиций, однако опыт позволяет игрокам делать вывод о том, какой дебют с определенной степенью вероятности более выгоден для того или иного игрока. Эта информация записана в объемных книгах о шахматных дебютах; все шахматисты высокого класса и компьютерные программы помнят и используют эти знания.
На последних стадиях игры, когда на доске остается всего несколько фигур, сам процесс обратных рассуждений зачастую достаточно прост, чтобы быть выполнимым, и достаточно полон, чтобы дать исчерпывающий ответ. Труднее всего проанализировать миттельшпиль (середину игры), когда позиции развились до того уровня сложности, который не упростится за несколько ходов. Для поиска удачного хода из такой позиции хорошо проработанная функция промежуточной оценки может быть более значимой, чем способность рассчитать игру еще на несколько ходов вперед.
Именно на стадии миттельшпиля на первый план выходит искусство игры в шахматы. У лучших шахматистов развивается интуиция, которая позволяет им распознавать хорошие возможности и избегать скрытых ловушек на уровне, с которым компьютерным программам сложно конкурировать. Программисты обнаружили, что в большинстве случаев компьютеры трудно обучить тем навыкам распознавания образов, которые люди развивают и используют инстинктивно, – например, когда они узнают лица и связывают их с именами. Искусство ведения игры на стадии миттельшпиля в шахматах – это распознавание и оценка комбинаций столь же загадочным способом. Именно в этом состояло самое большое преимущество Каспарова перед Fritz2 или Deep Blue. Это также объясняет, почему компьютерные программы показывают более высокие результаты в игре с людьми в блицпартиях или партиях с ограниченным временем обдумывания ходов: человеку просто не хватает времени, чтобы применить свое искусство ведения игры на стадии миттельшпиля.
Иными словами, лучшие шахматисты обладают филигранным знанием шахмат, основанным на опыте или способности распознавать образы, что предоставляет в их распоряжение более эффективную функцию промежуточной оценки. Компьютеры доминируют в области вычислений методом грубой силы. Таким образом, хотя в настоящее время и люди, и компьютеры используют сочетание упреждающей и промежуточной оценки, они применяют их в разных пропорциях: шахматисты просчитывают наперед не так много ходов, но располагают более развитой функцией промежуточной оценки на основании знаний; компьютеры имеют менее развитые функции оценки, но могут просчитывать наперед гораздо больше ходов благодаря огромной вычислительной мощности.
В последнее время компьютеры начали накапливать больше знаний. В процессе модификации Deep Blue в 1996–1997 годах специалисты IBM заручились поддержкой экспертов по шахматам для улучшения функции промежуточной оценки в своих программах. Консультанты много раз играли в шахматы с компьютером, отмечали его слабые места и подсказывали, как изменить функцию оценки, чтобы устранить дефекты. Deep Blue явно пошел на пользу вклад экспертов и их тонкое мышление, ставшее результатом многолетнего опыта и знания сложных взаимосвязей между фигурами на шахматной доске.
Если люди, постепенно формулируя свои глубинные знания, передают их компьютерам, то на что рассчитывать шахматистам, не получающим от ПК аналогичной помощи? В момент первой встречи с Deep Blue в 1997 году Каспаров был поражен человеческим или даже сверхчеловеческим качеством игры компьютера. Он даже увидел в одном из его ходов «руку Бога». А ведь ситуация может усугубиться еще сильнее: способность компьютеров просчитывать ходы методом грубой силы стремительно повышается, причем одновременно, хотя и медленнее, они обретают тонкость мышления, свойственную человеку.
Абстрактная теория шахмат гласит, что это конечная игра, которая может быть решена методом обратных рассуждений. Шахматы зачастую требуют искусства ведения игры, опирающегося на опыт, интуицию и тонкие суждения. Плохо ли это с точки зрения использования метода обратных рассуждений в процессе анализа игр с последовательными ходами? Мы считаем, что нет. Теория действительно не позволяет найти полное решение игры в шахматы, но дает возможность достаточно далеко продвинуться в этом направлении. Упреждающий анализ нескольких ходов – важный аспект подхода, подразумевающий сочетание просчета ходов методом грубой силы и основанной на знаниях оценки промежуточных позиций. По мере увеличения вычислительной мощности компьютеров будет возрастать и роль просчитывания ходов методом грубой силы, а значит, и область применения теории обратных рассуждений.
Данные исследований игры в шашки, о чем мы расскажем ниже, говорят о том, что решение игры в шахматы все же может быть найдено.
Невероятное количество компьютерных и человеко-часов ушло на поиск решения игры в шахматы. С не меньшим упорством исследователи работали и над решением несколько более простой игры – в шашки, и в 2007 году объявили, что оно найдено[28].
Шашки – еще одна игра с двумя участниками, в которую играют на доске восемь на восемь клеток. Каждый игрок имеет по 12 круглых фигур, или шашек, разного цвета (рис. 3.9), и игроки по очереди передвигают их по диагонали, перепрыгивая (и захватывая) шашки противника, когда это возможно. Как и в шахматах, игра заканчивается и игрок А выигрывает, если у игрока Б не остается шашек или ему некуда ходить. Кроме того, партия может завершиться вничью, если оба игрока согласятся, что ни один из них не может победить.
Рис. 3.9. Шашки
Хотя сложность шашек меркнет на фоне шахмат (количество вероятных позиций в шашках приблизительно равно квадратному корню из количества позиций в шахматах), существует 5 × 1020 возможных позиций, так что о построении дерева игры не может быть и речи. Если исходить из здравого смысла и результатов чемпионатов мира по шашкам за многие годы, то хорошая игра должна приводить к ничьей, но это не было доказано. Однако спустя какое-то время программисту из Канады все же удалось получить такое доказательство – компьютерную программу Chinook, которая способна обеспечить гарантированную ничью.
Chinook появилась в 1989 году, а в 1992-м впервые сразилась с чемпионом мира по шашкам Марионом Тинсли (проиграв со счетом 4:2 при 33 ничьих), а затем еще раз в 1994 году (когда во время серии ничьих у Тинсли пошатнулось здоровье). В период с 1997 по 2001 год работа над программой была приостановлена, поскольку ее создатели ждали усовершенствования компьютерных технологий. И наконец весной 2007 года Chinook продемонстрировала беспроигрышный алгоритм игры в шашки, использующий комбинацию анализа методом обратных рассуждений с конца игры и прямого анализа игры с исходной позиции наряду с эквивалентом функции промежуточной оценки для отслеживания лучших ходов в базе данных, включающей все возможные позиции на доске.
Создатели Chinook называют полную игру в шашки «слабо решенной»; они знают, что могут обеспечить ничью, и у них есть стратегия ее достижения с исходной позиции. Для всех 39 × 1012 возможных позиций с наличием 10 или менее шашек на доске они описывают игру как «строго решенную». В этом случае они знают, что могут не только сыграть вничью, но и достичь ее из любой позиции, сформировавшейся после того, как на доске останется не более 10 шашек. Этот алгоритм сначала решил эндшпиль с 10 шашками, а затем вернулся к началу игры, чтобы найти те ее пути, на которых оба игрока делают оптимальный выбор. Механизм поиска, включающий комплексную систему оценки каждой промежуточной позиции, неизбежно приводил к тем позициям с 10 шашками, которые гарантировали ничью.
Следовательно, наша надежда на будущее анализа методом обратных рассуждений небеспочвенна. Мы знаем, что в действительно простых играх можем найти равновесие посредством вербальных рассуждений без необходимости рисовать дерево игры в явной форме. В играх среднего уровня сложности процесс вербальных размышлений затрудняется, но можно нарисовать дерево игры и использовать его в ходе анализа методом обратных рассуждений. Иногда при анализе дерева игры умеренной сложности имеет смысл прибегнуть к помощи компьютера. В более сложных играх, таких как шашки и шахматы, мы можем нарисовать только часть дерева игры, поэтому должны применять сочетание двух методов: 1) просчет ходов, строящийся на логике обратных рассуждений; 2) эмпирическая оценка промежуточных позиций на основе опыта. Вычислительные возможности существующих алгоритмов подтверждают тот факт, что даже некоторые игры этой категории поддаются решению при наличии соответствующего времени и ресурсов.
К счастью, большинство стратегических игр, с которыми мы сталкиваемся в области экономики, политики, спорта, бизнеса и в повседневной жизни, гораздо проще по сравнению с шахматами или даже шашками. В них может быть несколько игроков, которые ходят по несколько раз, и даже большое количество игроков и большое количество ходов. Однако у нас есть шанс нарисовать приемлемое дерево для игр, последовательных по своей сути. Логика обратных рассуждений остается в силе; и часто так бывает, что стоит вам освоить этот метод, и вы легко выполняете необходимый логический анализ и решаете игру даже без построения дерева игры в явной форме. Кроме того, именно на этом промежуточном уровне сложности (между простыми примерами, которые мы решили в данной главе, и нерешенными играми вроде шахмат) могут пригодиться такие компьютерные программы, как Gambit; это открывает перспективу применения теории к решению многих игр на практике.
6. Фактические данные, касающиеся метода обратных рассуждений
Насколько хорошо фактические участники игр с последовательными ходами выполняют вычисления в рамках анализа методом обратных рассуждений? Таких систематизированных данных крайне мало, но аудиторные и научно-исследовательские эксперименты с некоторыми играми привели к результатам, на первый взгляд противоречащим прогнозам теории. Ряд экспериментов имеют весьма интересные последствия для стратегического анализа игр с последовательными ходами.
Например, в ходе многих экспериментов разыгрывалась состоящая из одного раунда переговорная игра, где двух игроков, А и Б, выбирали из группы студентов или добровольцев. Затем экспериментатор давал им один доллар или другую оговоренную сумму, которую следовало разделить между двумя игроками по следующей схеме: игрок А предлагает, скажем, вариант «75 центов мне и 25 центов игроку Б». Если Б принимает это предложение, то доллар делится именно так, если отклоняет, то никто ничего не получает.
В данном случае анализ методом обратных рассуждений говорит о том, что игроку Б следует принять любую сумму, какой бы маленькой она ни была, поскольку альтернатива еще хуже (то есть 0), и исходя из этого игрок А вообще должен предложить «99 центов мне и 1 цент Б». Однако подобного исхода почти никогда не бывает. Большинство игроков, выступающих в роли игрока А, предлагают более справедливое, близкое к равному разделение суммы. На самом деле 50:50 – самый распространенный вариант. Мало того, большинство участников, будучи в роли игрока Б, отклоняют предложения, оставляющие им менее 25 % от общей суммы, и уходят ни с чем, а некоторые отвергают даже 40 %[29].
Многие специалисты по теории игр не согласны, что эти выводы подрывают теорию, аргументируя свою точку зрения примерно так: «Эти суммы настолько малы, что разум игроков воспринимает происходящее как нечто тривиальное. Игрок Б теряет 25 или 40 центов, что практически равно нулю, но при этом, возможно, испытывает определенное удовлетворение от того, что отказался от столь унизительного предложения. Если бы на кону стояла тысяча долларов и 25 % составляли бы приличную сумму, то любой игрок Б принял бы такое предложение». Но этот аргумент нельзя считать бесспорным. Эксперименты с гораздо более высокими ставками демонстрируют аналогичные результаты. В Индонезии, например, оперировали суммами, не очень большими в долларах, но составлявшими трехмесячный заработок участников экспериментов. И тем не менее их результаты не показали явной склонности игроков А делать предложения о менее равноценном дележе общей суммы, хотя по мере ее увеличения игроки Б были готовы принимать несколько меньшую долю. Аналогичные эксперименты, проведенные в Словацкой Республике, доказали, что серьезное изменение выигрышей не влияет на поведение неопытных игроков[30].
Конец ознакомительного фрагмента.