(Ожидаемая прибыль на этапе / при условии, [ что исходом последнего вращения есть j

2 j, если игра заканчивается,

L,Pkfi*\ (*)> если игРа продолжается.

Рекуррентное уравнение для /,(у) можно записать следующим образом.

/ -,(/) = 2у,

/(./) = max

конец игры:

продолжение игры: ptf,tt(k), / = 2,3,...,т,

y;(o)=Zft/,w

Обоснование рекуррентного уравнения сводится к следующему. При первом вращении колеса (£ = 1) состоянием системы является у = 0, ибо игра только началась. Следовательно, /,(0) = р,/2(1) + р2/2(2) + ... + pj2(n). После выполнения последнего вращения колеса (£ = т) остается лишь один выбор - закончить игру независимо от исхода у m-го вращения. Следовательно, fm (;) = 2у.

Рекуррентные вычисления начинаются с /т + 1, заканчиваются при /ДО) и сводятся таким образом к т + 1 вычислительному этапу. Так как /,(0) представляет собой ожидаемую прибыль от всех т вращений колеса, а игра обходится игроку в х долларов, получаем следующее.

Ожидаемая прибыль = /,(0) - х.

Пример 15.1.1

Предположим, что по периметру колеса русской рулетки расставлены числа от 1 до 5. ВероятностиPi остановки колеса на числе / соответственно равны следующему: Pl = 0,3, р2 = 0,25, рз = 0,2, р4 = 0,15, р5 = 0,1. Игрок платит 5 долл. за возможность сделать не более четырех вращений колеса. Определим оптимальную стратегию игрока для каждого из четырех вращений и найдем соответствующий ожидаемый выигрыш.

Этап 5.

/*(/) = 2/.

Этап 4.

ftf) = max {2j, Plf5( 1) + р/5(2) + Pifs(3) + p/5(4) + p&5)} = = max{2/, 0,3x2+ 0,25x4 +0,2x6 +0,15x8+ 0,1 x 10} = = max{2/, 5}.

Этап 1.

/,(0)-рШ+РгШ) +р/2(3) +р/2(4) +р/2(5) =

= 0,3 х 6,8125 + 0,25 х 6,8125 + 0,2 х 6,8125 + 0,15 х 8 + 0,1 х 10 = 7,31.

В начале игры единственным выбором является вращение колеса.

Из предыдущих таблиц следует, что оптимальным решением будет следующая последовательность действий.

НомеР Оптимальная стратегия

вращения

1 Начало игры; вращать

2 Продолжить игру, если исходом первого вращения есть 1, 2 или 3; иначе закончить игру

3 Продолжить игру, если исходом второго вращения есть 1, 2 или 3; иначе закончить игру

4 Продолжить игру, если исходом третьего вращения есть 1 или 2; иначе закончить игру

Ожидаемая прибыль от игры составляет 7,31 - 5 = 2,31 долл.

УПРАЖНЕНИЯ 15.1

1. Пусть в задаче из примера 15.1.1 по периметру колеса расставлены числа от 1 до 8, и вероятности остановки колеса на каждом из этих чисел одинаковы. Предполагая, что каждая игра состоит не более чем из пяти вращений колеса, определите оптимальную стратегию игры.

2. Я хочу продать свой подержанный автомобиль тому, кто предложит наивысшую цену. Изучая автомобильный рынок, я пришел к выводу, что с равными вероятностями мне за автомобиль могут предложить низкую (около 1050 долл.), среднюю (около 1900 долл.) либо высокую цену (около 2500 долл.). Я решил помещать объявление о продаже автомобиля на протяжении не более трех дней подряд. В конце каждого дня мне следует решить, принять ли наилучшее предложение, поступившее в течение этого дня. Какой должна быть моя оптимальная стратегия относительно принятия предложенной цены за автомобиль?

15.2. ЗАДАЧА ИНВЕСТИРОВАНИЯ

Некто планирует инвестировать С тыс. долл. через фондовую биржу в течение последующих п лет. Инвестиционный план состоит в покупке акций в начале года и продаже их в конце этого же года. Накопленные деньги затем могут быть снова инвестированы (все или их часть) в начале следующего года. Степень риска инвестиции представлена тем, что прибыль имеет вероятностный характер. Изучение рынка свидетельствует о том, что прибыль от инвестиции зависит от т условий рынка (благоприятных или неблагоприятных). При этом условие i приводит к прибыли г, с вероятностьюpt, /=1,2, т. Как следует инвестировать С тыс. долл. для наибольшего накопления к концу п лет?

Обозначим

х, - сумма денежных средств, доступных для инвестирования в начале i-го года (ж,-С),

yt - сумма реальной инвестиции в начале i-го года (yt < х,). Элементы модели ДП можно описать следующим образом.

1. Этап i представляет i-Pi год инвестирования.

2. Альтернативами на этапе i являются величины yt.

3. Состояние системы на этапе i описывается величиной х,.

Пусть ft(x) - максимальная ожидаемая сумма поступления денежных средств за годы от i до п при условии, что в начале i-го года имеется сумма xt. Для А-го условия рынка имеем следующее.

х1+, = (1 + rjу, + fx,-yj = rky,-1-х к = 1,2.....m.