Результаты вычислений значений v* приведены в следующей таблице.

Стационарные вероятности находятся из уравнений

я*Р*=я\

л, + л2+...+ л , =1.

Для иллюстрации применения этих уравнений рассмотрим стратегию s = 2. Соответствующие уравнения имеют следующий вид.

0,3л, + 0,1л2 +0,057с3 =тс 0,6л, + 0,6л2 + 0,4л3 = л2, 0,1л, + 0,3л2 +0,55л3 = л3, л, + л2 + л3 = 1.

(Отметим, что одно из первых трех уравнений избыточно.) Решением системы будет

2 6 2 31 2 22 ~ 59 2 ~59 * ~ 59

В данном случае ожидаемый годовой доход равен

Е1 = £jtJv2 = - (6 х 4,7 + 31 х 0,31 + 22 х 0,4) = 2,256.

;= 59

Результаты вычислений и Е* для всех стационарных стратегий приведены в следующей таблице. (Отметим, что хотя каждая из стратегий 1, 3, 4 и 6 имеет поглощающее состояние (состояние 3), это никоим образом не влияет на результаты вычислений. По этой причине я; = = 0и = 1 для всех этих стратегий.)

Из этой таблицы видно, что стратегия 2 дает наибольший ожидаемый годовой доход. Следовательно, оптимальная долгосрочная стратегия требует применения удобрений независимо от состояния системы.

УПРАЖНЕНИЯ 19.3.1

1. Решите задачу из упражнения 19.2.1 методом полного перебора при бесконечном числе этапов.

2. Решите задачу из упражнения 19.2.2 при бесконечном горизонте планирования методом полного перебора.

3. Решите задачу из упражнения 19.2.3 методом полного перебора, предполагая, что горизонт планирования бесконечен.

19.3.2. Метод итераций по стратегиям без дисконтирования

Чтобы оценить трудности, связанные с применением метода полного перебора, предположим, что у садовника вместо двух имеется четыре стратегии поведения (альтернативы): не удобрять, удобрять один раз в сезон, удобрять дважды и удобрять трижды в сезон. В этом случае общее число стратегий, имеющихся в распоряжении садовника, составляет 4* = 256 стационарных стратегий. Таким образом, при увеличении числа альтернатив с 2 до 4 число стационарных стратегий возрастает по экспоненте с 8 до 256. Трудно не только перечислить в явном виде все эти стратегии, но и может оказаться также недопустимо большим объем вычислений, требуемых для оценки всего множества стратегий.

Метод итераций по стратегиям основывается на следующем. Как показано в разделе 19.2, для любой конкретной стратегии ожидаемый суммарный доход за л-й этап определяется рекуррентным уравнением

/П() = +£Л .,(У). = 1.2,...,т.

Это уравнение и служит основой метода итераций по стратегиям. Однако, чтобы сделать возможным изучение асимптотического поведения процесса, вид уравнения нужно немного изменить. В отличие от величины п, которая фигурирует в уравнении и соответствует ге-му этапу, обозначим через rj число оставшихся для анализа этапов. Тогда рекуррентное уравнение записывается в виде

/,(0 = v( + I/,-,(У). = 1-2,..., т.

Здесь - суммарный ожидаемый доход при условии, что остались не рассмотренными п этапов. При таком определении п можно изучить асимптотическое поведение процесса, полагая при этом, что л-±со.

Обозначим через п = (п{,п2,...,пт) вектор установившихся вероятностей состояний с матрицей переходных вероятностей Р=/. и пусть £ = rc,v, + t2v2+... + 7cmv -

ожидаемый доход за этап, вычисленный по схеме раздела 19.3.1, тогда можно показать, что при достаточно большом п

/ (0=л*+/(0.

где f(i) - постоянный член, описывающий асимптотическое поведение функции fi) при заданном состоянии i.

Так как /%(/) представляет суммарный оптимальный доход за п этапов при заданном состоянии i, а Е - ожидаемый доход за один этап, то интуитивно понятно, почему величина fn(i) равна сумме цЕ и поправочного числа f(i), учитывающего определенное состояние i. При этом, конечно, предполагается, что число п достаточно велико.

Теперь рекуррентное уравнение можно записать в следующем виде

!,£ + ДО = v, + {(п. -1)£ + /(у)}, / = 1, 2,т.

Упростив это уравнение, получаем

£ + / ()-!* /(</) = .. / = 1,2,...,т,

т.е. имеем т уравнений с т + 1 неизвестными /(1), /(2),f(m)nE.

Здесь, как и в разделе 19.3.1, конечной целью является определение оптимальной стратегии, приводящей к максимальному значению Е. Так как имеется т уравнений ст + 1 неизвестными, оптимальное значение Е нельзя определить за один шаг. В связи с этим используется итеративная процедура, начинающаяся с произвольной стратегии, а затем определяется новая стратегия, дающая лучшее значение Е. Итеративный процесс заканчивается, если две последовательно получаемые стратегии совпадают.