Выберем произвольную стратегию, например s= {1,1, 1}. Матрицы Р и R (Р1 и R1 в примере 19.3.1) определяют уравнения

/(1) - 0,б[0,2/(1) + 0,5/(2) + 0,3/(3)] = 5,3,

/(2)-0,б[ 0,5/(2) + 0,5/(3)] = 3,

/(з)-о,б[ +/(з)] = -1.

Решение этих уравнений дает

/1 = 6,61,/2 = 3,21,/3 = -2,5.

Результаты вычислений итерации по улучшению стратегии приведены в следующей таблице.

vf + 0,6[/(1) + /4/(2) + /4/(3)] Оптимальное

решение

Шаг оценки параметров, выполненный на основе матриц Р2 и R2 (пример 19.3.1), приводит к следующим уравнениям.

/(1) - 0,б[0,3/(1) + 0,6/(2) + 0,1/(3)] = 4,7, /(2) - 0,б[0,1/(1) + 0,6/(2) + 0,3/(3)] = 3,1, /(3) - 0,б[0,05/(1) + 0,4/(2) + 0,55/(3)] = 0,4. Решением этих уравнений будет

у; = 8,89,/2 = 6,62,/3 = 3,37.

Результаты, полученные на шаге улучшения стратегии, приведены в следующей таблице.

Так как новая стратегия {1,2, 2} отличается от предыдущей, повторяем шаг оценки параметров с использованием матриц Р8 и R8 (пример 19.3.1). Получаем следующие уравнения.

УПРАЖНЕНИЕ 19.3.3

1. Решите указанные ниже задачи, приняв коэффициент дисконтирования равным а =0,9.

a) Задача упражнения 19.3.2.1.

b) Задача упражнения 19.3.2.2.

c) Задача упражнения 19.3.2.3.

19.4. ПРИМЕНЕНИЕ МЕТОДОВ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ

Марковскую задачу принятия решений при бесконечном числе этапов как с дисконтированием, так и без него можно сформулировать и решить как задачу линейного программирования. Рассмотрим сначала случай без дисконтирования.

В подразделе 19.3.1 было показано, что марковская задача без дисконтирования при бесконечном числе этапов сводится к поиску оптимальной стратегии s , соответствующей

maxJJ£n>f яР* =я\ я[+ я2+... + <= 1, <>0, i = 1, 2,..., А,

/(1) - 0,б[0,2/(1) + 0,5/(2) + 0,3/(3)] = 5,3, /(2) -0,б[0,1/(1) + 0,6/(2) + 0,3/(3)] = 3,1, /(3) - 0,б[0,05/(1) + 0,4/(2) + 0,55/(3)] = 0,4.

Решением этих уравнений будет

/1 = 8,97,/2 = 6,63,/3 = 3,38.

Результаты, полученные на шаге улучшения стратегии, приведены в следующей таблице.

vf + 0,6[ А< Д1) + Л2Д2) + р\,/(3)] Оптимальное

решение

/ к= 1 к =2 fji) к

1 5,3 + 0,6[0,2 х 8,97 + 0,5 х 6,63 + 0,3 х 4,7 + 0,6[0,3 х 8,97 + 0,6 х 6,63 + 0,1 х 8,97 1 х 3,38] = 8,97 х 3,38] = 8,90

2 3 + 0,6[0 х 8,97 + 0,5 х 6,63 + 0,5 х 3,1 + 0,6[0,1 х 8,97 + 0,6 х 6,63 + 0,3 х 6,63 2 х 3,38] = 6,00 х 3,38] = 6,63

3 -1 +0,6(0x8,97 + 0x6,63 + 1 хЗ,38] = 1,03 0,4 + 0,6[0,05 х 8,97 + 0,4 х 6,63 + 0,55 х 3,37 2

х 3,38] = 3,37

Так как новая стратегия {1, 2, 2} идентична предыдущей, то она оптимальна. Заметим, что при дисконтировании оптимальная стратегия исключает применение удобрений при хорошем состоянии системы (состояние 1).

где S - множество всех возможных стратегий. Здесь я, = 1,2,...,т, представляют

установившиеся вероятности марковской цепи Р*. Подобная задача была решена в подразделе 19.3.1 полным перебором всех стратегий s.

Приведенная задача служит основой для формулировки марковской задачи принятия решений в виде задачи линейного программирования. Однако необходимо преобразовать переменные задачи таким образом, чтобы оптимальное решение автоматически определяло оптимальное действие (альтернативу) k, когда система находится в состоянии i. Совокупность всех оптимальных действий определяет оптимальную стратегию s*.

Это реализуется следующим образом. Введем обозначение: q) - условная вероятность выбора альтернативы k, когда система находится в состоянии i. Тогда задачу можно представить в следующем виде.1

Заметим, что вероятности ptj являются функциями выбранной стратегии и, следовательно, конкретных альтернатив k этой стратегии.

Ниже будет показано, что эту задачу можно преобразовать в задачу линейного программирования путем соответствующих подстановок, включающих q\. Но следует отметить, что приведенная выше формулировка эквивалентна исходной формулировке задачи из раздела 19.3.1 только при условии, что q\ = 1 для одного k при

каждом £, так как только при этом сумма X*-i*v* будет сведена к v* , где k - выбранная оптимальная альтернатива. Предлагаемая здесь линейная задача учитывает это условие автоматически.

Обозначим wlt = я.<7* для всех < и к. По определению величина wit представляет собой совместную вероятность пребывания в состоянии i и принятия решения к. Из теории вероятностей известно, что

при ограничениях

%j = ЕЯ<Л/ У = 1. 2,т,

л, + я2 + ... + Кт = 1, ql+ql+.-. + q* =\, / = 1, 2, я, > 0, q. > 0 для всех / и к.

Следовательно,

4i =

Поэтому очевидно, что ограничение

щ = 1 можно записать в виде

т К

1=1 *=1

1=1 *=1

1 Здесь и далее К - количество возможных альтернатив. - Прим. ред.