Итеративный процесс состоит из двух основных шагов.

1. Шаг оценки параметров. Выбираем произвольную стратегию s. Используя соответствующие ей матрицы Р* и R* и полагая (произвольно) f(m) - 0, решаем уравнения

Л -/()-Z Л/(У)-v;. i = I, 2,..., и

относительно неизвестных Ё, f(l),f(m - 1). Переходим к следующему шагу.

2. Шаг улучшения стратегии. Для каждого состояния i определяем альтернативу k, обеспечивающую

maxjvf+f>J/s(/)J, / = 1,2,...,т.

(Здесь используются значения f(j), j=l, 2, т, определенные на шаге оценки параметров.) Результирующие оптимальные решения для состояний 1, 2, т формируют новую стратегию t. Если s и t идентичны, то алгоритм заканчивается; в этом случае t - оптимальная стратегия. В противном случае полагаем s = t и возвращаемся к шагу оценки параметров.

Оптимизационная задача на шаге улучшения стратегии нуждается в пояснении. Целью этого шага является получение максимального значения Е. Как показано выше,

Поскольку /(г) не зависит от альтернатив k, задача максимизации на шаге улучшения стратегии эквивалентна максимизации Е по альтернативам k.

Пример 19.3.2

Решим задачу садовника методом итераций по стратегиям.

Начнем с произвольной стратегии, исключающей применение удобрений. Имеем соответствующие матрицы

Уравнения шага оценки параметров принимают вид

£ + /(1) -0,2/(1)- 0,5/(2) - 0,3/(3) = 5,3,

£ + /(2) -0,5/(2)-0,5/(3) = 3,

£ + /(3) -/(3) = -1.

ПолагаяДЗ) = 0, получаем решение этих уравнений

£ = -], /(1) = 12,88, /(2) = 8, /(3) = 0.

Перейдем к шагу улучшения стратегии. Результаты соответствующих вычислений приведены в следующей таблице.

Новая стратегия предусматривает применение удобрений независимо от состояния почвы. Так как новая стратегия отличается от предыдущей, повторяется шаг оценки параметров. Новой стратегии соответствуют матрицы

Эти матрицы определяют следующие уравнения:

£ + /(1)-0,3/(1)-0,6/(2)-0,1/(3) = 4,7,

£ + /(2)-0,1/(1)-0,6/(2)-0,3/(3) = 3,1,

£ + /(3)-0,05/(1)-0,4/(2)-0,55/(3) = 0,4.

Снова полагаяДЗ) = 0, получаем решение

£ = 2,26, /(1) = 6,75, /(2) = 3,80, /(3) = 0.

Результаты вычислений на шаге улучшения стратегии приведены в следующей таблице.

Новая стратегия, требующая применения удобрений независимо от состояния системы, идентична предыдущей, поэтому последняя стратегия оптимальна и итеративный процесс заканчивается. Естественно, что этот результат совпадает с результатом, полученным методом полного перебора (подраздел 19.3.1). Однако следует отметить, что метод итераций по стратегиям достаточно быстро сходится к оптимальному решению, что является его характерной особенностью.

УПРАЖНЕНИЯ 19.3.2

1. Пусть в задаче упражнения 19.2.1 горизонт планирования бесконечен. Решите эту задачу методом итераций по стратегиям.

2. Решите задачу упражнения 19.2.2 методом итераций по стратегиям, предполагая, что горизонт планирования бесконечен.

3. Решите задачу упражнения 19.2.3 методом итераций по стратегиям, предполагая, что горизонт планирования бесконечен.

19.3.3. Метод итераций по стратегиям с дисконтированием

Описанный метод итераций по стратегиям можно обобщить на случай дисконтирования. Если обозначить через а (< 1) коэффициент дисконтирования (переоценки), то рекуррентное уравнение при конечном числе этапов можно записать в следующем виде (см. раздел 19.2)

(Отметим, что п равно числу этапов, которые необходимо рассмотреть.) Можно показать, что при п - оо (модель с бесконечным числом этапов) fi) = f(i), где f(i) - приведенный к текущему моменту времени дисконтированный доход при условии, что система находится в состоянии i и функционирует на бесконечном интервале времени. Таким образом, долгосрочное поведение fi) при п -> со не зависит от значения п. В этом состоит отличие от случая без дисконтирования, когда fiJLi) tjE + f(i). Этого следовало ожидать, так как в случае с дисконтированием влияние будущих доходов асимптотически уменьшается до нуля. Действительно приведенный доход f(i) должен стремиться к постоянной величине при 77 - < .

С учетом вышеизложенного в данном случае при использовании метода итераций по стратегиям выполняются следующие действия.

1. Шаг оценки параметров. Для произвольной стратегии s с матрицами Р* и R решаем систему из т уравнений

относительно т неизвестных f(l), f(2),f(m).

2. Шаг улучшения стратегии. Для каждого состояния i определяем альтернативу k, обеспечивающую

где f(j) имеют значения, определенные на шаге оценки параметров. Если полученная стратегия t совпадает со стратегией s, то алгоритм закончен; в этом случае стратегия t оптимальна. В противном случае полагаем s = t и повторяем шаг оценки параметров.

Решим задачу из примера 19.3.2 с учетом коэффициента дисконтирования а= 0,6.

Пример 19.3.3