/ (/) = max {vf},

/.(*) = maxjtf + af>*/ +l(y)J, = 1,2, ...,/V-l.

УПРАЖНЕНИЯ 19.2

1. Фирма ежегодно оценивает положение со сбытом одного из видов своей основной продукции и дает ему удовлетворительную (состояние 1) или неудовлетворительную оценку (состояние 2). Необходимо принять решение о целесообразности рекламирования этой продукции в целях расширения ее сбыта. Приведенные ниже матрицы Р1 и Р2 определяют переходные вероятности при наличии рекламы и без нее в течение любого года. Соответствующие доходы заданы матрицами R1 и R2. Найдите оптимальные решения для последующих трех лет.

10,6

0,7 0,2

0, 0,4

0,3 0,8

-1 -3

Компания может провести рекламную акцию с помощью одного из трех средств массовой информации: радио, телевидения или газеты. Недельные затраты на рекламу с помощью этих средств оцениваются в 200, 900 и 300 долл. соответственно. Компания оценивает недельный объем сбыта своей продукции по трехбалльной шкале как удовлетворительный (1), хороший (2) и отличный (3). Ниже указаны переходные вероятности, соответствующие каждому из трех средств массовой информации.

0,4 0,1 1,0,1

Радио 2 3 0,5 0,0 0,7 0,2 0,2 0,7

Телевидение 1 2 3 0,2 0,6 0,7

0,7 0,3 ,0,1

0,0 0,1 0,2

(0,2 0 0

Газета 2 3 0,5 0,7 0,2

0,3 0,3 0,8

Соответствующие недельные доходы (в тыс. долл.) равны следующему.

Радио 400 520 600 ! 300 400 700 200 250 500,

Телевидение 1000 1300 1600 800 1000 1700 600 700 1100

Газета Г 400 530 710 ! 350 450 800 250 400 650

Найдите оптимальную стратегию рекламы для последующих трех недель.

3. Задача управления запасами. Магазин электротоваров в целях быстрого удовлетворения спроса покупателей на холодильники может размещать заказы в начале каждого месяца. Каждое размещение заказа приводит к постоянным затратам в 100 долл. Затраты на хранение одного холодильника в течение месяца равны 5 долл. Потери магазина при отсутствии холодильников оцениваются в 150 долл. за каждый холодильник в месяц. Месячный спрос на холодильники задается следующим распределением вероятностей.

Магазин реализует следующую стратегию: максимальный уровень запаса не должен превышать двух холодильников в течение любого месяца.

a) Определите переходные вероятности при различных альтернативах решения этой задачи.

b) Определите ожидаемые месячные затраты на хранение запаса как функцию состояния системы и альтернативных решений.

c) Определите оптимальную стратегию размещения заказов на последующие 3 месяца.

4. Выполните задания предыдущего упражнения, предполагая, что плотности вероятностей спроса на следующий квартал определяются значениями из следующей таблицы.

19.3. МОДЕЛЬ С БЕСКОНЕЧНЫМ ЧИСЛОМ ЭТАПОВ

Существует два метода решения задачи с бесконечным числом этапов. Первый метод основан на переборе всех возможных стационарных стратегий в задаче принятия решений. Этот подход, по существу, эквивалентен методу полного перебора, и его можно использовать только тогда, когда общее число стационарных стратегий с точки зрения практических вычислений достаточно мало. Второй метод, называемый методом итераций по стратегиям, как правило, более эффективен, так как определяет оптимальную стратегию итерационным путем.

19.3.1. Метод полного перебора

Предположим, что в задаче принятия решений имеется S стационарных стратегий. Пусть РиК - матрицы переходных (одношаговых) вероятностей и доходов, соответствующие применяемой стратегии, 8 = 1,2, S. Метод перебора включает следующие действия.

Шаг 1. Вычисляем v, - ожидаемый доход, получаемый за один этап при стратегии s для заданного состояния I, i = 1, 2.....т.

Шаг 2. Вычисляем п - долгосрочные стационарные вероятности матрицы переходных вероятностей Р, соответствующие стратегии s. Эти вероятности (если они существуют) находятся из уравнений

где я*=(я;,я2,...Х).

Шаг 3. Вычисляем по следующей формуле Е ожидаемый доход за один шаг (этап) при выбранной стратегии s.

Шаг 4. Оптимальная стратегия s* определяется из условия, что

Е =тах{Е}.

Проиллюстрируем этот метод на примере задачи садовника при бесконечном горизонте планирования.

Пример 19.3.1

В задаче садовника имеется восемь стационарных стратегий, представленных в следующей таблице.

Матрицы Р5 и R1 для стратегий от 3 до 8 получаются из аналогичных матриц для стратегий 1 и 2. Таким образом, имеем