вующего состояния системы. Если t0 < f, < ... < tn (п = 0,1, 2, ...) - моменты времени, то семейство случайных величин jcj, } будет процессом Маркова тогда и только

тогда, когда оно обладает марковским свойством

Р{ =* 4 , =* - ...,); =х0} = Р{ =х 4, = * -,} для всех возможных значений случайных величин 4, ,4 > -. 4,

Вероятность рх л = pjcj, = 14, ( = j называется переходной. Она представляет собой условную вероятность того, что система будет находиться в состоянии хп в момент tn, если в момент < , она находилась в состоянии хп г Эту вероятность называют также одношаговой переходной, поскольку она описывает изменение состояния системы между последовательными моментами времени tni и tn. Аналогично m-шаговая переходная вероятность определяется формулой

19.5.2. Цепи Маркова

Пусть Е2, £. 0 = 0, 1, 2, ...) - полная и взаимно исключающая группа состояний некоторой системы в любой момент времени. В исходный момент <0 система может находиться в одном из этих состояний. Пусть я0 (у = 0,1,2,...) - вероятность того, что в момент t0 система находится в состоянии Ег Предположим также, что рассматриваемая система является марковской.

Определим Plj = р{с;, = у = /} как одношаговую вероятность перехода системы

из состояния г в момент времени < ., в состояние j в момент tn и допустим, что эти вероятности постоянны во времени. Удобнее представить вероятности перехода из состояния £, в состояние Ef в матричном виде

V : : : : V Матрица Р называется однородной матрицей переходов (переходных вероятностей), поскольку все переходные вероятности Plj фиксированы и не зависят от времени. Вероятности PlJ должны удовлетворять условиям

Р,> = Для всех (,

Pij > 0 для всех / и у.

Матрица переходных вероятностей Р совместно с исходными вероятностями состояний полностью определяет цепь Маркова (или марковскую цепь). Обычно считается, что цепь Маркова описывает переходный режим некоторой системы на одинаковых интервалах времени. Однако иногда интервалы времени между переходами зависят от характеристик системы и, следовательно, могут быть неодинаковыми.

Абсолютные и переходные вероятности. При заданных вероятностях состояний aJ°J и матрице переходных вероятностей Р абсолютные вероятности состояний

системы после определенного числа переходов определяются следующим образом. Пусть - абсолютные вероятности состояний системы после п переходов, т.е.

в момент ta. Величины ап) можно выразить в общем виде через и Р посред-

ством следующего соотношения:

(О (°) (°) . (о) . V (о)

Следовательно,

где р = РьРд - двухшаговая вероятность, или переходная вероятность второ-

го порядка, т.е. вероятность перехода из состояния k в состояние j в точности за два шага.

Подобным образом по индукции можно показать, что

где р - -шаговая переходная вероятность (или переходная вероятность л-го порядка), определяемая рекуррентной формулой

р\ -L.P* Рч-ii

В общем виде для произвольных i и ; имеем

pMpW. 0<и<я. *

Эти уравнения известны как уравнения Колмогорова-Чепмена.

Элементы матриц переходов высших порядков ЦрЦ можно получить непосредственно путем перемножения матриц. Так, например,

MHKIIIkK

и в общем случае

pW=p-p = p-.

Следовательно, если абсолютные вероятности состояний определены в векторной форме как

aw=a(V.

Пример 19.5.1

Рассмотрим цепь Маркова с двумя состояниями. Матрица переходных вероятностей имеет вид

0,2 0,8 0,6 0,4

и а0 = (0,7, 0,3). Найдем а , а41 и а

Р2 =

0,6 0,4

р4 = р2р2 р8=р4р4

0.443 0,557 0,418 0,582)

Таким образом,

0,2 0,8Y0,2 0,8W0,52 0,48 0,6 0,4J t,0,36 0,64j

0,52 0,48Y0,52 0,48> 0,36 0,64Д0,36 0,64

0,443 0,557Y0.443 0,557 (0,4291 0,5709

0,418 0,582Д0.418 0,582J ~ [0,4284 0,5716J

m f 0,2 0,8Л

a< =(0,7,0,3) o>4J = (0,32, 0,68),

,4) (0,443 0,5571

a1 =(0,7,0,3) =(0,436,0,564),

0,418 0,582

m (0,4291 0,57094;

a(8) =(0,7,0,3) =(0,4289,0,5711).

\0,4284 0,5716j

Отметим, что строки матрицы Р8 незначительно отличаются друг от друга. Кроме

(8) u п8

того, вектор а также несущественно отличается от каждой из строк матрицы Р . Это связано с тем, что абсолютные вероятности состояний после выполнения нескольких переходов практически не зависят от начальных вероятностей а<0). В том случае, когда они действительно не будут зависеть от начальных вероятностей, их называют установившимися.

Классификация состояний марковских цепей. При рассмотрении цепей Маркова нас может интересовать поведение системы на коротком отрезке времени. В таком случае абсолютные вероятности вычисляются так, как показано в предыдущем разделе. Однако более важно изучить поведение системы на большом интервале времени, т.е. в условиях, когда число переходов стремится к бесконечности. В этом случае изложенный выше метод непригоден; требуется систематический подход, позволяющий прогнозировать долгосрочное поведение системы. Ниже вводятся определения состояний марковских цепей, которые необходимы для изучения долгосрочного поведения системы.

Неприводимая марковская цепь. Цепь Маркова называется неприводимой, если любое состояние Ej может быть достигнуто из любого другого состояния £( за

конечное число переходов, т.е. при i Ф j p\f > 0 для 1 < п < оо. В этом случае все состояния цепи называются сообщающимися.