Стационарным случайным процессом называется такой процесс, вероятностные характеристики которого не зависят от времени. Все плотности вероятностей не меняются при любом сдвиге рассматриваемого участка процесса во времени, т. е. при сохранении постоянной разности.

Можно сказать, что стационарный случайный процесс в какой-то мере аналогичен обычным стационарным или установившимся процессам в автоматических системах. Например, при рассмотрении обычных установившихся периодических колебаний ничего не изменится, если перенести начало отсчета на какую-нибудь величину. При этом сохранят свои значения такие характеристики, как частота, амплитуда, среднеквадратичное значение и т. п.

В стационарном случайном процессе закон распределения один и тот же для каждого момента времени, т. е. плотность вероятности не зависит от времени:

Отсюда получаем вдоль всего случайного процесса. Следовательно, в стационарном случайном процессе средняя линия, в отличие от общего случая (см. рис. 11.12), будет прямая (рис. 11.13), подобно постоянному смещению средней линии обычных периодических

колебаний. Рассеяние значений переменной х в стационарном случайном процессе, определяемое также будет все время одинаковым, подобно постоянному значению среднеквадратичного отклонения обычных установившихся колебаний от средней линии.

Аналогичным образом и двумерная плотность вероятности также будет «дна и та же для одного и того же промежутка времени - между любыми (рис. 11.13), т. е.

и также для -мерной плотности вероятности.

Задание всех этих функций распределения плотности определяет случайный процесс. Однако более удобно иметь дело с некоторыми осредненными и характеристиками процесса.

Прежде чем перейти к ним, отметим два важных для практики свойства.

1. Ограничиваясь только стационарными случайными процессами, можно будет определить только установившиеся (стационарные) динамические ошибки автоматических систем при случайных воздействиях. Такой прием применялся и ранее при рассмотрении регулярных воздействий, когда определялись динамические свойства систем регулирования по величине динамических ошибок в установившемся периодическом режиме.

2. Стационарные случайные процессы обладают замечательным свойством, которое известно под названием эргодической гипотезы.

Для стационарного случайного процесса с вероятностью, равной единице (т. е. практически достоверно), всякое среднее по множеству равно соответствующему среднему по времени, в частности

В самом деле, поскольку вероятностные характеристики стационарного случайного процесса с течением времени не меняются (например, то длительное наблюдение случайного процесса на одном объекте (среднее но времени) дает в среднем такую же картину, как и большое число наблюдений, сделанное в один и тот же момент времени на большом числе одинаковых объектов (среднее по множеству).

Для многих случаев существует математическое доказательство этого свойства. Тогда оно сводится к эргодической теореме.

Итак, среднее значение (математическое ожидание) для стационарного процесса будет

Аналогичным образом могут быть записаны моменты более высоких порядков - дисперсия, среднеквадратичное отклонение и т. п.

Эргодическая гипотеза позволяет сильно упрощать все расчеты и эксперименты. Она позволяет для определения вместо параллельного испытания многих однотипных систем в один и тот же момент времени, пользоваться одной кривой полученной при испытании одной системы в течение длительного времени.

Таким образом, важное свойство стационарного случайного процесса состоит в том, что отдельная его реализация на бесконечном промежутке времени полностью определяет собой весь случайный процесс со всеми бесчисленными возможными его реализациями. Этим свойством не обладает никакой другой тип случайного процесса.

Определение [ | ]

X t (⋅) : Ω → R , t ∈ T {\displaystyle X_{t}(\cdot)\colon \Omega \to \mathbb {R} ,\quad t\in T} ,

где T {\displaystyle T} произвольное множество , называется случайной функцией .

Терминология [ | ]

Данная классификация нестрогая. В частности, термин «случайный процесс» часто используется как безусловный синоним термина «случайная функция».

Классификация [ | ]

Случайный процесс X (t) {\displaystyle X(t)} называется процессом дискретным во времени , если система, в которой он протекает, меняет свои состояния только в моменты времени t 1 , t 2 , … {\displaystyle \;t_{1},t_{2},\ldots } , число которых конечно или счётно. Случайный процесс называется процессом с непрерывным временем , если переход из состояния в состояние может происходить в любой момент времени.
Случайный процесс называется процессом с непрерывными состояниями , если значением случайного процесса является непрерывная случайная величина. Случайный процесс называется случайным процессом с дискретными состояниями , если значением случайного процесса является дискретная случайная величина:
Случайный процесс называется стационарным , если все многомерные законы распределения зависят только от взаимного расположения моментов времени t 1 , t 2 , … , t n {\displaystyle \;t_{1},t_{2},\ldots ,t_{n}} , но не от самих значений этих величин. Другими словами, случайный процесс называется стационарным , если его вероятностные закономерности неизменны во времени. В противном случае, он называется нестационарным .
Случайная функция называется стационарной в широком смысле , если её математическое ожидание и дисперсия постоянны, а АКФ зависит только от разности моментов времени, для которых взяты ординаты случайной функции. Понятие ввёл А. Я. Хинчин .
Случайный процесс называется процессом со стационарными приращениями определённого порядка, если вероятностные закономерности такого приращения неизменны во времени. Такие процессы были рассмотрены Ягломом .
Если ординаты случайной функции подчиняются нормальному закону распределения , то и сама функция называется нормальной .
Случайные функции, закон распределения ординат которых в будущий момент времени полностью определяется значением ординаты процесса в настоящий момент времени и не зависит от значений ординат процесса в предыдущие моменты времени, называются марковскими .
Случайный процесс называется процессом с независимыми приращениями , если для любого набора t 1 , t 2 , … , t n {\displaystyle t_{1},t_{2},\ldots ,t_{n}} , где n > 2 {\displaystyle n>2} , а t 1 < t 2 < … < t n {\displaystyle t_{1}, случайные величины (X t 2 − X t 1) {\displaystyle (X_{t_{2}}-X_{t_{1}})} , (X t 3 − X t 2) {\displaystyle (X_{t_{3}}-X_{t_{2}})} , … {\displaystyle \ldots } , (X t n − X t n − 1) {\displaystyle (X_{t_{n}}-X_{t_{n-1}})} независимы в совокупности.
Если при определении моментных функций стационарного случайного процесса операцию усреднения по статистическому ансамблю можно заменить усреднением по времени, то такой стационарный случайный процесс называется эргодическим .
Среди случайных процессов выделяют импульсные случайные процессы .

Траектория случайного процесса [ | ]

Пусть дан случайный процесс { X t } t ∈ T {\displaystyle \{X_{t}\}_{t\in T}} . Тогда для каждого фиксированного t ∈ T {\displaystyle t\in T} X t {\displaystyle X_{t}} - случайная величина, называемая сечением . Если фиксирован элементарный исход ω ∈ Ω {\displaystyle \omega \in \Omega } , то X t: T → R {\displaystyle X_{t}\colon T\to \mathbb {R} } - детерминированная функция параметра t {\displaystyle t} . Такая функция называется траекто́рией или реализа́цией случайной функции { X t } {\displaystyle \{X_{t}\}} .

Определение. Случайным процессом Х (t ) называется процесс, значение которого при любом значении аргумента t является случайной величиной.

На практике часто встречаются случайные процессы, протекающие во времени приблизительно однородно и имеющие вид случайных колебаний вокруг некоторого среднего значения, причем ни средняя амплитуда, ни характер этих колебаний существенно не изменяются с течением времени. Такие случайные процессы называются стационарными . Примерами стационарных случайных процессов могут служить колебания самолета на установившемся режиме горизонтального полета, колебания напряжения в электрической цепи, случайные шумы в радиоприемнике, процесс качки корабля, и т.д.

Каждый стационарный процесс можно рассматривать как продолжающийся во времени непрерывно долго, и при исследовании стационарного процесса в качестве начала отсчета можно выбрать любой момент времени. Исследуя стационарный процесс на любом участке времени, мы должны получить одни и те же его характеристики.

Как правило, случайный процесс в любой динамической системе начинается с нестационарной стадии, после чего система обычно переходит в установившийся режим, и тогда процессы, происходящие в ней, можно считать стационарными. В связи с этим получила широкое применение теория стационарных случайных процессов или, точнее, теория стационарных случайных функций (так как аргументом стационарной случайной функции в общем случае может быть и не время).

Определение . Случайная функция Х (t ) называется стационарной , если все ее вероятностные характеристики не зависят от t (точнее, не меняются при любом сдвиге аргументов, от которых они зависят, по оси t ).

В предыдущей главе при изучении случайных функций мы не пользовались такими вероятностными характеристиками, как законы распределения: изучались только математическое ожидание, дисперсия и корреляционная функция. Сформулируем определение стационарной случайной функции в терминах этих характеристик.

Так как изменение стационарной случайной функции должно протекать однородно по времени, естественно потребовать, чтобы ее математическое ожидание было постоянным:

m x (t ) = m x = const .

Обратим внимание, однако, на то, что это требование не является существенным: мы знаем, что от случайной функции Х (t ) всегда можно перейти к центрированной случайной функции , для которой математическое ожидание тождественно равно нулю. Таким образом, если случайный процесс нестационарен только за счет математического ожидания, то это не мешает изучать его как стационарный.

Второе условие, которому, очевидно, должна удовлетворять стационарная случайная функция, - это условие постоянства дисперсии:

D x (t ) = D x = const .

Теперь установим, какому условию должна удовлетворять корреляционная функция стационарной случайной функции. Рассмотрим случайную функцию Х (t ) и положим в выражении K x (t 1 , t 2) t 2 = t 1 + τ . Рассмотрим теперь K x (t 1 , t 1 + τ ) – корреляционный момент двух сечений случайной функции, разделенных интервалом времени τ . Очевидно, если случайный процесс действительно стационарен, то этот корреляционный момент не должен зависеть от того , где именно на оси 0t мы взяли участок τ , а только от длины этого участка. Т.е., корреляционная функция стационарного случайного процесса должна зависеть только от промежутка между первым и вторым аргументами

K x (t 1 , t 1 + τ ) = k x (τ ).

Т.о., корреляционная функция стационарного случайного процесса есть функция одного аргумента, что сильно упрощает операции над стационарными случайными функциями.

Заметим, что постоянство дисперсии является частным случаем приведенной формулы, т.к. D x (t ) = K x (t , t ) = k x (0) = const .

Таким образом, переформулируем с помощью вышеприведенных рассуждений определение стационарной случайной функции – это есть случайная функция Х (t ), математическое ожидание которой постоянно при всех значениях аргумента t и корреляционная функция которой зависит только от разности аргументов t 2 - t 1 . При этом корреляционная функция есть функция одного аргумента, а дисперсия равна значению корреляционной функции в начале координат (при τ = t 2 - t 1 = 0).

Свойства корреляционной функции стационарной функции .

1 0 . Корреляционная функция стационарной случайной функции – четная функция: k x (τ ) = k x (-τ ). Это следует из того, что K x (t 1 , t 2) = K x (t 2 , t 1).

2 0 . Абсолютная величина корреляционной функции стационарной случайной функции не превышает ее значения в начале координат: |k x (τ )| ≤ k x (0).

На практике вместо корреляционной функции k x (τ ) часто пользуются нормированной корреляционной функцией :

ρ x (τ ) = ,

где D x = k x (0) – постоянная дисперсия стационарного процесса. Очевидно, что ρ x (0) ≡ 1.

Введем еще одно понятие, связанное со стационарностью.

Определение . Две случайные функции называются стационарно связанными , если их взаимная корреляционная функция зависит только от разности аргументов.

Обратим внимание на то, что не всякие две стационарные функции стационарно связаны; с другой стороны, две нестационарные функции могут быть стационарно связаны.

Вероятностные и корреляционные характеристики случайных процессов определяются с помощью одного или нескольких моментов времени (сечений). Однако существует класс случайных процессов, у которых зависимость характеристик от времени отсутствует, и при определенных условиях ряд вероятностных характеристик может быть определен путем усреднения по всему ансамблю реализаций. В других случаях для данных целей может быть осуществлено усреднение по времени с использованием одной к- реализации x k (t) случайного процесса Х(1). Наличие и отсутствие зависимости вероятностных характеристик от времени или от номера реализации определяет такие фундаментальные свойства процесса, как стационарность и эргодичность.

Особое место среди случайных процессов занимает стационарный случайный процесс, с которым часто приходится сталкиваться в теории связи.

Стационарными называют случайные процессы, статистические характеристики которых не изменяются во времени. Примерами стационарных случайных процессов являются внутренние шумы приемников, тепловой шум транзистора, стабилитрона и других полупроводниковых и электронных приборов. В практических приложениях теории случайных процессов условие стационарности обычно ограничивается требованием независимости от времени только одномерной и двумерной плотностей вероятности. Выполнение этого условия позволяет считать, что среднее значение, средний квадрат и дисперсия случайного процесса нс зависят от времени, а корреляционная функция зависит только от интервала между ними т = t 2 -t v т.е. от одного аргумента. Случайные процессы, удовлетворяющие условиям стационарности на ограниченных интервалах, также относят к их числу и называют квазистационарными.

С учетом предложенных ограничений при записи статистических параметров стационарного случайного процесса можно опускать обозначения фиксированных моментов времени. В этом случае математическое ожидание и дисперсия не зависят от времени, т.е. формулы (3.5) и (3.6) примут вид

Нетрудно показать, что функция корреляции случайного стационарного процесса зависит только от разности т = t 2 - t v и поэтому R x (t v t 2) = R v (т).

Из определения стационарности случайного процесса следует, что его функция корреляции является четной относительно т = 0: R v (т) = R x (- т).

Стационарность - не единственное полезное свойство случайных процессов, позволяющее подробно их исследовать. Еще одним свойством такого рода является эргодичность (ergodicity ; от греч. ergon - работа). Условие эргодичности включает в себя и условие стационарности случайного процесса. Эргодичность проявляется в том, что со временем процесс становится однородным.

Стационарный случайный процесс является эргодическим, если усреднение по ансамблю реализаций можно заменить усреднением по времени одной реализации в пределах бесконечного интервала времени Т х. Приведем пример: если у вас есть кубик с числами на гранях от 1 до 6, то при 600 выбрасываниях число 1 выпадет около 100 раз. Можно взять 600 одинаковых кубиков и бросить их все одновременно один раз. При этом около 100 кубиков также покажут грань с числом 1.

Математическое ожидание эргодического процесса вычисляется усреднением по бесконечному интервалу времени значений заданной реализации. Обозначая усреднение по времени угловыми скобками, запишем

Следует помнить, что математическое ожидание эргодического случайного процесса равно постоянной составляющей любой его реализации.

Средний квадрат

является средней мощностью всего случайного эргодического процесса. Дисперсия

определяет мощность флуктуационной составляющей эргодического процесса.

Как правило, при экспериментальном исследовании случайных процессов наблюдают одну реализацию. Если процесс эргодический, то его реализация па большом интервале является типичным представителем всего ансамбля.

На рис. 3.12 приведен пример реального случайного процесса Х(!) в виде одной из реализаций флуктуационной составляющей x(t) там же показано СКО ±а от математического ожидания т х (для упрощения графика выбрано т к = 0).

Рис. 3.12. Флуктуационная составляющая x(t) с СКО ±ст

В электрических цепях широко используют переходные (разделительные) ЯС-цепи, не пропускающие постоянной составляющей. Поэтому для реальных стационарных эргодических процессов математическое ожидание т г = 0.

Функция корреляции в этом случае имеет более простой вид

Выражение (3.18) внешне совпадает с определением (2.56) автокорреляционной функции детерминированного периодического сигнала. Непосредственно из формулы (3.18) вытекает четность функции R t (т) относительно сдвига ср.

Важно заметить, что достаточным условием эргодичности случайного процесса, стационарного в широком смысле, является стремление к нулю его корреляционной функции с ростом временного сдвига т: lim R( т) = 0.

Согласно приведенным формулам по одной реализации можно определить математическое ожидание, дисперсию и корреляционную функцию эргодического случайного процесса. Обычно интегрирование выполняется не в бесконечных пределах, а на конечном интервале, длина которого должна быть тем больше, чем выше требования к точности результатов исследования.

Изучение стационарного случайного процесса будем проводить с учетом его эргодичности, признак которого - равенство среднего значения по множеству реализаций (3.14) среднему значению по времени одной реализации (3.17):

В общем случае результаты усреднения случайных процессов по совокупности и по времени неодинаковы. Предел выборочного среднего по совокупности представляет собой вероятностную характеристику, выражающую зависимость вероятностных свойств процесса от времени. Предел выборочного среднего по времени представляет собой вероятностную характеристику, выражающую зависимость вероятностных свойств процесса от номера реализации.

Пример 3.3

Случайный процесс U(t) состоит из гармонических реализаций и(1) = = U m cos((o 0 t + ф), где амплитуда U m и частота со 0 - постоянные параметры, а начальная фаза реализации ф - случайная величина, которая с одинаковой вероятностыо принимает значение в интервале (-я, я) (рис. 3.13). Найдем числовые характеристики процесса и определим, является ли он стационарным.

Решение

Заданное распределение начальных фаз означает, что плотность вероятности случайной фазы любого колебания р(ф) = 1/(2я). Тогда согласно формуле (3.14) математическое ожидание для амплитуд гармонических напряжений

По формуле (3.16) находим дисперсию

Рис. 3.13-

Тот факт, что реализации случайного процесса являются периодическими функциями, позволяет упростить вычисления, заменив усреднение по бесконечному промежутку времени усреднением но периоду Т= 2я/со 0 . Тогда функцию корреляции получим усреднением по времени произведения двух напряжений:

В правой части этого выражения первое слагаемое в фигурных скобках является детерминированным колебанием, поскольку в нем отсутствует случайная фаза. Второе слагаемое при статистическом усреднении по фазе с помощью одномерной плотности вероятности обращается в нуль. Поэтому функция корреляции

где т = ^ - 1).

Все искомые числовые характеристики не зависят от времени, и заданный случайный процесс является стационарным.

Отметим, что любой случайный процесс, реализации которого являются гармоническими функциями, идентичными по форме и различающимися лишь равномерно распределенной в пределах заданного периода начальной фазой, будет не только стационарным, по и эргодическим.

Пример 3.4

Случайный процесс 17(f) состоит из реализаций u(t) = l/ m cos(co 0 f + U m - случайная величина с произвольным законом распределения и равновероятная в интервале от 0 до U max (рис. 3.14). Определим, является ли этот процесс стационарным.

Рис. 3.14.

Решение

Математическое ожидание й = U m cos(o) 0 t + ф) нс зависит от времени лишь при U m = 0. Поэтому случайный процесс является нестационарным.

5.Порядок оценивания линейной эконометрической модели из изолированного уравнения в Excel. Смысл выходной статистической информации сервиса Регрессия. (10) стр 41

6.Спецификация и оценивание мнк эконометрических моделей нелинейных по параметрам. (30) стр.24-25,

7. Классическая парная регресионная модель. Спецификация модели. Теорема Гаусса-Маркова.

8. Метод наименьших квадратов: алгоритм метода, условия применения.

9.Идентификация отдельных уравнений системы одновременных уравнений: порядковое условие. (30)

Необходимое условие идентифицируемости

10.Оценка параметров парной регрессионной модели методом наименьших квадратов. (10)

11.Фиктивные переменные: определение, назначение, типы.

12.Автокорреляция случайного возмущения. Причины. Последствия.

13.Алгоритм проверки значимости регрессора в парной регрессионной модели.

14.Интервальная оценка ожидаемого значения зависимой переменной в парной регрессионной модели.

15. Тест Чоу на наличие структурных изменений в регрессионной модели. (20) стр. 59,60

16. Алгоритм проверки адекватности парной регрессионной модели. (20) стр. 37, 79

17. Коэффициент детерминации в парной регрессионной модели.

18. Оценка параметров множественной регрессионной модели методом наименьших квадратов.

20. Гетероскедастичность случайного возмущения. Причины. Последствия. Тест gq(20)

21.Фиктивная переменная наклона: назначение; спецификация регрессионной модели с фиктивной переменной наклона; значение параметра при фиктивной переменной. (20) стр.65

22..Алгоритм теста Дарбина-Уотсона на наличие (отсутствие) автокорреляции случайных возмущений. (20) стр 33

23. Структурная и приведённая формы спецификации эконометрических моделей.

24. Гетероскедастичность случайного возмущения. Причины. Последствия. Алгоритм теста Голдфельда-Квандта на наличие или отсутствие гетероскедастичности случайных возмущений.

Алгоритм теста Голдфелда-Квандта на наличие (отсутствие) гетероскедастичности случайных возмущений.

25. Спецификация и оценивание мнк эконометрических моделей нелинейных по параметрам.

26. Способы корректировки гетероскедастичности. Метод взвешенных наименьших квадратов

27.Проблема мультиколлинеарности в моделях множественной регрессии.Признаки мультиколлениарности.