В эконометрических исследованиях часто возникают ситуации, когда дисперсия остатков постоянна, но наблюдается статистическая зависимость остатков эконометрической модели между собой. Это явление называют автокорреляцией остатков .

В общем случае автокорреляция (последовательная корреляция) – это взаимосвязь упорядоченных во времени или в пространстве последовательных элементов соответственно временного или пространственного ряда данных.

На рис.5.5 показана зависимость Y от X , а также линия оцененного по этим данным уравнения парной линейной регрессии. Уже по рисунку видно, что оцененная регрессия не очень хороша: зависимость Y от X явно нелинейна. Если использовать проведенную регрессионную прямую, скажем, для прогнозирования дальнейшей динамики Y , результат будет неудовлетворительным.

Рис.5.5. К вопросу об автокорреляции остатков

Как же можно выразить формально неудовлетворительность полученного уравнения регрессии?

Мы видим, например, на рис.5.5, что в этом случае отклонения от линии регрессии не случайно распределены вокруг нее, а обладают определенной закономерностью. Эта закономерность, в частности, выражается в одинаковом, как правило, знаке каждых двух соседних отклонений . Это может являться следствием:

Неверной спецификации модели (ввиду нелинейного характера связи переменных);

Воздействием какого-то фактора, не включенного в модель в качестве объясняющей переменной. Величина такого неучтенного фактора может менять свою динамику в рассматриваемый период, отклоняясь в достаточно длительные промежутки времени в ту или иную сторону от своего среднего значения. Это, очевидно, может служить причиной длительных устойчивых отклонений зависимой переменной от линии регрессии.

Обе указанные причины свидетельствуют о том, что существует возможность улучшить уравнение регрессии путем оценивания какой-то новой нелинейной формулы или включения некоторой новой объясняющей переменной.

Зависимость, показанная на рис.5.5, очевидно, нелинейна. Но это – крайний случай. Далеко не всегда бывает столь же очевидно, что отклонения от регрессионной прямой имеют неслучайный, закономерный характер. Для оценки степени такой неслучайности необходимо ввести количественную меру .

Итак, одним из основных предполагаемых свойств отклонений наблюдаемых значений от регрессионной формулы является их статистическая независимость между собой .

Мы рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка , т.е. когда ошибки зависят только от ошибок предыдущего периода. Применение обычного метода наименьших квадратов в этом случае дает несмещенные и состоятельные оценки параметров, однако можно показать, что оценка дисперсии оказывается смещенной вниз , что может отрицательно сказаться при проверке гипотез о значимости оценок параметров. Образно говоря, МНК рисует более оптимистичную картину, чем есть на самом деле.

Следовательно, последствия автокорреляции состоят в том, что:

- оценка дисперсии при использовании МНК является заниженной .

Большинство тестов на наличие автокорреляции в ошибках модели (наиболее широко используется тест Дарбина-Уотсона ) используют следующую идею: если корреляция есть у ошибок , то она присутствует и в остатках , получаемых после применения к модели обычного метода наименьших квадратов.

То есть, поскольку значения ошибок остаются неизвестными ввиду неизвестности истинных значений параметров модели, то проверяется статистическая независимость их аналогов – отклонений . При этом проверяется обычно их некоррелированность (являющаяся необходимым, но недостаточным атрибутом независимости ), причем некоррелированность не любых, а соседних величин .

- соседние во времени значения (в случае временных рядов);

- соседние по возрастанию переменной Х значения (в случае перекрестных выборок).

“Первого порядка ” означает, что остатки зависят только от остатков предыдущего периода.

Практически, однако, используют тесно связанную с статистику Дарбина-Уотсона, обозначаемую как DW-статистика или как d‑статистика , и рассчитываемую по формуле:

. (5.13)

.

3 Проверка автокорреляции остатков

При наличии автокорреляции в остатках et оценки коэффициентов регрессии модели, полученные МНК, не будут иметь оптимальные статистические свойства (стандартная ошибка уравнения регрессии и построенные на ее основе доверительные интервалы ненадежны). Автокорреляция в остатках свидетельствует о неудачном подборе модели, о ее несовершенстве. Классические методы математической статистики лишь тогда применимы, когда отдельные члены статистического ряда независимы (некоррелированы). Но и при предпосылке нормального распределения и отсутствия автокорреляции в генеральной совокупности, из которой временной ряд взят, нельзя, к сожалению, разработать точной проверки автокорреляции при малых выборках. Ниже рассмотрены три приема проверки автокорреляции.

1. Один из возможных путей приближенной оценки автокорреляции основывается на использовании первого эмпирического нециклического коэффициента автокорреляции . К сожалению, распределение этого коэффициента для выборок из нормально распределенной, не автокоррелированной генеральной совокупности неизвестно. Поэтому мы пользуемся введенным Р.Л. Андерсоном циклическим коэффициентом автокорреляции, который определяется следующим образом:

(4.14)

Циклическим коэффициентом автокорреляции для сдвига является коэффициент автокорреляции между рядами и . При этом мы предполагаем, что временной ряд повторяется, т.е. что за последним членом xn снова следуют члены x1,x2,... Для циклический коэффициент автокорреляции первого порядка будет коэффициентом корреляции между рядами и x2 ,x3 ,...,xn , x1 . Для больших выборок циклический коэффициент автокорреляции и нециклический коэффициент автокорреляции практически совпадают, для малых выборок их равенство приблизительно. Расчетное значение сравнивается при данной численности наблюдений n с граничными значениями (табл. П.5 Приложения). При положительной автокорреляции оно признается существенным для , если выполняется неравенство > , в противном случае, если , она отсутствует. При отрицательной автокорреляции оно признается существенным, если < , а несущественной - при . Изложенный выше метод может быть использован и для проверки автокорреляции остатков . В последнем случае автокорреляционная функция принимает более простой вид:

(4.15)

2. Для проверки значимости автокорреляции чаще всего используют критерий Дарбина-Уотсона (иногда его обозначают DW). Построенный на основе гипотезы о существовании автокорреляции первого порядка: (4.16)

Где n - длина временного ряда. Величина d имеет симметрическое распределение со средней, равный 2. При отсутствии автокорреляции значение , при полной положительной - d=0 , при полной отрицательной - d=4 .
Расчетное значение d сравнивают с граничными его значениями dL и dU , при этом возможны следующие случаи:

Таблица 4.3

Значение d	Суждение
0 £ d < dL	имеется положительная автокорреляция
	неопределенность автокорреляция отсутствует неопределенность имеется отрицательная автокорреляция

Значения dL и dU табулированы (табл. П.7 Приложения) для значений n в интервале 7-100. В этой таблице v означает число независимых переменных в уравнении регрессии. Для функции вида xt =x (t) , v=1 .

3. Иногда вместо статистики Дарбина-Уотсона используется средняя Неймана Q:
(4.17)

(4.18)

(4.19)

Если вычисленное по формуле (4.17) значение Q меньше некоторого критического для данного числа наблюдений n значения (для ), то мы говорим о положительной автокорреляции остатков, если больше значения - то об отрицательной автокорреляции. Эти значения приводятся в табл. П.8 Приложения.

Пример 20. Проверим наличие автокорреляции остатков, полученных в результате моделирования временного ряда примера 1 (см. пример 18).
Прием 1. (через циклический коэффициент автокорреляции).
Первый эмпирический нециклический коэффициент автокорреляции рассчитываем по следующим данным:

1 2 3 4 5 6 7 9 10 11 12 13 14 15	12,051 10,977 -4,097 0,829 -8,245 -6,319 -1,393 8,541 -2,615 4,311 1,237 2,163

Существуют два наиболее распространенных метода определения автокорреляции остатков. Первый метод -- это построение графика зависимости остатков от времени и визуальное определение наличия или отсутствия автокорреляции. Второй метод - использование критерия Дарбина -- Уотсона и расчет величины

Согласно (4.1) величина d есть отношение суммы квадратов разностей последовательных значений остатков к остаточной сумме квадратов по модели регрессии. Практически во всех статистических ППП значение критерия Дарбина - Уотсона указывается наряду с коэффициентом детерминации, значениями t- и F- критериев.

Коэффициент автокорреляции остатков первого порядка определяется как

Между критерием Дарбина-Уотсона и коэффициентом автокорреляции остатков первого порядка имеет место следующее соотношение:

Таким образом, если в остатках существует полная положительная автокорреляция и = 1, то d = 0. Если в остатках полная отрицательная автокорреляция, то = - 1 и, следовательно, d = 4. Если автокорреляция остатков отсутствует, то = 0 и d = 2. Следовательно, 0 ??d ??4.

Алгоритм выявления автокорреляции остатков на основе критерия Дарбина-Уотсона следующий. Выдвигается гипотеза Н0 об отсутствии автокорреляции остатков. Альтернативные гипотезы Н1 и Н1* состоят, соответственно, в наличии положительной или отрицательной автокорреляции в остатках. Далее по таблице (приложение А) определяются критические значения критерия Дарбина-Уотсона dL и dU для заданного числа наблюдений n , числа независимых переменных модели k и уровня значимости a . По этим значениям числовой промежуток разбивают на пять отрезков. Принятие или отклонение каждой из гипотез с вероятностью (1-a ) рассматривается на рис. 4.1.

Рис. 4.1.

Если фактическое значение критерия Дарбина - Уотсона попадает в зону неопределенности, то на практике предполагают существование автокорреляции остатков и отклоняют гипотезу H0.

Пример 4.1. Проверка гипотезы о наличии автокорреляции в остатках.

Исходные данные, значения?t и результаты промежуточных расчетов

представлены в табл. 4.1.

Таблица 4.1 - Расчет критерия Дарбина-Уотсона для модели зависимости потребления от дохода

Фактическое значение критерия Дарбина-Уотсона для этой модели составляет d = 4,1233/1,6624 = 2,48. Сформулируем гипотезы:

Н0 - в остатках нет автокорреляции;

Н1 - в остатках есть положительная автокорреляция;

Н1* - в остатках есть отрицательная автокорреляция.

Зададим уровень значимости a = 0,05. По таблицам значений критерия Дарбина-Уотсона определим для числа наблюдений n = 7 и числа независимых переменных модели k " = 1 критические d L = 0,700 и d U = 1,356. Получим следующие промежутки внутри интервала

Рис. 4.2.

Фактическое значение d = 2,48 попадает в промежуток от d U до 4 - d U. Следовательно, нет оснований отклонять гипотезу H0 об отсутствии автокорреляции в остатках.

Есть несколько существенных ограничений на применение критерия Дарбина-Уотсона. Во-первых, он неприменим к моделям, включающим в качестве независимых переменных лаговые значения результативного признака, т. е. к моделям авторегрессии. Во-вторых, методика расчета и использования критерия Дарбина - Уотсона направлена только на выявление автокорреляции остатков первого порядка. При проверке остатков на автокорреляцию более высоких порядков следует применять другие методы. В-третьих, критерий Дарбина-Уотсона дает достоверные результаты только для больших выборок.

1. 0ценивание параметров уравнения регрессии при наличии автокорреляции в остатках

Обратимся к уравнению регрессии

Примем некоторые допущения относительно этого уравнения:

• 1. пусть уt и хt не содержат тенденции, например, представляют собой отклонения выравненных по трендам значений от исходных уровней временных рядов;
• 2. пусть оценки а и b параметров уравнения регрессии найдены обычным МНК;
• 3. пусть критерий Дарбина - Уотсона показал наличие автокорреляции в остатках первого порядка.

Основной подход к оценке параметров модели регрессии в случае, когда имеет место автокорреляция остатков, заключается в следующем: исходная модель регрессии (5.1) с помощью замены переменных приводится к виду

Здесь - коэффициент автокорреляции первого порядка.

Поскольку ut, - случайная ошибка, то для оценки параметров преобразованного уравнения можно применять обычный МНК.

Итак, если остатки по исходному уравнению регрессии содержат автокорреляцию, то для оценки параметров уравнения используют обобщенный МНК.

Его реализация разбивается на следующие этапы:

• 1. Перейти от исходных переменных уt и хt к переменным у"t их"t по формулам (5.3).
• 2. Применив обычный МНК к уравнению (5.2), определить оценки параметров а " и b .
• 3. Рассчитать параметр а исходного уравнения из соотношения (4.9) как

4. Выписать исходное уравнение (5.1).

Обобщенный метод наименьших квадратов аналогичен методу последовательных разностей. Однако мы вычитаем из уt (или хt) не все значение предыдущего уровня уt-1 (или x t-1), а некоторую его долю r ?1· уt-1 (или r ?1· x t-1). Если r ?1 = 1, то данный метод есть просто метод первых разностей, так как

Поэтому в случае, если значение критерия Дарбина - Уотсона близко к нулю, применение метода первых разностей вполне обоснованно.

Основная проблема, связанная с применением данного метода, заключается в том, как получить оценку r ?1. Основными способами являются оценка этого коэффициента непосредственно по остаткам, полученным по исходному уравнению регрессии, и получение его приближенного значения из соотношения между коэффициентом автокорреляции остатков первого порядка и критерием Дарбина-Уотсона

Автокорреляция остатков

Важной предпосылкой построения качественной регрессионной модели по МНК является независимость значений случайных отклонений от значений отклонений во всех других наблюдениях. Отсутствие зависимости гарантирует отсутствие коррелированности между любыми отклонениями, т.е. и, в частности, между соседними отклонениями .

Автокорреляция (последовательная корреляция ) остатков определяется как корреляция между соседними значениями случайных отклонений во времени (временные ряды) или в пространстве (перекрестные данные). Она обычно встречается во временных рядах и очень редко – в пространственных данных. В экономических задачах значительно чаще встречается положительная автокорреляция , чем отрицательная автокорреляция .

Чаще всего положительная автокорреляция вызывается направленным постоянным воздействием некоторых не учтенных в регрессии факторов. Например, при исследовании спроса у на прохладительные напитки в зависимости от дохода х на трендовую зависимость накладываются изменения спроса в летние и зимние периоды. Аналогичная картина может иметь место в макроэкономическом анализе с учетом циклов деловой активности.

Применение МНК к данным, имеющим автокорреляцию в остатках, приводит к таким последствиям:

1. Оценки параметров, оставаясь линейными и несмещенными, перестают быть эффективными. Они перестают быть наилучшими линейными несмещенными оценками.

2. Дисперсии оценок являются смещенными. Часто дисперсии, вычисляемые по стандартным формулам, являются заниженными, что влечет за собой увеличение t – статистик. Это может привести к признанию статистически значимыми факторов, которые в действительности таковыми не являются.

3. Оценка дисперсии регрессии является смещенной оценкой истинного значения σ 2 , во многих случаях занижая его.

4. Выводы по t – и F – статистикам, возможно, будут неверными, что ухудшает прогнозные качества модели.

Для обнаружения автокорреляции используют либо графический метод, либо статистические тесты. Рассмотрим два наиболее популярных теста.

Метод рядов . По этому методу последовательно определяются знаки отклонений от регрессионной зависимости. Например, имеем при 20 наблюдениях

(-----)(+++++++)(---)(++++)(-)

Ряд определяется как непрерывная последовательность одинаковых знаков. Количество знаков в ряду называется длиной ряда . Если рядов слишком мало по сравнению с количеством наблюдений n , то вполне вероятна положительная автокорреляция. Если же рядов слишком много, то вероятна отрицательная автокорреляция.

Пусть n – объём выборки, n 1 – общее количество положительных отклонений; n 2 – общее количество отрицательных отклонений; k – количество рядов. В приведенном примере n =20, n 1 =11, n 2 =5.

При достаточно большом количестве наблюдений (n 1 >10, n 2 >10) и отсутствии автокорреляции СВ k имеет асимптотически нормальное распределение, в котором

Тогда, если

то гипотеза об отсутствии автокорреляции не отклоняется. Если , то констатируется положительная автокорреляция; в случае признается наличие отрицательной автокорреляции.

Для небольшого числа наблюдений (n 1 <20, n 2 <20) были разработаны таблицы критических значений количества рядов при n наблюдениях. В одной таблице в зависимости от n 1 и n 2 определяется нижняя граница k 1 количества рядов, в другой – верхняя граница k 2 . Если k 1 , то говорят об отсутствии автокорреляции. Если , то говорят о положительной автокорреляции. Если ,то говорят об отрицательной автокорреляции. Например, для приведенных выше данных k 1 =6, k 2 =16 при уровне значимости 0,05. Поскольку k=5, определяем положительную автокорреляцию.

Критерий Дарбина-Уотсона . Это наиболее известный критерий обнаружения автокорреляции первого порядка. Статистика DW Дарбина-Уотсона приводится во всех специальных компьютерных программах как одна из важнейших характеристик качества регрессионной модели.

Сначала по построенному эмпирическому уравнению регрессии определяются значения отклонений . Рассчитывается статистика

- положительная автокорреляция;

- зона неопределенности;

- автокорреляция отсутствует;

Зона неопределенности;

- отрицательная автокорреляция.

Можно показать, что статистика DW тесно связана с коэффициентом автокорреляции первого порядка:

Связь выражается формулой:

Отсюда вытекает смысл статистического анализа автокорреляции. Поскольку значения r изменяются от –1 до +1, DW изменяется от 0 до 4. Когда автокорреляция отсутствует, коэффициент автокорреляции равен нулю, и статистика DW равна 2. DW =0 соответствует положительной автокорреляции, когда выражение в скобках равно нулю (r =1). При отрицательной автокорреляции (r =-1) DW =4, и выражение в скобках равна двум.

Ограничения критерия Дарбина – Уотсона:

1. Критерий DW применяется лишь для тех моделей, которые содержат свободный член.

2. Предполагается, что случайные отклонения определяются по итерационной схеме

(1)

3. Статистические данные должны иметь одинаковую периодичность (не должно быть пропусков в наблюдениях).

4. Критерий Дарбина – Уотсона не применим к авторегрессионным моделям вида:

,

где - оценка коэффициента автокорреляции первого порядка (66), D(c) – выборочная дисперсия коэффициента при лаговой переменной y t -1 , n – число наблюдений.

При большом n и справедливости нуль – гипотезы H 0: ρ=0 h~N(0,1) . Поэтому при заданном уровне значимости определяется критическая точка из условия

,

и h- статистика сравнивается с u α /2 . Если |h |>u α /2 , то нуль – гипотеза об отсутствии автокорреляции должна быть отклонена. В противном случае она не отклоняется.

Обычно значение рассчитывается по формуле , а D(c) равна квадрату стандартной ошибки m c оценки коэффициента с . Cледует отметить, что вычисление h – статистики невозможно при nD(c)> 1.

Автокорреляция чаще всего вызывается неправильной спецификацией модели. Поэтому следует попытаться скорректировать саму модель, в частности, ввести какой – нибудь неучтенный фактор или изменить форму модели (например, с линейной на полулогарифмическую или гиперболическую). Если все эти способы не помогают и автокорреляция вызвана какими – то внутренними свойствами ряда {e t }, можно воспользоваться преобразованием, которое называется авторегрессионной схемой первого порядка AR(1 ).

Рассмотрим AR(1) на примере парной регрессии.

Автокорреляция в остатках обычно встречается при регрессионном анализе временных рядов, и почти не встречается при анализе пространственных выборок. Чаще встречается положительная автокорреляция. Она в большинстве случаев вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов. При положительной автокорреляции остатки изменяются монотонно с течением времени наблюдения, а при отрицательной - следует частое изменение знака остатка.

Среди основных причин автокорреляции можно выделить следующие:

а) ошибки спецификации - неучет в модели какой-то важной объясняющей переменной или неверный выбор вида функции, что ведет к систематическим отклонениям точек наблюдения от линии регрессии,

б) инерция - запаздывание реакции экономической системы на изменение факторов,

в) сглаживание данных.

Последствия автокорреляции в остатках такие же, как и в случае гетероскедастичности (потеря эффективности, смещение дисперсий оценок параметров, занижение стандартных ошибок и завышение t -статистик параметров), а это может повлечь признание незначимых факторов значимыми. Вследствие перечисленных обстоятельств, прогнозные качества модели ухудшаются.

При анализе временных рядов вместо индекса i часто будем использовать время t , а вместо числа наблюдений n будем писать - продолжительность интервала наблюдения временного ряда.

Мы будем рассматривать автокорреляцию первого порядка, так как в большинстве практических случаев автокорреляционная функция быстро убывает.

Коэффициент автокорреляции 1-го порядка в остатках:

Если этот коэффициент корреляции существенно отличен от 0, то можно говорить о наличии автокорреляции.

Обнаружение автокорреляции в остатках

1. Графический метод - при использовании этого метода строится график: ε t есть функция от ε t - 1 . Если в графике прослеживается отчетливая положительная или отрицательная тенденция, то, скорее всего, имеет место соответствующая автокорреляция в остатках.

2. Метод рядов

В моменты времени определяются знаки отклонений, например:

- для 20-ти наблюдений.

Рядом называют непрерывную последовательность одинаковых знаков (ряд ограничен скобками, в примере приведено 5 рядов). Количество знаков называют длиной ряда. Если рядов мало по сравнению с числом наблюдений, то вполне вероятна положительная автокорреляция, если рядов много, - то отрицательная.

Для более детального анализа используется следующая процедура:

Пусть - число знаков «+»,

Число знаков «-»,

Количество рядов.

При достаточном количестве наблюдений и при отсутствии автокорреляции в остатках случайная величина имеет асимптотически нормальное распределение со следующими параметрами:

Тогда, если k лежит внутри интервала

то гипотеза об отсутствии автокорреляции не отклоняется; если лежит левее данного интервала, то есть положительная автокорреляция, а если правее - то отрицательная автокорреляция. Здесь γ - уровень значимости гипотезы об отсутствии автокорреляции. Для небольших и существует таблица Сведа-Эйзенхарта, в которой по значениям и находятся и .

Если k 1 < k < k 2 , то автокорреляция отсутствует, если k < k 1 - есть положительная автокорреляция, если k > k 2 - есть отрицательная автокорреляция.

учитывая, что и , получим:

Процедура обнаружения автокорреляции по критерию DW такова:

1. Вычисляется критерий DW , для чего должна быть выполнена регрессия y на x и определены остатки. Затем выдвигается гипотеза об отсутствии автокорреляции в остатках.

2. По таблице критических значений теста Дарбина-Уотсона для назначенного уровня значимости γ , числа наблюдений n и числа факторов p определяются верхняя du и нижняя dl критические точки

3. Строятся области: I-от 0 до dl ; II-от dl до du; III-от du до 4-du ; IV- от 4-ul до 4-dl и V-от 4-dl до 4.

Это поясняется табл. 9.1.

таблица 9.1

При использовании критерия следует учитывать следующие ограничения:

а) он применим лишь для модели с ненулевым свободным членом,

в) временной ряд должен иметь одинаковую периодичность, то есть не должно быть пропусков наблюдений,

Поясним это:

где - коэффициент авторегрессии, - количество наблюдений, - дисперсия коэффициента c 1 в уравнении авторегрессии y t = a + bx t + c 1 y t - 1 +…+ ε t , c 1 - коэффициент при в упомянутом уравнении.

Как использовать h- статистику?

Для назначенного уровня значимости γ выдвигают гипотезу об отсутствии автокорреляции в остатках, т.е. полагают, что в модели AR(1) остатков и статистика h имеет стандартное нормальное распределение: .

По таблице функции Лапласа определяют критическую точку такую, что . Если , то отклоняется. В противном случае не отклоняется и автокорреляция не признается.

Методы устранения автокорреляции

1. Обобщенный МНК (ОМНК)

Рассмотрим исходную модель в моменты времени t и t -1:

Есть случайная величина, так как и - случайные величины,

Так как и .

Остаток не коррелирует ни с одним регрессором, следовательно, можно применить классический МНК. Оценка параметра b вычисляется непосредственно, а оценка параметра a вычисляется так: .

ОМНК может применяться для данных, начиная с момента , т.е. первое наблюдение теряется; его можно восстановить для и , используя поправку Прайса-Уинстена:

Если наше предположение о том, что остатки описанные - моделью первого порядка соответствуют действительности, то можно показать, что .