Эконометрика

Глава 3. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

3.2. Проблема оценивания параметров модели. Многомерный метод наименьших квадратов

При оценке параметров модели по методу наименьших квадратов мерой качества (критерием качества) подгонки эмпирической регрессионной функции к наблюдаемой выборке служит сумма квадратов ошибок (остатков). В применении к классической многомерной линейной регрессии этот метод называется обычным (классическим) или одношаговым многомерным методом наименьших квадратов. Содержательный смысл критерия наименьших квадратов для случая парной линейной регрессии подробно обсуждался в главе 2, где была приведена его графическая интерпретация. К сожалению, в многомерном случае (при k > 3) также наглядно графически представить регрессионную функцию и дать интерпретацию критерия невозможно.

Критерий наименьших квадратов

Согласно (3.7) ошибку линейного уравнения регрессии в i - ом наблюдении можно представить следующим образом

(3.8)

и соответственно, квадрат ошибки равен

(3.9)

Используя выражение (3.9), запишем критерий (целевую функцию) наименьших квадратов в многомерном случае

или, используя векторно-матричные обозначения, запишем

(3.10)

где вектор , вектор , .

Вывод системы нормальных уравнений

Для вывода системы нормальных уравнений, преобразуем выражение (3.10) критерия с использованием правил действий с векторами и матрицами (см. приложение). Получим

(3.11)

При выводе выражения (3.11) мы использовали равенство , которое имеет место, поскольку величины в правой и левой части его - скаляры (S(b) - скалярная функция).

Функция S(b) вида (3.11) представляет собой квадратичную форму относительно вектора оценок b. Ее минимум по параметрам b существует и определяется единственным образом из условия равенства нулю частных производных функции S(b) по переменным b_i, i=1,2,…,k.

Замечание.

Утверждение, что минимум функции S(b) существует и определяется единственным образом верно, если выполнены условия идентифицируемости модели линейной регрессии, то есть выполнены предпосылки 7-9.

Используя правила дифференцирования скалярной функции по векторному аргументу, получим выражение для производной критерия наименьших квадратов

(3.12)

здесь - вектор - столбец размерности k частных производных целевой функции.

Минимум целевой функции достигается в точке b, удовлетворяющей следующей системе линейных уравнений, записанной в векторно-матричной форме

которую можно переписать в виде

(3.13)

Система (3.13) называется системой нормальных уравнений и содержит k линейных уравнений относительно k неизвестных b_i, i=1,2,…,k. В развернутом виде данную систему можно представить так

(3.14)

Перемножая матрицы и векторы в выражении (3.14), получим развернутую форму записи системы нормальных уравнений

где для простоты записи опущены пределы суммирования по индексу i = 1,2,…,n.

Решение системы нормальных уравнений в векторно-матричной форме

Решение системы нормальных уравнений в явном виде (то есть в виде расчетной формулы) можно получить только в векторно-матричной форме. Рассмотрим векторно-матричную запись нормальных уравнений (3.13). При выполнении предпосылок 7-9 матрица наблюдений регрессоров X имеет полный ранг и квадратная матрица (X^TX) размерности (k x k) также имеет полный ранг. Следовательно, существует обратная матрица (X^TX)^-1. Умножим слева обе части уравнения (3.13) на эту матрицу. Получим

Далее, учитывая, что (X^TX)^-1(X^TX) = I_k, где I_k - единичная матрица размерности k, получаем выражение для оценок коэффициентов в виде

(3.15)

Формула (3.15) определяет оценку по методу наименьших квадратов коэффициентов многомерной линейной регрессии.

Замечание.

Вектор b, определяемый выражением (3.15) доставляет минимум функции S(b) вида (3.10). Действительно, вычисляя вторые производные по вектору b функции S(b), получим . Матрица X^TX является симметричной невырожденной (при выполнении предпосылки 8) и, в силу этого, положительно определенной, что является достаточным условием минимума функции S(b).

Оцененную с помощью метода наименьших квадратов эмпирическую линейную регрессионную функцию можно записать в виде

(3.16)

где вектор b - оптимальная по методу наименьших квадратов оценка вектора коэффициентов регрессии определяется выражением (3.15), x_i= (x_i1, x_i2,...,x_ik)^T - вектор - столбец размерности k.

Интерпретация оценок

Полученным регрессионным коэффициентам можно дать следующую интерпретацию. Оцененный (эмпирический) регрессионный коэффициент b_j (j=1,2,…,k) является частной производной эмпирической регрессионной функции по j - му регрессору (независимой переменной). Он показывает, на сколько изменится оцененное значение при изменении j - ого регрессора на единицу при фиксированных значениях остальных регрессоров.

Свойства ошибок (остатков) модели

Выражение (3.16) для эмпирической регрессионной функции можно записать в виде

(3.17)

Вектор остатков (ошибок) модели

(3.18)

где b - оптимальная в смысле критерия наименьших квадратов оценка параметров модели, является оценкой вектора случайных составляющих u регрессии (напомним, что под векторами мы условились понимать вектор-столбцы). Из условия оптимальности (3.13) оценок следует, что

(3.19)

Таким образом, мы показали (первое свойство ошибок), что ошибки модели в каждом наблюдении при оптимальных МНК оценках параметров, ортогональны наблюдениям независимых переменных.

Далее, вспоминая, что первый столбец матрицы наблюдений X состоит из единиц и, следовательно, первая строка матрицы X^T также состоит из единиц, получаем второе свойство ошибок

(3.20)

то есть сумма ошибок регрессионной модели при условии, что ее коэффициенты оценены по методу наименьших квадратов, равна нулю.

Данные свойства ошибок многомерной регрессии являются обобщением соответствующих свойств ошибок парной линейной регрессии (см. п. 2.3.2.).

Числовые примеры регрессий

Пример 3.1. (Л.О. Бабешко, 2001).

В таблице 3.1. приведены данные о годовых доходностях акций компаний A, B и C, принадлежащих одной отрасли (заметим, что эти данные представляют собой временные ряды доходностей).

Таблица 3.1

Исследуем зависимость доходности акций компании A (переменная y) от доходностей акций компаний B (переменная x₂ ) и C (переменная x₃ ) (напомним, что согласно принятому соглашению, переменная x₁ во всех наблюдениях равна единице).

На первом этапе необходимо составить общее представление о форме функциональной зависимости между переменными. Для этого, используя данные таблицы 3.1., целесообразно построить диаграммы рассеивания в координатах (y,x₂) и (y,x₃). Такие диаграммы представлены, соответственно, на рис. 3.1а, 3.1б.

Рис. 3.1а. Зависимость

Рис.3.1б. Зависимость

По виду этих диаграмм можно предположить существование линейной зависимости переменной y от переменных x₂ и x₃. Таким образом, есть основания определить спецификацию модели в виде

здесь t - номер наблюдения (года).

На втором этапе, используя формулу (3.15), получаем вектор оценок коэффициентов модели. Для этого по данным из таблицы 3.1. необходимо сформировать вектор наблюдений зависимой переменной (регрессанда) y = [-5,54;26,50;…;17,46]^T, и матрицу наблюдений независимых переменных (регрессоров)

Результат вычисления оценок по формуле (3.15) для рассматриваемой множественной регрессии следующий: b=[3,3310;1,0880;0,2146]^T. Оцененная функция регрессии имеет вид

Коэффициенты данной регрессии можно интерпретировать так: а) если доходности акций предприятий B и C равны нулю, доходность акций предприятия A будет составлять в среднем 3,3310% в год, то есть равна значению коэффициента b₁ ; б) при прочих равных условиях изменение доходности акций предприятия B на 1% в год приведет (в среднем) к изменению доходности акций предприятия A на 1,088% в год; с) при прочих равных условиях изменение доходности акций предприятия C на 1% в год приведет (в среднем) к изменению доходности акций предприятия C на 0,2146% в год. При интерпретации необходимо помнить о том, что оценки параметров - приближенные величины и опираясь на них можно делать только приближенные высказывания.

Пример 3.2.

Торговое предприятие имеет несколько филиалов. Руководство предприятия изучает вопрос об открытии еще одного филиала. Для принятия обоснованного решения необходимо знать, как годовой товарооборот отдельного филиала (y_i млн. руб.) зависит от торговой площади (x_i2 тыс. кв. метров) и среднедневной интенсивности покупателей (x_i3 тыс. человек в день). В таблице 3.2. приведены числовые значения этих переменных для двенадцати филиалов (данные примера 2.2.).

Таблица 3.2

Обратим внимание, что в отличие от предыдущего примера, эти данные являются пространственными. Они соответствуют товарообороту, торговой площади и среднедневной интенсивности потока покупателей двенадцати филиалов за определенный год. На рис.3.2а, 3.2б приведены две диаграммы рассеяния, характеризующие зависимость товарооборота от торговой площади (рис. 3.2а) и от интенсивности потока покупателей (рис. 3.2б). Обе диаграммы указывают на приближенную (хотя и не такую явную, как в предыдущем примере) линейную зависимость между переменными. Ранее (см. пример 2.2. гл. 2) мы построили две модели для исследования зависимости товарооборота от: а) торговой площади; б) интенсивности потока покупателей.

Рис. 3.2а. Диаграмма "товарооборот - торговая площадь"

Рис. 3.2б. Диаграмма "товарооборот - интенсивность"

В данном примере исследуем зависимость товарооборота одновременно от двух факторов - объясняющих переменных: торговой площади и интенсивности потока покупателей. Математически эту зависимость в каждом наблюдении можно выразить в виде множественной линейной регрессии с двумя объясняющими переменными (регрессорами)

Вычисления по формуле (3.15) дают следующие значения оценок коэффициентов этой модели: b=[-0,832;4,743;0,175]^T, так что оцененная функция регрессии имеет вид

Коэффициентам этого уравнения можно дать следующую интерпретацию. Увеличение (уменьшение) торговой площади (переменной x₂ ) на 1 тыс. кв. метров приведет в среднем к увеличению (уменьшению) годового товарооборота на величину 4,763 млн. руб. (при прочих равных условиях). Естественно, это утверждение можно принять лишь приближенно, учитывая, что в модели используются приближенные оценки параметров, а не их истинные значения. Аналогично можно интерпретировать и оценку b₃: увеличение (уменьшение) средней интенсивности потока покупателей на одну тысячу в день приведет в среднем к увеличению (уменьшению) годового товарооборота на 0,175 млн. руб. А вот коэффициент b₁ в данном уравнении не имеет явной экономической интерпретации. Действительно, при x₂= 0, x₃= 0, получаем , то есть ожидаемый товарооборот - отрицательная величина, что не имеет экономического смысла.