Оценка линейного тренда - Linear trend estimation

Оценка линейного тренда это статистический метод, помогающий интерпретировать данные. Когда серия измерений процесса рассматривается, например, как Временные ряды оценка тенденций может использоваться для составления и обоснования утверждений о тенденциях в данных путем соотнесения измерений со временем, в которое они произошли. Затем эту модель можно использовать для описания поведения наблюдаемых данных без его объяснения. В этом случае оценка линейного тренда выражает данные как линейная функция времени, а также может использоваться для определения значимости различий в наборе данных, связанных категориальным фактором. Пример последнего из биомедицинская наука будут уровни молекулы в крови или тканях пациентов с постепенно прогрессирующим заболеванием - таким как легкое, умеренное и тяжелое.^[1] Это в отличие от ANOVA, который предназначен для трех или более независимых групп (например, болезни сердца, рак, артрит) (см. ниже).

В частности, может быть полезно определить, демонстрируют ли измерения тенденцию к увеличению или уменьшению, которая статистически отличается от случайное поведение. Некоторые примеры определяют тенденцию среднесуточных температур в данном месте от зимы к лету и определяют тенденцию в ряду глобальных температур за последние 100 лет. В последнем случае вопросы однородность важны (например, о том, одинаково ли надежна серия по всей длине).

Соответствие тенденции: метод наименьших квадратов

Учитывая набор данных и желание производить какие-то модель Из этих данных можно выбрать различные функции для соответствия. Если нет предварительного понимания данных, то простейшая функция для подбора - прямая линия со значениями данных на оси y, а время (т = 1, 2, 3, ...) по оси x.

После того, как было принято решение провести прямую линию, есть несколько способов сделать это, но наиболее распространенным выбором является наименьших квадратов поместиться. Этот метод минимизирует сумму квадратов ошибок в серии данных. у.

Учитывая набор моментов времени ${ displaystyle t}$ , и значения данных ${ displaystyle y_ {t}}$ наблюдаемые для этих моментов времени значения ${ displaystyle a}$ и ${ displaystyle b}$ выбраны так, чтобы

{ displaystyle sum _ {t} left [y_ {t} - left ({ hat {a}} t + { hat {b}} right) right] ^ {2}}

сводится к минимуму. Здесь в + б линия тренда, поэтому сумма квадратичные отклонения от линии тренда сводится к минимуму. Это всегда можно сделать в закрытом виде, так как это случай простая линейная регрессия.

В остальной части этой статьи «тренд» будет означать наклон линии наименьших квадратов, поскольку это общепринятое соглашение.

Тенденции случайных данных

Прежде чем рассматривать тенденции в реальных данных, полезно понять тенденции в случайные данные.

Значения, закрашенные красным, превышают 99% остальных; синий, 95%; зеленый, 90%. В этом случае значения V, обсуждаемые в тексте для (односторонней) 95% достоверности, считаются равными 0,2.

Если анализируется заведомо случайный ряд - выпадение справедливых костей или сгенерированные компьютером псевдослучайные числа - и линия тренда подбирается по данным, шансы на получение точно нулевого оцененного тренда незначительны. Но можно было бы ожидать, что тенденция будет небольшой. Если отдельная серия наблюдений создается на основе моделирования, в котором используется заданный отклонение шума, равного наблюдаемой дисперсии интересующего нас ряда данных, и заданной длины (скажем, 100 точек) может быть сгенерировано большое количество таких смоделированных рядов (скажем, 100 000 серий). Затем эти 100000 рядов можно анализировать индивидуально для расчета предполагаемых тенденций в каждой серии, и эти результаты устанавливают распределение предполагаемых тенденций, которых следует ожидать от таких случайных данных - см. Диаграмму. Такое распределение будет нормальный согласно Центральная предельная теорема кроме патологических случаев. Уровень статистической достоверности, S, теперь можно выбрать - типичная достоверность 95%; 99% будут строже, 90% слабее - и можно задать следующий вопрос: каково значение пограничного тренда V это приведет к S% трендов между -V и + V?

Вышеуказанную процедуру можно заменить на перестановочный тест. Для этого набор из 100 000 сгенерированных рядов будет заменен на 100 000 рядов, построенных путем случайного перемешивания наблюдаемых рядов данных; Очевидно, что такой построенный ряд не будет иметь тренда, так что с подходом использования смоделированных данных эти ряды можно использовать для генерации значений пограничного тренда. V и -V.

В приведенном выше обсуждении распределение тенденций было рассчитано путем моделирования на основе большого количества испытаний. В простых случаях (классическим является нормально распределенный случайный шум) распределение трендов может быть точно рассчитано без моделирования.

Диапазон (-V, V) может использоваться при решении вопроса о том, является ли тренд, оцененный на основе фактических данных, маловероятным, если он возник из ряда данных, который действительно имеет нулевой тренд. Если оценочное значение параметра регрессии а лежит за пределами этого диапазона, такой результат мог иметь место только при наличии истинного нулевого тренда, например, один раз из двадцати, если значение достоверности S= 95% было использовано; в этом случае можно сказать, что при степени уверенности S, мы отвергаем нулевую гипотезу о том, что истинный основной тренд равен нулю.

Однако обратите внимание, что какое бы значение S выбираем, затем заданную дробь, 1 -S, действительно случайных рядов будут объявлены (ложно по построению) имеющими значительный тренд. И наоборот, определенная часть серий, которые на самом деле имеют ненулевой тренд, не будут объявлены имеющими тренд.

Данные как тренд плюс шум

Для анализа (временного) ряда данных мы предполагаем, что он может быть представлен как тренд плюс шум:

{ displaystyle y_ {t} = at + b + e_ {t} ,}

куда ${ displaystyle a}$ и ${ displaystyle b}$ неизвестные константы и ${ displaystyle e}$ распределены случайным образом ошибки. Если можно отклонить нулевую гипотезу о том, что ошибки нестационарный, то нестационарный ряд {у_т } называется тренд-стационарный. Метод наименьших квадратов предполагает, что ошибки независимо распределены с нормальное распределение. Если это не так, выполняется проверка гипотез о неизвестных параметрах. а и б может быть неточным. Проще всего, если ${ displaystyle e}$ у всех одинаковое распределение, но если нет (если у некоторых более высокая дисперсия, что означает, что эти точки данных фактически менее достоверны), то это можно учесть во время аппроксимации методом наименьших квадратов, взвешивая каждую точку на величину, обратную дисперсии этой точки.

В большинстве случаев, когда для анализа существует только один временной ряд, дисперсия ${ displaystyle e}$ 's оценивается путем подбора тренда для получения оценочных значений параметров ${ displaystyle { hat {a}}}$ и ${ displaystyle { hat {b}},}$ таким образом позволяя прогнозируемые значения

{ displaystyle { hat {y}} = { hat {a}} t + { hat {b}}}

быть вычтенным из данных ${ displaystyle y_ {t}}$ (таким образом ослабление тренда данные) и оставив остатки ${ displaystyle { hat {e}} _ {t}}$ как данные без тренда, и оценка дисперсии ${ displaystyle e_ {t}}$ от остатков - часто это единственный способ оценить дисперсию ${ displaystyle e_ {t}}$ с.

Как только мы узнаем «шум» ряда, мы сможем оценить значимость тенденции, сделав нулевая гипотеза что тенденция, ${ displaystyle a}$ , не отличается от 0. Из приведенного выше обсуждения трендов случайных данных с известными отклонение, мы знаем распределение рассчитанных трендов, ожидаемых от случайных (без трендовых) данных. Если предполагаемый тренд, ${ displaystyle { hat {a}}}$ , больше критического значения для некоторого уровень значимости, тогда предполагаемый тренд считается существенно отличным от нуля на этом уровне значимости, и нулевая гипотеза о нулевом базовом тренде отклоняется.

Использование линейной линии тренда было предметом критики, что привело к поиску альтернативных подходов, позволяющих избежать ее использования при оценке модели. Один из альтернативных подходов предполагает: единичный корень тесты и коинтеграция техника в эконометрических исследованиях.

Расчетный коэффициент, связанный с переменной линейного тренда, такой как время, интерпретируется как мера воздействия ряда неизвестных или известных, но неизмеримых факторов на зависимую переменную в течение одной единицы времени. Строго говоря, такая интерпретация применима только к временным рамкам оценки. За пределами этого временного интервала никто не знает, как эти неизмеримые факторы ведут себя как качественно, так и количественно. Кроме того, линейность временного тренда вызывает множество вопросов:

(i) Почему он должен быть линейным?

(ii) Если тренд является нелинейным, то при каких условиях его включение влияет на величину, а также на статистическую значимость оценок других параметров в модели?

(iii) включение линейного временного тренда в модель исключает предположение о наличии колебаний в тенденциях зависимой переменной во времени; обязательно ли это верно в конкретном контексте?

(iv) И существует ли в модели ложная связь, потому что лежащая в основе причинная переменная сама является изменяющейся во времени?

В ответ на эти вопросы были опубликованы результаты исследований математиков, статистиков, экономистов и экономистов. Например, подробные заметки о значении линейных временных трендов в регрессионной модели даны в Cameron (2005);^[2] Грейнджер, Энгл и многие другие эконометристы писали о стационарности, тестировании единичного корня, совместной интеграции и связанных с ними вопросах (краткое изложение некоторых работ в этой области можно найти в информационном документе.^[3] Шведской королевской академией наук (2003 г.); и Ho-Trieu & Tucker (1990) написали о тенденциях логарифмического времени^[4] с результатами, указывающими линейные временные тренды, являются частными циклы^[4]

Пример: шумный временной ряд

В шумных временных рядах сложнее увидеть тренд. Например, если истинный ряд равен 0, 1, 2, 3, все плюс некоторый независимый нормально распределенный "шум" е из среднеквадратичное отклонение E, и у нас есть выборочная серия длиной 50, то если E = 0.1 тренд будет очевиден; если E = 100 вероятно будет виден тренд; но если E = 10000 тренд утонет в шуме.

Если мы рассмотрим конкретный пример, рекорд глобальной температуры поверхности за последние 140 лет, представленный IPCC:^[5] тогда межгодовая вариация составляет около 0,2 ° C, а тренд - около 0,6 ° C за 140 лет с 95% доверительным интервалом 0,2 ° C (по совпадению, примерно такое же значение, как и межгодовая вариация). Следовательно, тенденция статистически отличается от 0. Однако, как отмечено в другом месте, этот временной ряд не соответствует предположениям, необходимым для того, чтобы метод наименьших квадратов был действительным.

Доброта соответствия (р-квадрат) и тренд

Иллюстрация влияния фильтрации на р². Черный = нефильтрованные данные; красный = данные усреднены каждые 10 точек; синий = данные усреднены каждые 100 точек. У всех одна и та же тенденция, но чем больше фильтрация, тем выше р² подогнанной линии тренда.

Процесс аппроксимации методом наименьших квадратов дает значение - r-квадрат (р²) - который равен 1 минус отношение дисперсии остатков к дисперсии зависимой переменной. Он говорит, какая доля дисперсии данных объясняется подобранной линией тренда. Оно делает нет относятся к Статистическая значимость линии тренда (см. график); статистическая значимость тренда определяется его t-статистика. Часто фильтрация серии увеличивает р² при этом не влияя на подобранный тренд.

Для реальных данных могут потребоваться более сложные модели

До сих пор предполагалось, что данные состоят из тенденции плюс шум, при этом шум в каждой точке данных независимые и одинаково распределенные случайные величины и иметь нормальное распределение. Реальные данные (например, климатические данные) могут не соответствовать этим критериям. Это важно, поскольку имеет огромное значение для простоты анализа статистики, чтобы извлечь максимум информации из ряда данных. Если есть другие нелинейные эффекты, которые имеют корреляцию с независимой переменной (например, циклические влияния), использование оценки тренда методом наименьших квадратов недопустимо. Кроме того, если отклонения значительно больше, чем результирующий тренд прямой линии, выбор начальной и конечной точек может значительно изменить результат. То есть модель математически неправильно указан. Статистические выводы (тесты на наличие тренда, доверительные интервалы тренда и т. Д.) Недействительны, если отклонения от стандартных допущений не учтены должным образом, например следующим образом:

Зависимость: автокоррелированные временные ряды могут быть смоделированы с использованием модели авторегрессионного скользящего среднего.
Непостоянная дисперсия: в простейших случаях взвешенный метод наименьших квадратов может быть использован.
Ненормальное распределение ошибок: в простейших случаях обобщенная линейная модель может быть применимо.
Единичный корень: получение первых (или иногда вторых) различий данных, при этом уровень различий определяется с помощью различных тестов на единичный корень.^[6]

В р линейный тренд в данных можно оценить с помощью функции tslm пакета «прогноз».

Тенденции в клинических данных

Медицинские и биомедицинские исследования часто стремятся определить связь в наборах данных, таких как (как указано выше) три различных заболевания. Но данные также могут быть связаны во времени (например, изменение эффекта препарата от исходного уровня, до месяца 1, до месяца 2) или внешним фактором, который может или не может быть определен исследователем и / или их объектом. (например, отсутствие боли, умеренная боль, умеренная боль, сильная боль). В этих случаях можно было бы ожидать, что статистика теста эффекта (например, влияние статина на уровень холестерина, анальгетика на степень боли или увеличение дозы лекарства на измеримый показатель) будет изменяться в прямом порядке по мере развития эффекта. Предположим, средний уровень холестерина до и после назначения статины снижается с 5,6 ммоль / л на исходном уровне до 3,4 ммоль / л через один месяц и до 3,7 ммоль / л через два месяца. При достаточной мощности ANOVA, скорее всего, обнаружит значительное падение через один и два месяца, но падение не является линейным. Кроме того, может потребоваться апостериорный тест. Альтернативным тестом могут быть повторные измерения (двухсторонний) ANOVA или тест Фридемана, в зависимости от характера данных. Тем не менее, поскольку группы упорядочены, стандартный ANOVA не подходит. Если уровень холестерина упадет с 5,4 до 4,1 до 3,7, наблюдается четкая линейная тенденция.

Оценка линейного тренда - это вариант стандартного дисперсионного анализа, дающий различную информацию, и он был бы наиболее подходящим тестом, если исследователи предполагают эффект тренда в своей тестовой статистике. Один пример^[7] представляет собой уровни трипсина в сыворотке в шести группах субъектов, упорядоченных по возрасту (от 10–19 до 60–69 лет). Уровни трипсина (нг / мл) растут по линейному тренду 128, 152, 194, 207, 215, 218. Неудивительно, что «стандартный» дисперсионный анализ дает п <0,0001, тогда как оценка линейного тренда дает п = 0,00006. Между прочим, можно было бы разумно утверждать, что, поскольку возраст является естественным непрерывно изменяющимся индексом, его не следует разделять на десятилетия, а влияние возраста и трипсина в сыворотке следует искать путем корреляции (при условии, что исходные данные доступны). Еще один пример^[8] представляет собой вещество, измеренное в четырех временных точках в разных группах: среднее [SD] (1) 1,6 [0,56], (2) 1,94 [0,75], (3) 2,22 [0,66], (4) 2,40 [0,79], что это четкая тенденция. ANOVA дает п = 0,091, потому что общая дисперсия превышает средние, тогда как оценка линейного тренда дает п = 0,012. Однако, если бы данные были собраны в четырех временных точках у одних и тех же людей, оценка линейного тренда была бы неуместной, и применялся двухфакторный (повторные измерения) дисперсионный анализ ANOVA.

Смотрите также

Примечания

^ Альтман, Дуглас (1991). Практическая статистика для медицинских исследований. Лондон: Чепмен и Холл. стр.212–220. ISBN 0-412-27630-5.
^ "Как сделать регрессию более полезной II: манекены и тенденции" (PDF). Получено 17 июня, 2012.
^ «Шведская королевская академия наук» (PDF). 8 октября 2003 г.. Получено 17 июня, 2012.
^ ^а ^б «Примечание об использовании логарифмического временного тренда» (PDF). Получено 17 июня, 2012.
^ «Третий оценочный доклад МГЭИК - Изменение климата 2001 - Полные онлайн-версии». Архивировано из оригинал 20 ноября 2009 г.. Получено 17 июня, 2012.
^ Прогнозирование: принципы и практика. 20 сентября 2014 г.. Получено 17 мая, 2015.
^ Альтман, Дуглас (1991). Практическая статистика для медицинских исследований. Лондон: Чепмен и Холл. стр.212–220. ISBN 0-412-27630-5.
^ Бланн, Эндрю (2018). Обработка и анализ данных, 2-е издание. Оксфорд: Издательство Оксфордского университета. С. 132–138. ISBN 978-0-19-881221-0.