Сегодня я затрону еще одну тему, над которой, если Вы и не задумывались, то обязательно рекомендую обратить на нее внимание.

Для начала давайте определим пару понятий, обозначенных в теме. Что я понимаю под ними.

Точность — чем меньше сумма отклонений фактических данных от смоделированных, тем точнее модель.

Устойчивость — способность модели давать минимальные отклонение в довольно продолжительный промежуток времени.

С одной стороны каждая модель должна обладать этими двумя характеристиками, но с другой стороны, если модель точная в течение года или на исторических данных, это не значит что в будущем она будет оставаться устойчивой. И наоборот, если модель устойчива на протяжении длительного промежутка времени, это не значит, что она точная на некоторых периодах времени.

Часто при выборе моделей прогнозирования я встаю перед выбором. Какую модель мне выбрать, стоит ли ее усложнять для увеличения точности, или наоборот, постараться ее сделать более устойчивой вне зависимости от времени, но пренебречь краткосрочной погрешностью. И со временем я пришел к выводу, что необходимо принимать решение в зависимости от ситуации и от той политики планирования, которая принята в Вашей компании.

Я рассуждаю следующим образом: если я формирую долгосрочный прогноз развития предприятия, то я выбираю более устойчивую модель, пренебрегая точностью на определенных промежутках, понимая, что более устойчивая модель даст результат точнее, чем точная на исторических данных модель.

Если я формирую краткосрочный прогноз, я стараюсь увеличить степень точности модели, вводя дополнительные факторы.

Самый правильный ответ, это конечно и точная и устойчивая, но со временем я понял, что на быстро изменяющихся рынках, это практически недостижимая цель.

Ну и напоследок, пару советов какие критерии можно применить для оценки точности модели.

Коэффициент детерминации r^2 — показывает как раз степень точности модели на исторических данных. Чем ближе он к единице, тем точнее модель.

Для определения устойчивости модели, Вы можете применить статистику Дарбина-Уотсона (DW). Чем она ближе к 2-ум, тем устойчивее модель.

Я специально не привожу формулы расчета коэффициента и статистики, так как вовсе не обязательно их вычислять чтобы понять насколько модели устойчивы и точны, я открою Вам маленький секрет, как это понять графически.

Строим график относительных остатков — (факт — модель)/модель. Если шкала слева не превышает и не меньше +-3-5%, то модель довольно точна и скорее всего при вычислении коэффициента детерминации, он будет близко к единице. Лучше, конечно, чтобы максимум и минимум не сильно отклонялись от нуля.

Специально строим относительные отклонение, потому что если строить абсолютные, то при погрешности в 1% от суммы в 1 млрд. руб., можно получить абсолютное отклонение в 10 млн. руб. Для кого-то такой степени точности будет достаточно, а для кого-то это может быть критичным для бизнеса. Тут опять же необходимо понимать степень важности для организации погрешности прогноза.

Как же проверить устойчивость. Все очень просто, если график остатков (абсолютных или относительных — не важно), пересекает ноль множество раз, на граничных точках, в середине диапазона, то скорее всего Ваша модель устойчива.

Да и вычисляя статистику Дарбина-Уотсона, она будет находится ближе к 2-ум. Если же график находится выше нуля или ниже нуля, то скорее всего существует некий фактор, которым Вы пренебрегли и  который обязательно может повлиять на степень точности модели в будущем. Кроме этого, если построить тренд графика остатков, лучше, чтобы он совпадал с нулевой линией, если принимает вид синусоиды, тангенса, полинома или другой, описываемый более сложной формулой кривой, то скорее всего Ваша модель не устойчива.

Ну вот, теперь не обладая какими-либо глубокими знаниями в статистике Вы сможете проверить степень точности и устойчивости модели, всего лишь взглянув на график остатков.

Желаю Вам устойчивых И точных прогнозов!