Модели: проверяем расчёты

Шесть ответов о линиях расчёта, остатках и проверке прогнозов расходов. Малые вымышленные наборы нужны для понимания арифметики. Они не описывают реальные компании и не доказывают точность будущего прогноза.

Как читать единицы измерения в уравнении расчётных расходов?

Линейная модель описывает показатель суммой начального уровня и добавки, связанной с другим числом. До подстановки полезно расшифровать единицы обоих показателей. Иначе верная формула может дать неверно прочитанную денежную сумму.

В учебной записи расчётные расходы равны 40 + 2 × x, где расходы измеряются тысячами рублей в месяц, а x — сотнями заказов за месяц. При 300 заказах x равен трём, поэтому модель даёт 46 тысяч рублей. Дополнительная сотня заказов соответствует увеличению расчётной суммы на две тысячи, то есть 20 рублей на заказ в этой модели.

Число 40 означает значение линии при x = 0. Оно не доказывает, что реальные обязательные расходы без заказов действительно равны 40 тысячам: для этого нужны данные и смысловая проверка. Связь расходов с количеством также не устанавливает, что именно заказы вызвали всё изменение. Пример объясняет чтение записи, а не устройство конкретного бизнеса.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и проверять финансовые расчёты: https://studentwyckoff.com/

Как подобрать прямую по трём парам чисел методом наименьших квадратов?

Метод наименьших квадратов выбирает параметры линии так, чтобы сумма квадратов вертикальных отклонений была минимальна. Квадрат превращает отрицательное и положительное отклонения в положительные вклады. Подбор описывает имеющиеся числа; пригодность модели для новой ситуации проверяют отдельно.

Учебные данные: x равно 1, 2, 3 сотням заказов, расходы y — 4, 5, 9 тысячам рублей. Средние x и y равны 2 и 6. Сумма произведений отклонений от средних — 5, сумма квадратов отклонений x — 2. Наклон равен 5 ÷ 2 = 2,5; начальный уровень — 6 − 2,5 × 2 = 1. Линия: расчётное y = 1 + 2,5 × x.

Расчётные значения составляют 3,5; 6; 8,5 тысячи рублей. Отклонения «факт минус расчёт» — 0,5; −1; 0,5, сумма их квадратов 1,5. Все три точки вымышлены. Этого маленького набора достаточно для проверки арифметики, но недостаточно для уверенного вывода о расходах действующего предприятия.

Источник: NIST: подбор параметров методом наименьших квадратов.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и проверять финансовые расчёты: https://studentwyckoff.com/

Почему нулевая сумма отклонений от модели не означает точного расчёта каждой суммы?

Отклонение со знаком показывает направление ошибки: насколько факт выше или ниже расчёта. При сложении положительные и отрицательные отклонения могут погасить друг друга. Поэтому итог со знаком отвечает на другой вопрос, чем размер ошибок отдельных наблюдений.

В учебном месячном плане расходы по трём точкам рассчитаны как 3,5; 6; 8,5 тысячи рублей, а фактические значения равны 4; 5; 9. Отклонения составляют 0,5; −1; 0,5. Сумма ноль, хотя ни одна точка не совпала с расчётом. Сумма абсолютных отклонений — две тысячи, среднее абсолютное отклонение около 0,667 тысячи.

У обычной линии, подобранной методом наименьших квадратов со свободным начальным уровнем, нулевая сумма остатков возникает из самого способа подбора. Она не служит самостоятельным доказательством точности. Здесь остаток означает отклонение наблюдения от подобранной линии; при проверке нового прогноза нужно рассматривать ещё не использованные факты.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и проверять финансовые расчёты: https://studentwyckoff.com/

Что означает R² около 89 процентов у линии, подобранной по учебным данным?

R², читается «эр квадрат», сравнивает сумму квадратов отклонений от модели с отклонениями от среднего. Для обычной линейной регрессии со свободным начальным уровнем это доля разброса наблюдаемого показателя, описанная моделью. Речь о разбросе в выбранном наборе, а не о доле правильно предсказанных будущих случаев.

Возьмём вымышленные расходы 4, 5, 9 тысяч рублей со средним 6. Сумма квадратов отклонений от среднего: 4 + 1 + 9 = 14. Для линии с расчётами 3,5; 6; 8,5 сумма квадратов остатков равна 1,5. R² = 1 − 1,5 ÷ 14 ≈ 0,89286, или 89,29%.

Это не означает, что 89,29% будущих платежей окажутся точными или что модель установила причины расходов. Проверка новых данных, характер остатков и разумность допущений остаются отдельными задачами. На трёх точках показатель особенно легко переоценить: в примере он нужен для понимания смысла формулы.

Источник: Penn State: коэффициент детерминации в линейной регрессии.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и проверять финансовые расчёты: https://studentwyckoff.com/

Почему модель денежных расходов проверяют на данных, которые не использовали для её подбора?

Хорошее совпадение с уже известными числами ещё не показывает, насколько хорошо получится предсказывать новые. Проверочная часть данных нужна для оценки результата за пределами подбора. Для прогноза по времени важно не подмешивать будущие сведения в расчёт, который якобы сделан раньше.

В учебном примере две модели выбраны на старых месяцах. Для двух следующих месяцев первая заранее дала расходы 100 и 100 тысяч рублей, вторая — 105 и 105. Позже известны факты 110 и 90. Средние абсолютные ошибки первой: (10 + 10) ÷ 2 = 10 тысяч; второй: (5 + 15) ÷ 2 = 10 тысяч. На этой проверке по данному показателю ничья.

Если после просмотра этих двух фактов многократно менять модели, эти же месяцы уже не дают независимой итоговой проверки выбора. Кроме того, равенство одного показателя не делает прогнозы одинаковыми по последствиям. Два месяца — учебная иллюстрация процедуры; для рабочего вывода нужен подходящий по объёму и условиям период.

Источник: Hyndman и Athanasopoulos: проверка точности на новых данных.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и проверять финансовые расчёты: https://studentwyckoff.com/

Почему средняя абсолютная и среднеквадратичная ошибки денежного прогноза могут сильно различаться?

Средняя абсолютная ошибка, MAE, усредняет размеры отклонений без знака. Среднеквадратичная ошибка, RMSE, сначала усредняет квадраты отклонений, а затем извлекает корень. Обе выражаются в единицах исходной суммы, но вторая сильнее реагирует на отдельные большие промахи.

Учебные ошибки четырёх прогнозов расходов: 0, 0, 0 и 20 тысяч рублей. MAE равна 20 ÷ 4 = 5 тысяч. RMSE равна корню из (0 + 0 + 0 + 400) ÷ 4, то есть 10 тысячам. Если все четыре ошибки были бы по пять тысяч, MAE осталась бы пять, а RMSE стала бы тоже пять.

При одинаковой средней абсолютной ошибке распределение промахов, таким образом, различается. Показатель выбирают с учётом задачи: редкий крупный недобор денег может быть особенно важен для платежного плана. Сравнивать модели следует на одинаковых фактах, сроках прогноза и единицах; ни одно из этих средних не задаёт максимальную возможную ошибку.

Источник: Hyndman и Athanasopoulos: абсолютные и квадратичные ошибки.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и проверять финансовые расчёты: https://studentwyckoff.com/