Статистика: выборка и вывод

Восемь ответов о качестве сравнений и смысле статистических выводов. Все исследования, суммы и вероятностные модели учебные. Никаких реальных результатов школы или доходов её учеников не приводится.

Почему связь между обучением и доходом ещё не измеряет пользу самого обучения?

Статистическая связь означает, что показатели меняются совместно. Причинный эффект отвечает на более трудный вопрос: что изменилось именно благодаря определённому действию. Люди, выбравшие обучение, могут заранее отличаться опытом, временем, мотивацией и доходом от тех, кто его не выбрал.

В вымышленном исследовании выпускники некоторого курса зарабатывают в среднем 90 тысяч рублей, остальные — 70 тысяч. Разница 20 тысяч наблюдается, но она не доказывает, что курс добавил каждому 20 тысяч. Возможно, у его участников ещё до занятий был больший опыт. Это не данные школы Student Wyckoff и не оценка конкретного курса.

Для вывода о причине нужен подходящий способ сравнения и проверка других объяснений. Даже точное среднее по большой группе само по себе не устраняет различия между группами. Полезно спросить, что было до обучения и как отбирали участников, прежде чем превращать разницу доходов в обещание личного заработка.

Источник: ABS: связь и причинность.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и понимать финансовые расчёты: https://studentwyckoff.com/

Почему рост продаж после рекламы полезно сравнить с изменением без рекламы?

Сравнение «до и после» включает не только возможное влияние рекламы, но и сезон, общий спрос и другие изменения. Дополнительная сопоставимая группа без новой рекламы помогает увидеть, какой рост наблюдался одновременно с кампанией. Такая поправка требует обоснования сравнимости групп.

В учебной модели продажи магазина с новой рекламой выросли со 100 до 130 тысяч рублей, а у выбранного магазина сравнения — со 100 до 120 тысяч. Первый рост равен 30 тысячам, второй — 20 тысячам. Разность изменений составляет десять тысяч. Называть все 30 тысяч результатом рекламы на основании этих данных было бы поспешно.

Даже десять тысяч не становятся автоматически доказанным эффектом. Нужно проверить, похожа ли динамика магазинов без кампании, не менялись ли цены и ассортимент, не перетекали ли между ними покупатели. Пример показывает вопрос к исследованию, а не готовый способ гарантированно измерить отдачу любого рекламного бюджета.

Источник: ABS: сравнение и причины.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и понимать финансовые расчёты: https://studentwyckoff.com/

Как вариант может быть лучше внутри каждой группы, но хуже по общему проценту?

Общий результат зависит и от результатов отдельных групп, и от того, сколько случаев попало в каждую. Если варианты сравнивали на разной смеси простых и трудных случаев, итоговая доля может поменять направление сравнения. Это известно как парадокс Симпсона.

В модели вариант А успешен в 9 из 10 простых случаев и в 20 из 100 трудных. У Б — 80 из 100 простых и 1 из 10 трудных. А лучше в обеих группах: 90% против 80% и 20% против 10%. Но общий результат А — 29 из 110, около 26,36%, а Б — 81 из 110, около 73,64%. У Б гораздо больше простых случаев.

Все доли посчитаны верно, однако отвечают на разные вопросы о составе наблюдений. Для выбора способа сравнения нужно понять, почему случаи распределены именно так и какая группа важна для решения. Одного общего процента недостаточно, чтобы объявить лучший вариант для человека с конкретными условиями.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и понимать финансовые расчёты: https://studentwyckoff.com/

Почему большой добровольный опрос может сохранять ошибку отбора?

В добровольном опросе люди сами решают, отвечать ли им. У ответивших могут быть иные привычки и опыт, чем у остальных. Рост числа ответов не гарантирует устранения такого смещения: более крупная группа способна точнее описывать именно ответивших, а не всех интересующих людей.

Предположим, из 1 000 клиентов 600 довольны услугой, 400 недовольны. От довольных ответили 60 человек, от недовольных — 200. В ответах доля довольных равна 60 / 260 ≈ 23,08%, хотя среди всех клиентов она составляет 60%. Ошибка возникла из разной готовности отвечать, а не из неверного деления.

В реальном опросе истинные доли обычно неизвестны, поэтому этот пример их специально задаёт. Проверяют способ приглашения, долю ответов и охват разных групп; иногда нужны обоснованные поправки. Нельзя исправить любой опрос одним увеличением числа участников или уверенным заголовком о большом размере выборки.

Источник: ONS: ошибки выборки и измерения.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и понимать финансовые расчёты: https://studentwyckoff.com/

Что означает уровень 95% у доверительного интервала?

Доверительный интервал показывает неопределённость оценки параметра, например среднего расхода всех клиентов. В обычном статистическом толковании уровень 95% относится к методу: при многократном повторении подходящего исследования около 95% построенных интервалов охватят истинный параметр. Это свойство процедуры при её предпосылках.

Представим учебную процедуру, для которой это свойство действительно выполняется. При большом числе повторений примерно 95 из каждых 100 интервалов будут содержать истинное среднее. Это не обещание, что в любой конкретной сотне попаданий будет ровно 95, и не утверждение, что 95% отдельных покупок лежат внутри одного такого интервала.

После получения данных конкретный интервал либо содержит фиксированное истинное среднее, либо нет; обычное частотное толкование не присваивает этому среднему 95-процентную вероятность находиться здесь. Качество отбора и ошибки измерения проверяют отдельно: красивый уровень не исправляет смещённый опрос.

Источник: NIST: доверительный интервал среднего.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и понимать финансовые расчёты: https://studentwyckoff.com/

Почему точная оценка среднего чека не обещает близкий к нему следующий чек?

Неопределённость среднего значения и разброс отдельных покупок — разные вещи. Большая качественная выборка может позволить довольно точно оценить средний чек, хотя сами чеки сильно различаются. Для прогноза отдельной покупки требуется другой расчёт и свои предпосылки.

В условном отчёте средний чек оценён в 1 000 рублей, а доверительный интервал для среднего указан от 990 до 1 010. При этом отдельные наблюдённые чеки лежат, например, от 100 до 5 000 рублей. Противоречия нет: узкий интервал относится к среднему всей группы, а не к границам каждого её участника.

Диапазон наблюдённых чеков также не устанавливает предел будущего чека. Нельзя обещать, что 95% следующих покупателей потратят от 990 до 1 010, только потому, что уровень интервала среднего равен 95%. Важно прочитать, какой именно показатель оценён и какой интервал построен, прежде чем использовать его для личного денежного плана.

Источник: NIST: интервал для среднего.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и понимать финансовые расчёты: https://studentwyckoff.com/

Почему множество проверок увеличивает шанс хотя бы одной ложной находки?

Когда исследователь проверяет много идей и показывает только удачно выглядящую, случайность получает больше возможностей. Для понимания можно задать учебную модель: каждая независимая проверка несуществующего эффекта ошибочно сообщает находку с вероятностью 5%. Это вероятность ошибки метода при специально заданных условиях.

Для одной проверки риск ложной находки равен 5%. Для двадцати независимых проверок вероятность отсутствия всех ложных находок равна 0,95 в двадцатой степени, около 35,85%. Значит, хотя бы одна возникнет с вероятностью примерно 64,15%. Это не означает, что любая выбранная находка ложна с вероятностью 64,15%.

В реальных исследованиях проверки могут зависеть друг от друга, а способы контроля ошибок различаются. Важен сам вопрос: сколько вариантов попробовали до предъявления результата и какие правила были выбраны заранее? Без этой информации единственный эффектный результат способен выглядеть убедительнее, чем позволяет весь процесс поиска.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и понимать финансовые расчёты: https://studentwyckoff.com/

Почему отсутствие убедительного различия не доказывает равенство двух вариантов?

Если исследование не отделило различие от случайной неопределённости, это ещё не означает, что различие равно нулю. Данных может быть недостаточно для точного вывода. Полезно смотреть не только на фразу «различий не найдено», но и на диапазон эффектов, совместимых с выбранным методом анализа.

В учебном сравнении средних расходов двух вариантов оценённая разница равна нулю рублей, а соответствующий интервал — от минус 500 до плюс 500. Такой результат допускает и заметную экономию, и заметное удорожание. Если для решения существенны уже 50 рублей, широкий интервал не подтверждает практическую равноценность вариантов.

Для вывода о равноценности заранее задают допустимую разницу и подходящую процедуру проверки. Пример не вычисляет интервал по исходной выборке, а задаёт его для чтения отчёта. Он показывает, почему точность и размер экономически важного эффекта нужно обсуждать вместе, не подменяя неопределённость доказанным отсутствием влияния.

Источник: ONS: неопределённость оценок.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и понимать финансовые расчёты: https://studentwyckoff.com/