Проверки: случайность и выводы

Шесть ответов о статистических проверках, ошибках и размере денежного эффекта. Все примеры вымышлены. Числа объясняют логику анализа, без выводов о реальных компаниях, исследованиях или предложениях.

Почему малое p-значение не равно большой вероятности истинности вывода?

P-значение, читается «пи-значение», рассчитывают при заданной проверяемой модели. Оно характеризует вероятность получить по заранее выбранному показателю столь же или более крайний результат, если эта модель верна. Это другое направление условного рассуждения, чем вероятность самой модели после наблюдения данных.

В учебном жребии для скидки десять независимых раз выбирается А или Б с вероятностями по половине. Проверяем равновероятность, заранее считаем крайними отклонениями число А, наиболее далёкое от пяти. Наблюдаем десять А. Столь же крайний другой результат — ноль А. Их суммарная вероятность: 2 ÷ 2¹⁰ = 2 ÷ 1024 ≈ 0,001953, или 0,1953%.

Число 0,1953% не превращается автоматически в 99,8047% вероятности нечестного жребия. Для такого утверждения потребовались бы дополнительные предположения и иной расчёт. Нужно проверять также независимость выборов и исходный план анализа. Это вымышленная арифметика, а не заключение о реальной акции со скидками.

Источник: NIST: определение p-значения.

Школа Student Wyckoff приглашает учиться самостоятельному анализу рынка и внимательно читать статистические выводы: https://studentwyckoff.com/

Чем ложный статистический сигнал отличается от пропуска существующего эффекта?

Проверяемую исходную гипотезу часто называют нулевой. Например, в опыте с напоминаниями она может утверждать отсутствие заданного изменения просрочек. Ошибка первого рода — отвергнуть верную исходную гипотезу. Ошибка второго рода — не отвергнуть её, когда рассматриваемая альтернатива на самом деле верна.

В вымышленной серии проверок напоминания действительно не меняют просрочки. Если процедура при этих условиях даёт ложный сигнал с вероятностью 5%, в ста повторениях ожидается пять таких сигналов. Это среднее число по модели, а не обещание ровно пяти в каждой сотне. Если полезное изменение существует, но проверка его не обнаружила, это уже другой вид ошибки.

Результат «не обнаружено изменения» поэтому нельзя без дополнительных оснований переписывать как «доказано отсутствие изменения». Важно знать, какие размеры эффекта процедура могла заметить и на каких данных. Пример различает виды ошибок; он не оценивает настоящую службу платежных напоминаний.

Источник: SAS: ошибки первого и второго рода при проверке гипотез.

Что означает мощность 80% у проверки заданного изменения денежных расходов?

Мощность статистической проверки — вероятность отвергнуть исходную гипотезу при конкретной заданной альтернативе. Её рассчитывают для определённого размера изменения и условий данных. Значение нельзя автоматически переносить на любое, сколь угодно маленькое изменение расходов.

В учебном плане предполагается истинное снижение среднего расхода на десять рублей за операцию. Для заданного числа наблюдений, разброса и правила проверки её мощность при таком снижении равна 80%. В ста независимых повторениях именно при этом эффекте ожидается около 80 обнаружений и 20 пропусков. Вероятность пропуска здесь 1 − 0,8 = 0,2.

Это не 80% вероятности, что улучшение существует, и не обещание заметить экономию в каждой отдельной проверке. Если настоящий эффект или разброс другой, изменится и вероятность обнаружения. Все параметры примера заданы для объяснения термина; оценка реальной мощности требует полного плана исследования.

Источник: SAS: мощность проверки и вероятность пропуска.

Учебная модель: все исходные гипотезы верны. У каждой проверки вероятность ложного сигнала 5 процентов. Для двадцати независимых проверок вероятность хотя бы одного ложного сигнала равна 1 минус 0,95 в степени 20, около 64,15 процента.

Как двадцать независимых проверок увеличивают вероятность хотя бы одного ложного сигнала?

Если проверять много разных предположений, важно учитывать всю совокупность поисков. Даже когда каждое отдельное правило редко даёт ложный сигнал, шанс найти хотя бы один такой сигнал среди многих может быть значительно выше. Для произведения вероятностей нужна заданная независимость проверок.

В учебном анализе проводят двадцать независимых проверок изменений расходов. Во всех случаях исходная гипотеза верна: изменения нет. Каждая проверка по условию выдаёт ложный сигнал с вероятностью 5%. Вероятность ни одного сигнала равна 0,95²⁰ ≈ 0,35849. Хотя бы одного: 1 − 0,95²⁰ ≈ 0,64151, или 64,15%.

Это не вероятность ложности уже найденного отдельного результата. Если проверки зависимы, указанное произведение обычно неприменимо без дополнительного обоснования. Пример показывает, почему при чтении отчёта полезно знать, сколько показателей и вариантов перебирали, а не видеть только самый удачный из них.

Как поправка Бонферрони связывает порог одной проверки с числом заранее выбранных гипотез?

Поправка Бонферрони задаёт для каждой из нескольких проверок уменьшенный порог: общий допустимый уровень делят на число гипотез. При подходящих корректных отдельных проверках это ограничивает вероятность хотя бы одного ложного отклонения в выбранном семействе. Независимость для такой верхней оценки не требуется.

В учебном плане двадцать гипотез и общий уровень 5%. Порог для каждой: 0,05 ÷ 20 = 0,0025, то есть 0,25%. Значение p = 0,003 было бы меньше обычного отдельного порога 0,05, но превышает уменьшенный 0,0025. Сумма двадцати отдельных верхних границ 0,0025 равна 0,05; именно суммарная оценка обосновывает ограничение.

Нужно заранее ясно определить семейство проверок и применяемую процедуру. Меньший порог может затруднить обнаружение небольшого реального эффекта; это не бесплатное повышение качества всех выводов. Поправка не исправляет неверные исходные данные или неподходящий метод расчёта отдельных p-значений.

Источник: Penn State: контроль семейной вероятности ошибки методом Бонферрони.

Почему статистически заметная экономия может оказаться слишком маленькой для денежного решения?

Статистическая значимость описывает результат проверки относительно заданной модели и правила. Она сама по себе не сообщает размер экономии, стоимость внедрения или важность изменения для бюджета. Поэтому денежную оценку приходится считать отдельно от сравнения p-значения с порогом.

В вымышленном исследовании оценённая экономия составляет один рубль на операцию, а рассчитанное исследователями p-значение равно 0,001. Для условных 1000 будущих операций простое перенесение этой оценки дало бы 1000 рублей экономии. Если внедрение стоит 5000 рублей, этот денежный сценарий даёт 1000 − 5000 = минус 4000, без других выгод и затрат.

Само p = 0,001 здесь задано как часть примера, а не выведено из трёх названных денежных чисел. Для решения нужны также неопределённость оценки, сопоставимость будущих операций и срок расходов. Малое p-значение не превращает расчётный отрицательный итог в положительный и не доказывает его точную величину.

Источник: American Statistical Association: значимость и размер эффекта.

Page updated

Google Sites

Report abuse