Риск и допустимость

Функция риска отражает ожидаемые потери правила при каждом значении параметра; допустимость исследует, существует ли другое правило, которое работает не хуже везде и лучше где-то.

Definition

Функция риска правила принятия решений — это ожидаемые потери как функция параметра; правило является недопустимым, если какое-либо другое правило имеет риск не больший для всех значений параметра и строго меньший хотя бы для одного, и допустимым, если такого правила не существует.

Scope

Эта тема охватывает функции потерь и функцию риска, частичное упорядочивание правил по доминированию риска, определения допустимых и недопустимых правил, недопустимость выборочного среднего в трех или более измерениях как центральный пример, методы доказательства допустимости с помощью байесовских и предельно-байесовских аргументов и тождества Стейна, а также взаимосвязь между допустимостью и несмещенностью.

Core questions

• Как функция риска суммирует производительность правила в пространстве параметров?
• Что означает доминирование одного правила над другим и, следовательно, недопустимость правила?
• Почему выборочное среднее недопустимо в трех или более измерениях при квадратичной функции потерь?
• Как используются байесовские и предельно-байесовские аргументы для доказательства допустимости?

Key theories

Доминирование риска и допустимость

Правило является недопустимым, когда другое правило имеет равномерно не больший и где-то строго меньший риск; допустимые правила — это те, которые не могут быть равномерно улучшены, что является минимальным требованием оптимальности.

Недопустимость Стейна

При квадратичной функции потерь обычная оценка многомерного нормального среднего недопустима в трех или более измерениях, доминируемая оценками сжатия, что является результатом, доказанным с использованием тождества Стейна.

Clinical relevance

Признание того, что привычная оценка может быть недопустимой, оправдывает рутинное использование сжатия (shrinkage) и регуляризации в многомерном прогнозировании, где сведение оценок к общему центру доказуемо снижает общий риск по сравнению с рассмотрением каждой координаты по отдельности.

History

Вальд ввел понятия риска и допустимости в 1940-х годах. Доказательство Стейна 1956 года о том, что оценка многомерного нормального среднего недопустима в трех или более измерениях, опровергло интуицию и, наряду с оценкой Джеймса-Стейна 1961 года, сделало допустимость центральной проблемой.

Key figures

• Abraham Wald
• Charles Stein
• David Blackwell
• James O. Berger

Seminal works

• lehmannCasella1998

Frequently asked questions

Если правило допустимо, является ли оно лучшим правилом?

Нет. Допустимость лишь исключает возможность быть равномерно превзойденным; многие допустимые правила посредственны, а хорошее правило может быть недопустимым, поэтому допустимость является необходимым, но далеко не достаточным условием оптимальности.

Почему размерность три имеет значение для результата Стейна?

Недопустимость выборочного среднего при квадратичной функции потерь имеет место в трех или более измерениях, но не в одном или двух; при размерности менее трех сжатие не может равномерно улучшить выборочное среднее.